El pasado 17 de enero de 2017 se publicó un importante documento: un comunicado con siete principios para garantizar la transparencia y responsabilidad en materia de algoritmos.

Lo publicó la ACM estadounidense (US Association for Computing Machinery, un referente académico en el sector) .

Este documento te interesa mucho aunque no sepas exactamente qué es un algoritmo.

¿Cómo se controla un algoritmo?

Estos siete principios proponen fórmulas para controlar y evitar que esos algoritmos hagan hoy (o mañana) lo que no pueden hacer las personas a las que ayudan (hoy) o sustituirán (mañana).

Son sólo dos páginas: la segunda enuncia esos siete principios generales; la primera dota de contexto al conjunto.

Modesto en extensión pero ambicioso en alcance, el documento está orientado a fomentar el debate, más que a solucionar problemas concretos. Creo.

Este post se conforma con traducir y difundir esos siete principios, que merecen tener la máxima difusión, viniendo de donde vienen.

Descarga el documento original, aquí.

Pero uno tiene su corazoncito, así que también tengo alguna aportación. Y una pequeña metáfora sobre tradición e innovación.

Disculpen si la terminología no es la correcta: no soy tecnólogo. De todos modos y salvo patinazo, de lo que se trata es de que se entiendan de forma sencilla las soluciones propuestas.

 

Principios para la transparencia y responsabilidad en materia de algoritmos

 1. Concienciación:

Los propietarios, diseñadores, programadores, usuarios y otras partes interesadas en sistemas de análisis de datos deben concienciarse y vigilar la existencia de posibles sesgos implícitos en su diseño, implementación y uso (así como responder de potenciales daños causados a colectivos o individuos).

 2. Impugnación y compensación:

Los reguladores deben promover mecanismos que permitan impugnar el funcionamiento de algoritmos y exigir la debida compensación en caso de daños causados por decisiones automatizadas.

 3. Responsabilidad:

Empresas y Administraciones deben responsabilizarse de las decisiones adoptadas mediante el uso de algoritmos, incluso en los casos en que no sea posible explicar completamente el modo en que esos algoritmos produjeron el resultado dañoso.

 4. Transparencia:

Se recomienda a las empresas e instituciones que utilizan procedimientos de adopción algorítmica de decisiones que asuman y cumplan un compromiso de transparencia e información sobre (i) los procesos seguidos por sus algoritmos, así como sobre (ii) las decisiones que se adoptan a su través o con su ayuda.

Esta transparencia es especialmente relevante en el sector público.

 5. Procedencia de los datos:

Los desarrolladores de algoritmos deben documentar:

1. La procedencia y recogida de los datos empleados en el desarrollo y “entrenamiento” del software.
2. El análisis de posibles sesgos implícitos en el proceso de captación de datos, se haya realizado dicha captación de forma tradicional o asimismo automatizada.

La revisión pública de estos datos maximizaría la posibilidad de detección y corrección de problemas.

No obstante, esta publicidad puede ser restringida por imperativo de la protección de la privacidad de las personas, de secretos de empresas o para evitar revelar datos que permitirían a terceros malintencionados engañar a los sistemas objeto de escrutinio.

En estos casos se propone un acceso restringido a personas especialmente cualificadas y autorizadas al efecto.

 6. Auditabilidad:

Los modelos, algoritmos, datos y decisiones deben ser documentados de forma que puedan ser objeto de revisión en caso de suscitarse responsabilidad.

 7. Validación y Prueba:

Deben utilizarse métodos rigurosos para validar modelos y documentar esos métodos y resultados. En particular, deben realizarse pruebas recurrentes para evaluar y determinar posibles resultados discriminatorios generados por los algoritmos desarrollados. Los resultados de estas pruebas deben hacerse públicos.

 

Lo pionero es imperfecto

Estos principios tienen la modestia y la importancia de lo pionero. Me explico con un ejemplo:

En 1995 se estrenó “Toy Story”, la primera película íntegramente generada por ordenador. John Lasseter presentó como una modesta peliculilla “que tenía el único objetivo de envejecer bien” lo que sin duda ya era un hito en la historia del cine.

Lasseter sabía bien que Toy Story sería técnicamente superada de inmediato. Su modestia fue tan inteligente como su película.

La transparencia no es suficiente

Ser pionero es lo que tiene: lanzas al éter siete principios que tienen que ser forzosamente genéricos, porque (i) nadie sabe qué tendremos pasado mañana, y porque (ii) la ACM es un ente enorme, y muchas voces han tenido que ponerse de acuerdo en cada palabra de ese papelito.

Y en seguida salen abogaduchos de medio pelo a poner los puntos sobre las íes.

Los principios más interesantes son los que tienen que ver con la transparencia, auditabilidad y validación de los algoritmos.

La transparencia en muchos casos, no puede ser total

Tal y como se dice en el documento, en muchas ocasiones la transparencia no podrá ser total: la necesidad de proteger datos personales, secretos empresariales o know-how, o simplemente las tripas del proceso de decisión, para evitar que los interesados intenten acomodar su conducta para jugársela al sistema (por ejemplo: imaginemos el algoritmo que determine qué contribuyentes son objeto de inspección personalizada: la publicación de los criterios de elección en pro de acreditar que no son discriminatorios, permitirían a los defraudadores montar su estrategia para eludir esas inspecciones).

 

La transparencia, aunque sea total, no es suficiente

La publicación íntegra del código fuente, en muchas ocasiones no es ni mucho menos suficiente para permitir verificar la regularidad o justicia de un software.

A menos que el software se diseñe teniendo en cuenta la necesidad de esa revisión posterior, facilitándola.

Eso siendo un técnico. Para el común de los mortales el código fuente es, directamente, sánscrito.

“Randomness” y “Machine learning”

Adicionalmente, la importancia de elementos aleatorios en, entre otros, los avanzados sistemas de machine-learning, hace que ni una total transparencia, ni procedimientos tradicionales de auditoría permitan un control adecuado. Muchos sistemas están diseñados para arrojar resultados impredecibles y a la vez imposibles de reproducir.

Por último, muchos sistemas cambian constantemente (por ejemplo los criterios de ranking de resultados en motores de búsqueda) y algunos lo hacen sin intervención humana. Conocer solamente sus códigos e imputs, no asegura en absoluto poder predecir (o certificar) su funcionamiento y/o resultados.

Se podría acabar certificando la utilización de una política que el propio algoritmo habría dejado atrás inmediatamente después, para aplicar otra nueva.

Transparencia y responsabilidad desde el diseño: Fairness by Design

Hace falta algo más.

La solución más segura es integrar en el diseño del software, antes de escribir un sola línea de código, aquello que sea necesario para permitir el control y certificación suficiente de las políticas utilizadas, cuando el sistema esté ya en funcionamiento. Cuando un particular o una administración cuestione su funcionamiento o aplicación a individuos o clases de individuos.

Se trataría de integrar hoy “ventanas” en el propio diseño del software que permitan mañana una auditoría plena -o limitada, dependiendo de los casos-, pero suficiente para satisfacer compromisos de transparencia y acreditar el correcto funcionamiento del sistema.

La criptografía permite generar “balizas” encriptadas que permitan certificar la regularidad del procedimiento (que el software ha aplicado determinadas reglas a determinados datos para obtener determinados resultados). Esas balizas mantendrían en secreto los elementos certificados hasta que fuera necesario revelar su contenido al tercero independiente.

Esta parte es hoy tecnológicamente posible.

Ahora falta determinar qué terceros independientes (sólo expertos, sólo la jurisdicción, jurisdicción/administración, otros...) y bajo qué régimen estarán encargados de certificar el funcionamiento “justo y lícito” de un algoritmo o sistema automatizado determinado.

Y last but not least, determinar qué es lo “justo y lícito” con la exactitud propia que los mismos algoritmos (nuestros robots) demandan.

 

Hacia una Nueva Justicia

En 2006, John Lasseter entró en la directiva de Disney.

Paradójicamente, el alma máter de Pixar, que con sus imponentes películas digitales había barrido del mercado a la viejuna animación analógica, tuvo un papel esencial en la decisión de no cerrar la división de animación tradicional de Disney de toda la vida, que perdía dinero.

Hoy Disney se forra con películas de animación que aúnan el imperecedero sabor de lo clásico y un acabado tecnológicamente perfecto.

El futuro nos acecha lleno de riesgos terribles. Pero si uno mira un poco más allá...

¿Quién sabe? Quizá -sólo quizá- la necesaria comunicación entre ingenieros y juristas permita la síntesis entre algoritmos y normas jurídicas.

Y a su través, podremos conseguir procedimientos de decisión tecnológicamente perfectos y acreditablemente justos.

No será fácil. Puede que no sea pronto.

Pero no tengo dudas: será.

.