Desde hace varios años Europa viene ocupándose de la inteligencia artificial (IA). Ya en 2020 se dio a conocer el Libro Blanco sobre Inteligencia Artificial (aquí) y el 6 de octubre de 2021 los eurodiputados reclamaron garantías sólidas en el uso policial de la inteligencia artificial instando a prohibir de manera permanente los sistemas de reconocimiento automático en espacios públicos, prevenir la discriminación y pidieron que los algoritmos fuesen transparentes y es que la tecnología invasiva de reconocimiento facial amplía la actuación policial racista y discriminatoria contra personas racializadas. Un conjunto de tres informes (aquí) aprobados por el Parlamento Europeo estudiaron cómo regular la inteligencia artificial para impulsar la innovación, el respeto de estándares éticos y la confianza en la tecnología instando a la Comisión Europea a diseñar un nuevo marco jurídico que desarrollase los principios éticos y las obligaciones jurídicas ligados al desarrollo, la implantación y el uso en la Unión de la inteligencia artificial, la robótica u otras tecnologías relacionadas (incluido el software, los algoritmos y los datos).

Pero la rápida evolución de las tecnologías de IA generativas, como ChatGPT  o Midjourney, nos ha hecho aún más sensibles a la percepción de los riesgos de la inteligencia artificial y se ha solicitado, desde distintas instancias, una regulación para  una nueva realidad con robots conversacionales y herramientas generadoras de imágenes usadas a nivel masivo.

Pues bien esa propuesta de regulación ya se ha plasmado en un texto que, partiendo de una propuesta de la Comisión, ha sido finalmente aprobado por el Parlamento Europeo por una amplia mayoría de 499 votos a favor, 28 en contra y 93 abstenciones  (aquí), pero que, sin embargo, todavía ha de ser objeto de negociaciones con los Estados miembros y la propia Comisión de las cuales saldrá el texto definitivo de la norma que persigue garantizar que la IA desarrollada y utilizada en Europa se ajuste plenamente a nuestros derechos y valores, respetando requisitos como la supervisión humana, la seguridad, la privacidad, la transparencia, la no discriminación o el bienestar social y medioambiental  definiendo unas normas armonizadas en materia de inteligencia artificial orientadas a impulsar el desarrollo, la utilización y la adopción en el mercado interior de la inteligencia artificial que, al mismo tiempo, ofrezca un nivel elevado de protección de los intereses públicos, la protección de los derechos fundamentales, la democracia y el Estado de Derecho.

1. Los beneficios y los riesgos de la inteligencia artificial: los principios que deben presidir su utilización

La inteligencia artificial es un conjunto de tecnologías de rápida evolución que puede generar un amplio abanico de beneficios económicos y sociales en todos los sectores y actividades sociales, pero también de riesgos que se traduzcan en daños (aquí).

En efecto, el uso de la inteligencia artificial puede proporcionar ventajas competitivas esenciales a las empresas y facilitar la obtención de resultados positivos desde el punto de vista social y medioambiental y es que, si en algo coinciden los principales expertos en tecnología, es en que estamos ante un fenómeno imparable que va a cambiar la historia de la humanidad. Y se señalan todo tipo de campos en los cuales puede tener una influencia beneficiosa como la asistencia sanitaria, la agricultura, la seguridad alimentaria, la educación y la formación, los medios de comunicación, los deportes, la cultura, la administración de infraestructuras, la energía, el transporte y la logística, la gestión de crisis, los servicios públicos, la seguridad, la justicia, la eficiencia energética y de los recursos, la supervisión medioambiental, la conservación y  restauración de la biodiversidad y los ecosistemas y la mitigación del cambio climático y la adaptación a él, entre otros.

Ahora bien, dependiendo de las circunstancias de su aplicación y utilización concretas, así como del nivel de desarrollo tecnológico, la inteligencia artificial puede generar riesgos y menoscabar los intereses públicos o privados y los derechos fundamentales de las personas físicas que protege el Derecho de la Unión, de manera tangible o intangible, incluidos daños físicos, psíquicos, sociales y económicos. Los expertos señalan que los riesgos fundamentales derivan de tres circunstancias: accidentes, malos usos y carreras de armas. Y es que los sistemas de inteligencia artificial en ocasiones pueden funcionar en forma inadecuada. Los daños, por ahora, que se pueden causar con un uso indebido o irregular son todavía limitados, aunque a medida que los sistemas se generalicen, especialmente en asuntos de seguridad y áreas militares, pueden ocasionar riesgos crecientes y mayores daños que los que hasta ahora hemos conocido y graves mermas de los derechos fundamentales como ya acontece con la identificación biométrica remota.

En este sentido, la regulación aprobada, y a los efectos de prevenir los riesgos en que se puede incurrir, establece que todos los operadores se esforzarán al máximo por desarrollar y utilizar los sistemas de IA o modelos fundacionales con arreglo a los siguientes principios generales:

a) «Intervención y vigilancia humanas»: los sistemas de IA se desarrollarán y utilizarán como una herramienta al servicio de las personas, que respete la dignidad humana y la autonomía personal, y que funcione de manera que pueda ser controlada y vigilada adecuadamente por seres humanos.

b) «Solidez y seguridad técnicas»: los sistemas de IA se desarrollarán y utilizarán de manera que se minimicen los daños imprevistos e inesperados, así como para que sean sólidos en caso de problemas imprevistos y resistentes a los intentos de modificar el uso o el rendimiento del sistema de IA para permitir una utilización ilícita por parte de terceros malintencionados.

c) «Privacidad y gobernanza de datos»: los sistemas de IA se desarrollarán y utilizarán de conformidad con las normas vigentes en materia de privacidad y protección de datos, y tratarán datos que cumplan normas estrictas en términos de calidad e integridad.

 d) «Transparencia»: los sistemas de IA se desarrollarán y utilizarán facilitando una trazabilidad y explicabilidad adecuadas, haciendo que las personas sean conscientes de que se comunican o interactúan con un sistema de IA, informando debidamente a los usuarios sobre las capacidades y limitaciones de dicho sistema de IA e informando a las personas afectadas de sus derechos.

 e) «Diversidad, no discriminación y equidad»: los sistemas de IA se desarrollarán y utilizarán incluyendo a diversos agentes y promoviendo la igualdad de acceso, la igualdad de género y la diversidad cultural, evitando al mismo tiempo los efectos discriminatorios y los sesgos injustos prohibidos por el Derecho nacional o de la Unión.

f) «Bienestar social y medioambiental»: los sistemas de IA se desarrollarán y utilizarán de manera sostenible y respetuosa con el medio ambiente, así como en beneficio de todos los seres humanos, al tiempo que se supervisan y evalúan los efectos a largo plazo en las personas, la sociedad y la democracia.

2. La regulación de riesgos aprobada sobre el uso de la inteligencia artificial.

Partiendo de la definición de los sistemas de inteligencia artificial como sistemas basados en máquinas diseñados para funcionar con diversos niveles de autonomía y capaz, para objetivos explícitos o implícitos, de generar información de salida —como predicciones, recomendaciones o decisiones— que influya en entornos reales o virtuales, las normas dictadas finalmente están enfocadas a prevenir riesgos, entendidos estos como la combinación de la probabilidad de que se produzca un daño y la gravedad de dicho daño, y al respecto fijan unas obligaciones para los proveedores y los que despliegan herramientas basadas en IA en función del nivel de riesgo que pueda presentar la inteligencia artificial. Corresponderá a la Oficina Europea de Inteligencia Artificial supervisar la forma en que se aplica el código normativo sobre IA.

El Reglamento sigue un enfoque basado en los riesgos que distingue entre los usos de la IA que generan un riesgo inaceptable, un riesgo alto, y un riesgo bajo o mínimo.

El primer nivel de riesgo, que establece prácticas prohibidas, engloba a los sistemas de IA que presentan un nivel inaceptable para la seguridad de las personas y según la regulación aprobada quedarían totalmente prohibidos. En este sentido, las prohibiciones engloban aquellas prácticas que tienen un gran potencial para manipular a las personas mediante técnicas subliminales que trasciendan su consciencia o que aprovechan las vulnerabilidades de grupos vulnerables concretos, como los menores o las personas con discapacidad, para alterar de manera sustancial su comportamiento de un modo que es probable que les provoque perjuicios físicos o psicológicos a ellos o a otras personas y cuyos peligros han sido puestos de manifiesto por los profesores PONCE SOLÉ (aquí) y BELTRAN DE HEREDIA (aquí). La normativa finalmente aprobada prohíbe igualmente que las autoridades públicas realicen calificación social basada en IA con fines generales.

Respecto de estas prácticas prohibidas los eurodiputados han ampliado la lista propuesta por la Comisión Europea, añadiendo prohibiciones que se refieren a los usos intrusivos y discriminatorios de la IA, como por ejemplo:

• los sistemas de identificación biométrica remota, en tiempo real, en espacios públicos;
• los sistemas de identificación biométrica remota, a posteriori, con la única excepción de usos policiales en investigaciones por delitos graves y con autorización judicial;
• los sistemas de categorización biométrica que utilicen ciertas características identitarias (por ejemplo el género, la raza, la etnia, el estatus de ciudadanía, la religión o la orientación política);
• los sistemas policiales predictivos (basados en la elaboración de perfiles, la ubicación o el historial delictivo);
• los sistemas de reconocimiento de emociones por las fuerzas de seguridad, en la gestión de fronteras, los lugares de trabajo o las instituciones de enseñanza; y
• el rastreo indiscriminado de imágenes faciales sacadas de Internet o de circuitos cerrados de televisión para crear bases de datos de reconocimiento facial (que violan los derechos humanos y el derecho a la intimidad).

Un segundo nivel establecido por la regulación es el que se refiere a la inteligencia artificial de alto riesgo que incluye aquellos sistemas de IA que puedan afectar significativamente al medio ambiente o a la salud, la seguridad o los derechos fundamentales de las personas. Un sistema de IA se considera de alto riesgo en función de su finalidad prevista, conforme a la legislación vigente relativa a la seguridad de los productos. Por lo tanto, la clasificación de un sistema de IA como de alto riesgo no depende únicamente de la función que lleve a cabo, sino también de la finalidad específica y de las modalidades para las que se use dicho sistema.

Se incluyen en este segundo nivel:

• Las infraestructuras críticas (por ejemplo, el transporte) que puedan poner en peligro la vida y la salud de los ciudadanos.
• La educación y formación profesionales que puedan determinar el acceso a la educación y la trayectoria profesional de una persona (por ejemplo, la calificación de exámenes).
• Los componentes de seguridad de los productos (por ejemplo, la aplicación de la IA en la cirugía asistida por robots).
• El empleo, la gestión de los trabajadores y el acceso al autoempleo (por ejemplo, el software para la clasificación de los currículos en los procesos de selección de personal).
• Los servicios públicos y privados esenciales (por ejemplo, las calificaciones crediticias que denieguen a los ciudadanos la oportunidad de obtener un préstamo).
• Los asuntos relacionados con la aplicación del Derecho que puedan interferir en los derechos humanos fundamentales (por ejemplo, la evaluación de la fiabilidad de las pruebas).
• La gestión de la migración, el asilo y el control fronterizo (por ejemplo, la verificación de la autenticidad de los documentos de viaje).
• La administración de justicia y los procesos democráticos (por ejemplo, la aplicación del Derecho a un conjunto concreto de hechos).

En este concreto ámbito se han añadido a la lista los sistemas de IA utilizados para influir en los votantes y el resultado de las elecciones y en los sistemas de recomendación utilizados por las plataformas de redes sociales con más de 45 millones de usuarios (aquí).

En estos supuestos, lo sistemas de IA están permitidos en el mercado europeo siempre que cumplan determinados requisitos obligatorios y sean sometidos a una evaluación de la conformidad ex ante y, al respecto, se establecen los requisitos legales que deben cumplir los sistemas de IA de alto riesgo en lo que respecta a los datos y su gobernanza, la documentación y el registro, la transparencia y la comunicación de información a los usuarios, la vigilancia humana, la solidez, la precisión y la seguridad.

Por último, y en el tercer nivel, se establecen las obligaciones para la IA de uso general y, este caso, los proveedores de modelos fundacionales —una innovación en el ámbito de la IA que avanza rápidamente— tendrán que evaluar y mitigar los posibles riesgos (para la salud, la seguridad, los derechos fundamentales, el medio ambiente, la democracia y el Estado de Derecho) y registrar sus modelos en la base de datos de la UE antes de comercializarlos en la UE. Se incluyen en este tercer nivel la mayoría de las aplicaciones de IA como los videojuegos basados en la IA, filtros de correo no deseado, etc.

Ahora bien, los sistemas de IA generativa basados en esos modelos, como ChatGPT, tendrán que cumplir unos requisitos adicionales de transparencia —identificar el contenido como generado por IA, para ayudar, entre otras cosas, a distinguir las falsificaciones de las imágenes auténticas— y estar diseñados de forma que no puedan generar contenido ilegal. Además, deberán publicarse resúmenes detallados de los datos protegidos por derechos de autor que han sido utilizados para su desarrollo.

Para impulsar la innovación en IA y apoyar a las pymes, los eurodiputados añadieron como excepciones los proyectos de investigación y los componentes de IA suministrados con licencias de código abierto. Y la nueva norma promueve los llamados «espacios controlados de pruebas», o entornos reales en los que las empresas pueden probar la inteligencia artificial bajo la supervisión de las autoridades públicas antes de salir al mercado.

3. Una nueva etapa de la historia con muchos retos y no pocas incertidumbres.

La IA puede ayudar a encontrar soluciones a muchos de los problemas de nuestra sociedad, pero esto solo puede lograrse si la tecnología es de gran calidad y se desarrolla y se utiliza de tal manera que merezca la confianza de los ciudadanos.

En el caso de España, junto a la Agenda España Digital 2026, aprobamos una Estrategia Nacional de Inteligencia Artificial cuyo objetivo declarado era proporcionar un marco de referencia para el desarrollo de una IA inclusiva, sostenible y centrada en la ciudadanía y que ahora deberá acomodarse a estas normas en lo que se refiere al eje estratégico 6 de la misma cuyo objetivo era establecer el marco jurídico para el desarrollo de esta. El primer informe sobre el desarrollo de esta estrategia se produjo el pasado mayo (aquí).

Aún sin efectos normativos aprobamos también, exclusivamente a manera de brújula dada su naturaleza, una carta de Derechos Digitales que trataba de despejar la incertidumbre creciente que plantea el desarrollo de esta tecnología (aquí), y que ahora si se ve reforzada con esta iniciativa normativa en el ámbito de la Unión porque lo cierto es que esta nueva fase de la inteligencia artificial (IA), la generativa, ha hecho saltar todas las alarmas por  el impacto que su utilización presenta y cuyo desarrollo está por verse todavía. Si el visionario Ray Kurzweil predijo que, para el año 2020, habríamos aplicado ingeniería inversa al cerebro humano y que los nanobots operarían nuestra conciencia, lo cierto es que esta tecnología de reciente desarrollo está superando todas las previsiones. Tanto que, desde la antropología, la filosofía o la sociología, se ha empezado múltiples debates sobre el potencial de esta tecnología.

Uno de los debates más relevantes acerca de la inteligencia artificial es precisamente la necesidad de que los humanos definamos nuestros valores diferenciales como seres humanos frente al poder creciente de la tecnología. La antropóloga Amber Case es la líder visible del movimiento calm technology o “tecnología calmada”. Esta aboga por un uso más racional de la tecnología. En opinión de Amber Case, que se define a sí misma como ciborg, la tecnología nos está haciendo evolucionar en la medida que nos convertimos en homo sapiens mira-pantallas que se lo pasan haciendo clic en botones. Hoy en día dependemos de los «cerebros externos» (los teléfonos celulares y las computadoras) para comunicarnos, recordar, e incluso para vivir vidas secundarias. La pregunta es si estas máquinas ¿van a conectarnos o a doblegarnos?

Por su parte Yuval Noah Harari, autor del fenómeno Sapiens, reflexiona sobre el futuro de la humanidad en Homo Deus, una nueva especie fruto de una nueva filosofía (el Dataismo) como paso necesario a realizar por el Homo Sapiens, si no quiere desaparecer. Si en Sapiens, una breve historia de la humanidad, describió cómo los seres humanos conquistaron el mundo gracias a su capacidad única para creer en mitos colectivos sobre dioses, dinero, igualdad y libertad, en Homo Deus: Una Breve Historia del Mañana nos da una visión de los sueños y pesadillas que marcarán el siglo XXI y examina lo que le podría suceder al mundo cuando en un futuro estos antiguos mitos se unan con nuevas tecnologías divinas como son la inteligencia artificial o la ingeniería genética. Y razona que erigidos como dioses por nosotros mismos ¿qué proyectos deberemos emprender y cómo protegeremos de nuestros propios poderes destructivos tanto a este frágil planeta como a la humanidad misma?.