Descifrando la Ley de IA de la UE, Parte 6 – Obligaciones para Proveedores de GPAI con Riesgo Sistémico

La Ley de Inteligencia Artificial de la UE (Reglamento (UE) 2024/1689) impone amplias obligaciones de transparencia y seguridad a los proveedores de modelos de IA de propósito general (GPAI, por sus siglas en inglés).

Un punto de atención especial recae en aquellos modelos de IA con riesgo sistémico, que tienen el potencial de causar daños a gran escala. En la práctica, esto significa que tanto los modelos de vanguardia como cualquier modelo que la Comisión Europea declare con capacidades de riesgo sistémico entran en el ámbito de aplicación de reglas adicionales conforme a los artículos 51 a 55 de la Ley.

Este artículo explora cómo la Ley de IA define el riesgo sistémico, cuándo un modelo GPAI alcanza ese umbral y qué deben hacer los proveedores de modelos, además de las obligaciones generales aplicables a todos los GPAI, una vez que su modelo se considera dentro del ámbito del riesgo sistémico.

¿Qué es un Modelo de IA de Propósito General?

Un modelo de IA de propósito general se define de manera amplia en el artículo 3(63) como un 
‘un modelo de IA, también uno entrenado con un gran volumen de datos utilizando autosupervisión a gran escala, que presenta un grado considerable de generalidad y es capaz de realizar de manera competente una gran variedad de tareas distintas…’.

En el lenguaje común, esto cubre los grandes modelos de lenguaje, multimodales y modelos fundacionales que pueden aplicarse a muchas aplicaciones diferentes. La forma de publicación (código abierto versus acceso vía API, etc.) no altera esta definición. En contraste, un modelo entrenado de forma estrecha para una sola tarea probablemente no entraría en esta categoría.

Los proveedores de GPAI enfrentan un conjunto de requisitos específicos. Todos los proveedores de GPAI, incluso aquellos cuyos modelos no supongan un riesgo sistémico, deben cumplir con el artículo 53 de la Ley de IA.

En resumen, el artículo 53 exige:

• Documentación técnica del modelo, incluyendo entrenamiento y pruebas (Anexo XI).

• Documentación sobre capacidades del modelo (Anexo XII) para los implementadores posteriores.

• Una política de cumplimiento de derechos de autor conforme al artículo 4(3) de la Directiva CDSM.

• Un resumen detallado y público del contenido usado para el entrenamiento.

Los modelos de código abierto están en gran parte exentos de las obligaciones de documentación y divulgación del artículo 53, salvo que sean identificados como modelos de riesgo sistémico.

¿Qué es el “Riesgo Sistémico” según la Ley de IA?

El término “riesgo sistémico” se define en el artículo 3(65) como un riesgo vinculado a las capacidades de alto impacto de un modelo, que tiene “un impacto significativo en el mercado de la Unión ya sea por:

1. su alcance, o
2. por los efectos negativos reales o razonablemente previsibles en áreas críticas como:

• • salud pública,

  • seguridad,

  • seguridad pública,

  • derechos fundamentales, o

  • la sociedad en su conjunto,

que pueden propagarse a gran escala.

En lenguaje sencillo, riesgo sistémico significa daños a gran escala que podrían surgir de los modelos GPAI. Estos daños no se limitan a un sector en particular. Por ejemplo, el considerando 110 de la Ley menciona riesgos como:

• • facilitar el desarrollo de armas químicas o biológicas,

  • accidentes catastróficos,

  • pérdida de control sobre sistemas autónomos,

  • impactos graves en instituciones democráticas,

  • amenazas a la seguridad pública y económica,

  • erosión de la cohesión social mediante desinformación o manipulación.

En resumen, los riesgos sistémicos son los peores escenarios posibles, que van desde desastres físicos hasta amenazas de seguridad o violaciones graves de derechos, que podrían surgir si un modelo de IA extremadamente capaz se usa de manera indebida o se descontrola a gran escala.

¿Cuándo un Modelo GPAI Presenta Riesgo Sistémico?

Un modelo de propósito general se clasifica formalmente como de riesgo sistémico bajo el artículo 51 si cumple con una de dos condiciones:

1. Capacidades de alto impacto: el modelo posee capacidades que, mediante evaluaciones objetivas (benchmarks, indicadores, etc.), igualan o superan los GPAI más avanzados del mercado. 

   Aun si un modelo no alcanza ese umbral, la Comisión Europea puede designarlo como de riesgo sistémico, de oficio o tras una alerta de su panel científico, si con base en los criterios del Anexo XIII se considera equivalente en capacidad o riesgo a la categoría de alto impacto.

   Por ejemplo: el número de parámetros y el tamaño del conjunto de datos, el cómputo total (o coste/energía) utilizado en el entrenamiento, las modalidades compatibles (texto, imagen, audio, multimodal, etc.), el rendimiento de referencia, la adaptabilidad y la autonomía, e incluso las estadísticas de los usuarios (p. ej., si lo utilizan más de 10 000 empresas de la UE). En otras palabras, si un modelo es muy grande, se entrena con datos masivos, tiene una gran capacidad para diversas tareas o está ampliamente implementado, es muy probable que se considere de riesgo sistémico.

   Precaución: Se suele asumir que solo los modelos de IA más potentes, como GPT 4/5, se consideran modelos de riesgo sistémico. Sin embargo, actualmente existen muchos modelos de IA disponibles en diversas opciones de distribución, como de peso abierto o de código abierto, a los que se puede acceder libremente desde servicios de intercambio que podrían considerarse de riesgo sistémico, simplemente por su uso por parte de los usuarios empresariales o por ser lo suficientemente potentes como para causar daños.

2. La Ley presume que cualquier modelo cuyo cómputo de entrenamiento supere 10^25 operaciones en coma flotante (FLOPs) posee capacidades de alto impacto. Los proveedores deben notificar a la Comisión cuando crucen este umbral. 

Bajo el artículo 52, el proveedor tiene dos semanas para notificar a la Comisión. Esta decidirá si designa el modelo como de riesgo sistémico y mantendrá una lista pública de los mismos.

Obligaciones Adicionales para GPAI de Riesgo Sistémico bajo Artículo 55

Si un modelo se clasifica como de riesgo sistémico, se le aplican requisitos adicionales además de los del artículo 53:

1. Evaluaciones del modelo: incluyendo pruebas adversarias. Los proveedores deben investigar activamente y realizar pruebas de estrés en el modelo para descubrir vulnerabilidades o comportamientos inseguros. Deben documentar estas pruebas y utilizarlas para orientar las mejoras..

2. Evaluación y mitigación de riesgos: evaluar y mitigar continuamente los posibles riesgos sistémicos a nivel de la Unión. Esto implica identificar todas las formas en que el desarrollo, la implementación o el uso del modelo podrían generar daños a gran escala y tomar medidas activas para reducir dichos riesgos. Los proveedores deben considerar los riesgos derivados de todo el ciclo de vida del modelo.

3. Reporte de incidentes: rastrear, documentar y notificar los incidentes graves y los cuasi accidentes que afecten al modelo. Un «incidente grave» puede ser un accidente provocado por la IA, una vulnerabilidad descubierta o cualquier resultado perjudicial. Los proveedores deben notificar con prontitud a la Oficina de IA de la UE y, cuando corresponda, a las autoridades nacionales, informando sobre el incidente y las medidas correctivas adoptadas.

4. Ciberseguridad: garantizar una protección adecuada de ciberseguridad para el modelo y su infraestructura. Dados los riesgos de robo o uso malintencionado (por ejemplo, que alguien robe un modelo para entrenar la IA de armas), los proveedores deben implementar medidas de seguridad rigurosas durante todo el funcionamiento y el almacenamiento del modelo.

Estos cuatro puntos se detallan explícitamente en el Artículo 55(1)(a-d). El Artículo fomenta el uso de protocolos estandarizados (una vez disponibles) y exige explícitamente la documentación de las pruebas adversarias. El cumplimiento puede demostrarse mediante la adhesión a los Códigos de Práctica de la UE recientemente publicados o a las futuras normas armonizadas de la UE, pero los proveedores que opten por no hacerlo deben demostrar que cuentan con otros medios adecuados para el cumplimiento.

En resumen, los proveedores de GPAI de riesgo sistémico deben crear y mantener un marco de seguridad en torno a su modelo. Esto se alinea con las mejores prácticas en seguridad de la IA, como la formación exhaustiva de equipos rojos y evaluaciones, los procesos formales de gestión de riesgos, la vigilancia de incidentes y las defensas robustas. Por ejemplo, el Código de Práctica no vinculante publicado recientemente por la Comisión Europea establece cómo podría construirse dicho «Marco de Seguridad».

Ejemplos de Riesgo Sistémico por Ámbito

La Ley de IA no enumera todos los posibles daños, ya que el potencial futuro de daños causados por la IA no es totalmente previsible. En cambio, proporciona categorías de riesgos, y los posibles efectos de los riesgos sistémicos abarcan una amplia gama de ámbitos jurídicos.

La siguiente tabla ilustra una lista no exhaustiva de posibles riesgos sistémicos regulados o directamente ilegales bajo ciertos regímenes jurídicos de la UE, además de la Ley de IA de la UE.

Proveedores de Modelos vs Proveedores de Sistemas de IA

Es importante distinguir quién es responsable de los modelos GPAI según la Ley. Los proveedores de modelos GPAI tienen las obligaciones estipuladas en los Artículos 53 y 55 que hemos descrito anteriormente. Por el contrario, los proveedores intermedios de sistemas de IA son empresas o desarrolladores que integran un modelo GPAI en un sistema o aplicación de IA más amplio. Según la Ley de IA, estos roles tienen responsabilidades diferentes. Los proveedores de modelos deben, entre otras obligaciones mencionadas anteriormente, proporcionar la documentación de transparencia y seguridad. Los proveedores de sistemas de IA, a su vez, deben cumplir las normas para el sistema de IA final que construyen. Por ejemplo, si su sistema se clasifica como de alto riesgo, deben cumplir con los criterios del Capítulo 3, Sección 2, de la Ley de IA.

Es crucial que la Ley garantice el flujo de conocimiento de los proveedores a los implementadores posteriores. El Artículo 53 obliga a los proveedores de modelos a proporcionar a los integradores intermedios suficiente información sobre las capacidades, limitaciones, usos previstos, etc., para que estos usuarios puedan cumplir con la ley.

Conclusiones Prácticas y Cronograma

Para los desarrolladores de modelos de IA, la clave es evaluar el cómputo y las capacidades ahora. Si su modelo podría superar el límite de 10^25 FLOP o, por cualquier otro motivo, entrar en la definición de modelo de IA de riesgo sistémico, comience a prepararse para cumplir con las obligaciones.

Recuerde que, incluso si el modelo está por debajo del límite de cómputo actual, la Comisión Europea puede designar cualquier modelo como de riesgo sistémico si la escala o el impacto lo justifican.

Los pasos de cumplimiento incluyen: establecer un marco interno de gestión de riesgos para sus modelos más potentes, documentar cada decisión de diseño/entrenamiento, planificar campañas de pruebas adversarias y establecer procesos de notificación de incidentes.

Para todos los modelos, redacte documentación técnica exhaustiva, información de integración posterior, políticas de derechos de autor y resúmenes detallados de los datos de entrenamiento.

Aviso Legal:

El contenido de este blog se proporciona únicamente con fines informativos generales y no constituye asesoramiento jurídico. Si bien nos esforzamos por asegurar que la información sea precisa y esté actualizada, puede que no refleje los desarrollos legales más recientes ni las circunstancias específicas de tu organización. Los lectores no deben actuar basándose en la información contenida en este blog sin antes buscar asesoramiento legal profesional. El uso de esta información no crea una relación abogado-cliente