Die Entschlüsselung der EU Verordnung über künstliche Intelligenz Teil 6 – Pflichten für GPAI-Anbieter mit systemischem Risiko

Die EU-Verordnung über Künstliche Intelligenz (KI-Verordnung (EU) 2024/1689) auferlegt Anbietern von KI-Modellen mit allgemeinem Verwendungszweck (General-Purpose AI, GPAI) umfassende Transparenz- und Sicherheitsanforderungen.

Ein besonderer Schwerpunkt liegt hierbei auf denjenigen KI-Modellen mit systemischem Risiko, die das Potenzial haben, großflächigen Schaden zu verursachen. In der Praxis bedeutet dies, dass entweder hochentwickelte Modelle oder jedes Modell, das von der Europäischen Kommission als ein Modell mit systemischem Risiko eingestuft wird, in den Anwendungsbereich zusätzlicher Vorschriften nach den Artikeln 51–55 der Verordnung fällt.

Dieser Artikel untersucht, wie das KI-Gesetz systemisches Risiko definiert, wann ein GPAI-Modell diese Schwelle erreicht und welche zusätzlichen Pflichten Anbieter erfüllen müssen, sobald ihr Modell als Modell mit systemischem Risiko eingestuft wird.

Was ist ein KI-Modell mit allgemeinem Verwendungszweck (GPAI)?

Ein Modell mit allgemeinem Verwendungszweck wird in Artikel 3 Nr. 63 definiert als ein hochleistungsfähiges „ein KI-Modell — einschließlich der Fälle, in denen ein solches KI-Modell mit einer großen Datenmenge unter umfassender Selbstüberwachung trainiert wird —, das eine erhebliche allgemeine Verwendbarkeit aufweist und in der Lage ist, unabhängig von der Art und Weise seines Inverkehrbringens ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen“.

Im alltäglichen Sprachgebrauch umfasst dies heutige große Sprachmodelle, multimodale Modelle und Foundation-Modelle, die auf viele verschiedene Anwendungen anwendbar sind. Die Veröffentlichungsform (Open Source, API-Zugang usw.) ändert an dieser Definition nichts. Ein eng trainiertes Modell für eine einzige Aufgabe fällt demgegenüber in der Regel nicht darunter.

Anbieter von GPAI-Modellen unterliegen einer Reihe spezifischer Anforderungen. Alle GPAI-Anbieter, auch diejenigen, deren Modelle kein systemisches Risiko darstellen, müssen den Artikel 53 der KI-Verordnung erfüllen.

Kurz gesagt, Artikel 53 verlangt:

• Technische Modelldokumentation, einschließlich Training und Tests (Anhang XI).

• Dokumentation über die Modellfähigkeiten (Anhang XII) für nachgelagerte Verwender.

• Eine Urheberrechts-Compliance-Policy, um die Einhaltung von Art. 4(3) der CDSM-Richtlinie sicherzustellen.

• Eine öffentlich zugängliche, detaillierte Zusammenfassung der für das Training verwendeten Inhalte.

Open-Source-Modelle sind weitgehend von den Dokumentations- und Veröffentlichungspflichten des Artikels 53 befreit, es sei denn, sie werden als Modelle mit systemischem Risiko identifiziert.

Was bedeutet „systemisches Risiko“ nach der KI-Verordnung?

Der Begriff „systemisches Risiko“ wird in Artikel 3 Nr. 65 der KI-Verordnung definiert als ein Risiko, das mit den hochwirksamen Fähigkeiten eines Modells verbunden ist und „einen erheblichen Einfluss auf den Binnenmarkt der Union hat, entweder aufgrund seiner:

1. Reichweite oder
2. aufgrund tatsächlicher oder vernünftigerweise vorhersehbarer negativer Auswirkungen auf kritische Bereiche wie“:

• • öffentliche Gesundheit,

  • Sicherheit,

  • öffentliche Sicherheit,

  • Grundrechte oder

  • die Gesellschaft als Ganzes,

die sich im großen Maßstab ausbreiten können.

Vereinfacht bedeutet systemisches Risiko also „Schäden im großen Maßstab“, die von GPAI-Modellen ausgehen können. Diese Schäden sind nicht auf einen einzelnen Sektor beschränkt. Erwägungsgrund 110 nennt z. B. Risiken wie:

• • Unterstützung bei der Entwicklung von chemischen oder biologischen Waffen,

  • katastrophale Unfälle,

  • Kontrollverlust über autonome Systeme,

  • schwerwiegende Auswirkungen auf demokratische Institutionen,

  • Bedrohungen für die öffentliche und wirtschaftliche Sicherheit,

  • Gefährdung des sozialen Zusammenhalts durch Desinformation oder Manipulation.

Kurzum: systemische Risiken sind die Worst-Case-Gefahren, von physischen Katastrophen bis zu Sicherheitsbedrohungen und schweren Rechtsverletzungen, die entstehen könnten, wenn ein extrem leistungsfähiges KI-Modell im großen Maßstab missbraucht oder fehlgeleitet wird.

Wann weist ein GPAI-Modell systemisches Risiko auf?

Ein Modell mit allgemeinem Verwendungszweck wird nach Artikel 51 formell als systemisches Risiko eingestuft, wenn es eine der beiden folgenden Bedingungen erfüllt:

1. Hochwirksame Fähigkeiten: Das Modell verfügt über Fähigkeiten, die nach objektiver Bewertung (Benchmarks, Indikatoren usw.) den fortschrittlichsten GPAI-Modellen auf dem Markt entsprechen oder diese übertreffen.

   Selbst wenn ein Modell den oben genannten Schwellenwert unterschreitet, kann die Kommission es von Amts wegen oder nach einer Warnung ihres wissenschaftlichen Gremiums als systemisch risikobehaftet einstufen, sofern das Modell auf Grundlage der Kriterien in Anhang XIII hinsichtlich Leistungsfähigkeit oder Risiko als der Kategorie „hohe Auswirkungen“ gleichwertig eingestuft wird.

   Die Kriterien in Anhang XIII konkretisieren, was „gleiche Auswirkungen“ bedeuten kann. Sie umfassen technische Kennzahlen wie Größe und Rechenleistung des Modells sowie praktische Kennzahlen wie die Marktreichweite.

   Beispiele sind: Anzahl der Parameter und Datensatzgröße, Gesamtrechenleistung (oder Kosten/Energie) für das Training, unterstützte Modalitäten (Text, Bild, Audio, multimodal usw.), Benchmark-Leistung, Anpassungsfähigkeit und Autonomie sowie sogar Nutzerstatistiken (z. B. Nutzung durch über 10.000 EU-Unternehmen). Mit anderen Worten: Wenn ein Modell sehr groß ist, mit riesigen Datenmengen trainiert wurde, über verschiedene Aufgaben hinweg hochleistungsfähig ist und/oder weit verbreitet eingesetzt wird, ist es sehr wahrscheinlich, dass es als systemisch risikobehaftet eingestuft wird.

   Ein Wort der Warnung: Es besteht möglicherweise die allgemeine Annahme, dass nur die leistungsfähigsten KI-Modelle wie GPT 4/5 als systemische Risikomodelle gelten. Heutzutage sind jedoch bereits viele KI-Modelle in verschiedenen Distributionsoptionen verfügbar, z. B. als „Open-Weight“ oder „Open Source“, die über Sharing-Dienste frei zugänglich sind und möglicherweise bereits als systemisches Risiko gelten, allein aufgrund der Geschäftsanwender oder weil sie bereits leistungsfähig genug sind, um einen gewissen Schaden zu verursachen.

2. Die KI-Verordnung geht davon aus, dass jedes Modell, dessen Trainings-Compute 10^25 Floating-Point Operations (FLOPs) übersteigt, solche hochwirksamen Fähigkeiten besitzt. Die Kommission kann diesen Schwellenwert per delegierter Rechtsakte an den Stand der Technik anpassen. Anbieter müssen die Kommission benachrichtigen, sobald ihr Modell diese Grenze überschreitet.

Nach Artikel 52 hat der Anbieter zwei Wochen Zeit, die Kommission zu informieren, sobald er weiß, dass sein Modell den Schwellenwert überschreitet oder überschreiten wird. Die Kommission prüft dann, ob das Modell als Modell mit systemischem Risiko eingestuft wird, und führt eine öffentliche Liste solcher Modelle. Der Anbieter kann gegen die Einstufung argumentieren, bleibt aber gebunden, wenn die Kommission nicht überzeugt wird.

Zusätzliche Pflichten für GPAI-Modelle mit systemischem Risiko unter Artikel 55

Wird ein GPAI-Modell als systemisches Risiko eingestuft, gelten zusätzlich zu den Pflichten nach Artikel 53 weitere Anforderungen gemäß Artikel 55:

1. Modellevaluierungen: einschließlich adversarial Testing. Anbieter müssen das Modell aktiv prüfen und Stresstests unterziehen, um Schwachstellen oder unsicheres Verhalten zu entdecken. Sie müssen diese Tests dokumentieren und als Grundlage für Verbesserungen nutzen.

2. Risikobewertung und -minderung: Kontinuierliche Bewertung und Minderung möglicher systemischer Risiken auf Unionsebene. Dies bedeutet, alle Möglichkeiten zu identifizieren, wie die Entwicklung, Bereitstellung oder Nutzung des Modells zu erheblichen Schäden führen könnte, und aktive Maßnahmen zu deren Reduzierung zu ergreifen. Anbieter sollten die Risiken berücksichtigen, die sich aus dem gesamten Lebenszyklus des Modells ergeben.

3. Meldung von Vorfällen: Verfolgung, Dokumentation und Meldung schwerwiegender Vorfälle und Beinaheunfälle im Zusammenhang mit dem Modell. Ein schwerwiegender Vorfall kann ein KI-bedingter Unfall, eine entdeckte Schwachstelle oder ein sonstiger schädlicher Ausgang sein. Anbieter müssen das EU-KI-Büro und gegebenenfalls die nationalen Behörden unverzüglich über den Vorfall und die ergriffenen Korrekturmaßnahmen informieren.

4. Cybersicherheit: Gewährleistung eines angemessenen Cybersicherheitsschutzes für das Modell und seine Infrastruktur. Angesichts der Risiken von Diebstahl oder böswilliger Nutzung (z. B. Diebstahl eines Modells zum Trainieren von Waffen-KI) müssen Anbieter während des gesamten Betriebs und der Speicherung des Modells strenge Sicherheitsmaßnahmen ergreifen.

Diese vier Punkte sind ausdrücklich in Artikel 55 Abs. 1 Buchstaben a–d festgelegt. Die Verordnung verweist auf die Nutzung künftiger EU-Standards und Codes of Practice als Nachweis der Compliance, erlaubt aber auch alternative Nachweise gleichwertiger Maßnahmen.

Kurz gesagt: Anbieter von GPAI-Modellen mit systemischem Risiko müssen ein umfassendes Sicherheits- und Schutzframework um ihre Modelle herum aufbauen und pflegen – im Einklang mit den Best Practices der KI-Sicherheit wie Red Teaming, formalisierte Risikomanagementprozesse, Überwachung von Vorfällen und robuste Abwehrmaßnahmen.

Beispiele für systemische Risikobereiche

Die KI-Verordnung listet nicht alle möglichen Schäden auf, da das zukünftige Schadenspotenzial von KI nicht vollständig vorhersehbar ist. Stattdessen werden Risikokategorien und die potenziellen Auswirkungen systemischer Risiken in einem breiten Spektrum von Rechtsbereichen aufgeführt.

Die folgende Tabelle zeigt eine nicht abschließende Liste potenzieller systemischer Risiken, die nach bestimmten Rechtsrahmen in der EU zusätzlich zum EU-KI-Gesetz reguliert oder schlichtweg illegal sind.