Nachrichten der Woche

Die Anforderungen an Cybersicherheit, Genauigkeit und Robustheit von KI-Systemen nach Art. 15 KI-VO

Von adminVeröffentlicht am
Lesezeit:-Wörter

Art. 15 KI-VO spielt eine Schlüsselrolle bei der Festlegung von Anforderungen an Cybersicherheit beim Einsatz von KI-Systemen.

Das Bundesamt für Sicherheit in der Informationstechnik (BSI) vertritt drei Berührungspunkte von KI und Cybersicherheit:

  1. Cybersicherheit für KI-Anwendungen.
  2. Stärkung der Cybersicherheit durch KI
  3. Bedrohung der Cybersicherheit durch KI

Die KI-VO nimmt insbesondere auf den Bereich der Cybersicherheit für KI-Anwendungen Bezug und gibt Regelungen für das Design und die Funktionsweise von KI-Systemen für ein einheitliches Sicherheitsniveau bei KI-Systemen (EU) vor.

Die KI-VO schreibt keine konkreten Maßnahmen vor und unterscheidet im generellen nicht zwischen den verschiedenen Komponenten des KI-Systems. Art. 15 KI-VO gilt jedoch nur für Hochrisiko-KI-Systeme i.S.v. Art. 6 KI-VO.

Als Hochrisiko-KI-Systeme gelten Systeme, die ein erhebliches Risiko für Gesundheit, Sicherheit oder Grundrechte darstellen, aber nicht verboten sind.[1]

In der Praxis ergeben sich Herausforderungen bei der Identifizierung und dem Umgang mit KI-Schwachstellen, da sich KI-spezifische Technologien stets weiterentwickeln und teilweise unklar ist, welche Aspekte des KI-Systems eine Schwachstelle sind.

Die Beurteilung der Verbesserung der Sicherheit solcher Systeme findet insbesondere anhand der Genauigkeit, Robustheit und Widerstandsfähigkeit statt.

Art. 15 I KI-VO

Art. 15 I KI-VO ist als Generalklausel anzusehen und regelt, dass Anbieter von KI-Systemen allgemein dazu verpflichtet sind, die Genauigkeit, Robustheit und Cybersicherheit in einem angemessenen Maß sicherzustellen und diese über die Lebensdauer des KI-Systems hinweg zu erhalten.

Cybersicherheit – ein unbestimmter Rechtsbegriff in Art. 15 KI-VO

Zwar fällt der Begriff der Cybersicherheit immer wieder im Wortlaut des Art. 15 KI-VO, jedoch wird nicht definiert, was im Einzelnen darunter zu verstehen ist. Weder in der KI-VO im Normtext noch in den Erwägungsgründen wird der unbestimmte Rechtsbegriff geklärt. Eine allgemeine Definition von Cybersicherheit existiert bisher nicht.

Lediglich hilft Art. 2 Cybersecurity Act (CSA) weiter. Danach werden alle Tätigkeiten als Cybersicherheit bezeichnet, welche notwendig sind, um Netz- und Informationssysteme, die Nutzer solcher Systeme und andere von Cyberbedrohungen betroffene Personen zu schützen. Dieses Begriffsverständnis erfasst neben den klassischen IT-Sicherheitszielen auch die meisten der in Art. 15 KI-VO verwendeten Begriffe.

Genauigkeit, Art. 15 I – III KI-VO

  1. Genauigkeit misst, wie häufig der Output eines KI-Systems mit der Realität übereinstimmt und korrekt ist. Sie dient damit als zentrales Kriterium zur Bewertung der Output-Qualität von KI-Systemen.
  2. Anbieter müssen die Genauigkeit bereits im Entwicklungsprozess berücksichtigen und den ermittelten Genauigkeitswert sowie die zugrunde liegenden Metriken in der Betriebsanleitung angeben. Diese Informationen müssen klar und verständlich dargestellt sein, sodass auch nicht-technische Betreiber sie nachvollziehen können (Art. 15 I und III KI-VO i.V.m. Erwg. 74 KI-VO).
  3. Die EU-Kommission ist nach Art. 15 II KI-VO verpflichtet, gemeinsam mit den zuständigen Behörden Methoden zur Messung der Gesamtperformance von KI-Systemen – einschließlich der Genauigkeit – weiterzuentwickeln.

Art. 15 IV KI-VO

Art. 15 IV S. 1 und S. 2 KI-VO: Widerstandsfähigkeit & technische und organisatorische Maßnahmen

Art. 15 IV S. 1 KI-VO regelt, dass Hochrisiko-KI-Systeme so widerstandsfähig wie möglich gegenüber Fehlern, Störungen oder Unstimmigkeiten sein müssen, die innerhalb des Systems oder der Umgebung, in der das System betrieben wird, auftreten können. Diesbezüglich müssen technische und organisatorische Maßnahmen ergriffen werden.

Art. 15 IV S. 3 KI-VO: Robustheit durch technische Redundanz & Sicherungs- oder Störungssicherheitspläne

Die durch Absatz 1 vorgeschriebene Robustheit könnte bspw. durch technische Redundanz sowie Störungssicherheitspläne erreicht werden

  • Z.B.: Bereitstellung eines zweiten identischen KI-Systems, welches bei einem Ausfall die gleichen Funktionen übernimmt.

Exkurs: Begriffe Widerstandsfähigkeit und Robustheit

In der KI wird unterschieden:

  • Robustheit: Die Fähigkeit eines Systems, seine gesamte Funktionsfähigkeit bei Fehlfunktionen oder Störungen weitestgehend aufrechtzuerhalten
  • Widerstandsfähigkeit (auch „resilience“): Fähigkeit, Auswirkungen von Fremdwirkungen zu minimieren und sichere Betriebsbedingungen bei Bedarf schnellstmöglich wiederherzustellen.[2]

Die KI-VO differenziert jedoch nicht: Begriff der Widerstandsfähigkeit wird auch bzgl. der internen Funktionsweise des KI-Systems verwendet als auch im Rahmen der Abwehr von unbefugten Außeneinwirkungen[3]

Art. 15 IV S. 4 KI-VO: „Rückkoppelungsschleifen“ entgegenwirken

Gem. Art. 15 IV S. 4 KI-VO sollen selbstlernende KI-Systeme so entwickelt werden, dass gegen sog. „Rückkoppelungsschleifen“, d.h. fehlerhafte Ausgaben, die im Rahmen des Selbstlernprozesses über mehrere Ausgabedurchgänge bzw. Schleifen „mitgeschliffen“ werden, entgegengewirkt werden sollte.

Art. 15 V KI-VO

Art. 15 V 1 KI-VO: Widerstandsfähig gegen Versuche unbefugter Dritter

Gem. Art. 15 V 1 K-VO müssen Hochrisiko-KI‑Systeme widerstandsfähig gegen Versuche unbefugter Dritter sein, ihre Verwendung, Ausgaben oder Leistung durch Ausnutzung von Systemschwachstellen zu verändern.

Art. 15 V 2 KI-VO: technische Lösungen zur Gewährleistung der Cybersicherheit von Hochrisiko-KI-Systemen

Technische Lösungen zur Gewährleistung der Cybersicherheit von Hochrisiko-KI-Systemen müssen den jeweiligen Umständen und Risiken angemessen sein.

Art. 15 V 3 KI-VO: Schutz gegen KI-spezifische Bedrohungen

Art. 14 V 3 KI-VO nennt einige KI-spezifische Bedrohungen gegen welche die technischen Lösungen bei entsprechendem Bedarf Schutz bieten sollen.

  • Manipulationen im Trainingsprozess („data poisoning“ und „model poisoning“)
  • Die gezielte Eingabe von Daten, sodass das KI-Modell zu Fehlern verleitet wird („adversarial examples“ oder „model evasions“)
  • Vertraulichkeit der verarbeiteten Daten

Exkurs: Begriff Widerstandsfähigkeit & technische Lösungen

Der Begriff der Widerstandsfähigkeit wird als Synonym oder Teil der Cybersicherheit verwendet.[4]

Außerdem ist unklar, warum nur auf ausschließlich technische Maßnahmen verwiesen wird und nicht wie zuvor in Art. 15 IV KI-VO auf technische und organisatorische Maßnahmen.

Cybersicherheitsprobleme sind in 95 % der Fälle auf menschliches Fehlverhalten zurückzuführen, sodass nicht erschließbar ist, warum Art. 15 V KI-VO sich auf technische Maßnahmen beschränkt.[5]

Quellen:

[1] Teichmann: Neuer Rechtsrahmen für vertrauenswürdige KI(ZD 2025, 496).

[2] Glugla: Cybersicherheit in der KI-Verordnung (RDi 2024, 423).

[3] Glugla: Cybersicherheit in der KI-Verordnung (RDi 2024, 423).

[4] Glugla: Cybersicherheit in der KI-Verordnung (RDi 2024, 423).

[5] Glugla: Cybersicherheit in der KI-Verordnung (RDi 2024, 423).