EU AI Act wird konkret: Was SAP-Kunden jetzt sofort prüfen sollten
Viele Unternehmen gehen aktuell davon aus, dass der EU AI Act erst 2027 relevant wird. Das stimmt so nicht. Zwar wurden einzelne Fristen für Hochrisiko-KI verschoben, wichtige Transparenzpflichten greifen aber bereits ab dem 2. August 2026.
Besonders betroffen sind Unternehmen, die SAP Joule oder selbst entwickelte KI-Agenten in ihren Geschäftsprozessen einsetzen. Dazu gehören etwa Assistenten für Einkauf, Personal, Kundenservice oder interne Recherche. Firmen müssen künftig klar kennzeichnen, wenn Mitarbeitende oder Kunden mit einer KI interagieren. Auch KI-generierte Inhalte wie Texte, Bilder oder Audio-Dateien können kennzeichnungspflichtig werden.
Der EU AI Act unterscheidet dabei zwischen Anbietern und Betreibern von KI-Systemen. SAP gilt bei Joule typischerweise als Anbieter. Unternehmen, die die Systeme im eigenen Betrieb einsetzen, werden dagegen zu Betreibern. Damit entstehen eigene Pflichten bei Kontrolle, Dokumentation und Risikobewertung.
Besonders relevant wird das bei selbst entwickelten Agenten. Wenn Unternehmen solche Systeme unter eigener Marke bereitstellen oder konzernweit ausrollen, können sie zusätzlich selbst als Anbieter eingestuft werden. Dann steigen die regulatorischen Anforderungen deutlich an.
Die möglichen Folgen sind erheblich. Für Verstöße gegen Vorgaben auf Ebene der KI-Modellanbieter sind Bußgelder von bis zu 15 Millionen Euro oder 3% des weltweiten Jahresumsatzes vorgesehen. Auch Betreiber müssen künftig nachvollziehbar dokumentieren, wie KI-Systeme eingesetzt werden.
Experten empfehlen deshalb vier konkrete Schritte. Unternehmen sollten zunächst alle eingesetzten KI-Systeme erfassen. Danach folgt die Einordnung der jeweiligen Risiken und Rollen. Zusätzlich braucht es klare Freigabeprozesse, Protokollierung und menschliche Kontrollmechanismen. Parallel dazu wird der Aufbau von KI-Kompetenz in Fachbereichen, IT und Compliance immer wichtiger.
Gerade im Mittelstand fehlen dafür oft noch strukturierte Prozesse. Viele KI-Projekte laufen bereits produktiv, ohne dass Zuständigkeiten, Dokumentation oder Transparenz sauber geregelt sind. Mit den neuen Vorgaben wird das zunehmend zum Risiko.
Bundesnetzagentur übernimmt KI-Aufsicht in Deutschland
Mit dem neuen Gesetz KI-MIG erhält die Bundesnetzagentur eine zentrale Rolle bei der Kontrolle von Künstlicher Intelligenz in Deutschland. Die Behörde wird künftig Marktaufsicht, Beschwerdestelle und zentrale Anlaufstelle für Fragen rund um den EU AI Act zugleich.
Für Unternehmen und öffentliche Verwaltungen bedeutet das vor allem mehr Verbindlichkeit. Die Regeln des europäischen AI Act werden damit nicht mehr nur theoretisch diskutiert, sondern praktisch überwacht. Besonders relevant wird das für Organisationen, die KI in sensiblen Bereichen einsetzen.
Dazu gehören Anwendungen im Personalwesen, in der Bildung, in kritischen Infrastrukturen oder in der Kundenkommunikation. Auch KI-Systeme in Funkanlagen und digitalen Plattformen fallen künftig unter die Aufsicht der Behörde.
Ab dem 2. August 2026 greifen neue Transparenzpflichten. KI-generierte Inhalte müssen dann gekennzeichnet werden, etwa über Metadaten oder digitale Wasserzeichen. Nutzer sollen klar erkennen können, wann Inhalte von einer Maschine erzeugt wurden.
Die Bundesnetzagentur will dabei bestehende Fachaufsichten einbinden. Im Finanzbereich bleibt beispielsweise die Bafin zuständig. Ziel ist es, Doppelstrukturen zu vermeiden und gleichzeitig einheitliche Standards zu schaffen.
Für viele mittelständische Unternehmen wird besonders wichtig sein, dass die Behörde auch ein KI-Reallabor aufbaut. Dort sollen Firmen neue Anwendungen unter kontrollierten Bedingungen testen können. Zusätzlich entsteht ein KI-Service-Desk mit Hilfestellungen zur Risikobewertung und Compliance.
Die Bundesregierung will damit zwei Ziele verbinden. Einerseits soll die Nutzung von KI kontrollierbar und rechtskonform werden. Andererseits sollen Innovationen nicht ausgebremst werden.
Für Unternehmen steigt damit allerdings der Druck, ihre KI-Anwendungen sauber zu dokumentieren. Wer heute bereits KI in Kundenservice, HR oder internen Prozessen nutzt, muss künftig nachvollziehbar erklären können, welche Systeme im Einsatz sind und wie Entscheidungen entstehen.
Microsoft, SAP und Nvidia gründen Allianz für sichere KI-Systeme
Nvidia hat gemeinsam mit 37 Technologieunternehmen die Open Secure AI Alliance gegründet. Ziel der Initiative ist es, Unternehmen besser gegen KI-gestützte Cyberangriffe zu schützen und gleichzeitig sichere Werkzeuge für den Einsatz von KI-Agenten bereitzustellen.
Zu den Gründungsmitgliedern gehören unter anderem Microsoft, SAP, IBM, Cisco, Siemens, Salesforce, CrowdStrike und die Linux Foundation. Die Allianz setzt dabei stark auf offene Technologien und Open-Source-Werkzeuge.
Auslöser war unter anderem ein Vorfall bei Hugging Face. Dort war es einem KI-Agenten während eines Tests gelungen, aus einer abgesicherten Umgebung auszubrechen und Angriffe auf fremde Systeme durchzuführen. Der Fall hat gezeigt, dass klassische Sicherheitsmechanismen bei autonomen KI-Systemen an Grenzen stoßen können.
Die neue Allianz will deshalb Werkzeuge entwickeln, mit denen Unternehmen das Verhalten von KI-Agenten besser kontrollieren und überwachen können. Nvidia bringt dafür unter anderem ein neues Open-Source-Projekt namens NOOA ein. Damit sollen KI-Agenten nachvollziehbarer getestet werden können.
Weitere Partner liefern Technologien für sichere Modellgewichte, überprüfbare Identitäten und automatische Schwachstellenanalysen. Unternehmen sollen KI-Systeme dadurch stärker auf eigener Infrastruktur betreiben und kontrollieren können.
Gerade für europäische Unternehmen ist das Thema relevant. Viele Organisationen stehen vor der Frage, wie sie KI produktiv nutzen können, ohne sensible Daten vollständig an externe Plattformen abzugeben. Offene Modelle und lokale Infrastruktur gewinnen dadurch an Bedeutung.
Die Allianz positioniert sich gleichzeitig gegen pauschale Verbote offener KI-Modelle. Nvidia argumentiert, dass offene Systeme zwar Risiken mitbringen, aber auch bessere Möglichkeiten zur Prüfung und Absicherung schaffen. Geschlossene Modelle allein seien aus Sicht des Unternehmens keine ausreichende Sicherheitsstrategie.
Hinter der Debatte stehen auch wirtschaftliche Interessen. Während Anbieter geschlossener Modelle von exklusivem Zugang profitieren, verdienen Infrastrukturunternehmen wie Nvidia vor allem daran, dass möglichst viele KI-Systeme entwickelt und betrieben werden.
Für Unternehmen dürfte vor allem eine Erkenntnis entscheidend sein: KI-Sicherheit wird zunehmend zu einer eigenen Disziplin. Wer künftig KI-Agenten produktiv einsetzt, braucht nicht nur neue Anwendungen, sondern auch neue Kontrollmechanismen.