KI-Governance im Unternehmen: Verantwortung, Risikorahmen und EU AI Act

KI-Governance beschreibt den organisatorischen und regelbasierten Rahmen, den Unternehmen benötigen, um Künstliche Intelligenz verantwortlich, sicher und rechtskonform einzusetzen. Viele Mittelständler haben in den vergangenen Jahren KI-Tools eingeführt, oft schnell und ohne formale Strukturen: Sprachmodelle für die Texterstellung, prädiktive Analysen in der Produktion, automatisierte Bonitätsprüfungen im Finanzwesen. Die Frage, wer im Unternehmen verantwortlich ist, wenn ein KI-System fehlerhafte Entscheidungen trifft oder Datenschutzpflichten verletzt, bleibt dabei häufig unbeantwortet. Mit dem schrittweisen Inkrafttreten des EU AI Acts entstehen nun konkrete Pflichten, die eine formale KI-Governance nicht mehr zum optionalen Qualitätsmerkmal machen, sondern zur rechtlichen Notwendigkeit.

Warum KI-Governance kein IT-Thema ist

Ein verbreiteter Irrtum besteht darin, KI-Governance als technische Aufgabe zu verstehen, die allein in der IT-Abteilung oder beim Digitalisierungsverantwortlichen angesiedelt werden kann. Tatsächlich berührt die verantwortungsvolle Nutzung von KI-Systemen nahezu alle Funktionsbereiche des Unternehmens: das Personalwesen, wenn KI Bewerbungsunterlagen vorselektiert; den Einkauf, wenn Lieferanten durch Algorithmen bewertet werden; den Vertrieb, wenn Kundenbindungsrisiken durch Scoring-Modelle prognostiziert werden; und das Management, wenn KI-gestützte Forecasts Investitionsentscheidungen beeinflussen.

Damit ist KI-Governance eine Führungsaufgabe. Sie erfordert Entscheidungen auf Ebene der Geschäftsleitung über Risikotoleranz, Kontrollmechanismen und Rechenschaftsstrukturen. Technische Teams liefern die Voraussetzungen, aber die Rahmensetzung muss von oben kommen.

Grundstruktur einer KI-Governance: Vier Kernelemente

Eine funktionsfähige KI-Governance besteht aus vier aufeinander aufbauenden Elementen. Diese Struktur lehnt sich an anerkannte Governance-Frameworks wie ISO/IEC 42001 (AI Management System) an, ist aber auch ohne vollständige Normimplementierung als Orientierung geeignet.

ElementInhaltTypisches Umsetzungsmittel
Strategie und RichtlinienDefiniert, für welche Zwecke und unter welchen Bedingungen KI im Unternehmen eingesetzt werden darfKI-Policy, Nutzungsrichtlinie, Freigabeprozess für neue KI-Tools
RisikoklassifizierungBewertet jedes KI-System nach Risikoklasse (Auswirkungen auf Menschen, Daten, Prozesse)KI-Risikoregister, angelehnt an EU AI Act Kategorien
VerantwortlichkeitenRegelt, wer für Betrieb, Überwachung, Eskalation und Abschaltung zuständig istRACI-Matrix, benannter KI-Verantwortlicher je System
Kontrolle und AuditierungStellt sicher, dass KI-Systeme dokumentiert, überwacht und regelmäßig überprüft werdenLogging-Pflicht, regelmäßige Systemreviews, Incident-Register

Der EU AI Act: Pflichten für Unternehmen im Überblick

Der EU AI Act (Verordnung EU 2024/1689) ist die weltweit erste umfassende gesetzliche Regulierung von KI-Systemen. Er trat stufenweise in Kraft; die wichtigsten Pflichten für Hochrisiko-KI-Systeme gelten ab August 2026. Für Mittelständler in Deutschland, die KI-Systeme einsetzen, ergibt sich folgendes Bild:

Risikoklassen und wer betroffen ist

Der EU AI Act unterscheidet vier Risikoklassen. Verbotene KI-Praktiken (z.B. manipulative Techniken, Social Scoring) sind unbedingt zu unterlassen. Hochrisiko-KI-Systeme unterliegen strengen Anforderungen: dazu zählen KI in Personalentscheidungen (Einstellung, Entlassung, Beförderung), KI in der Kreditvergabe, KI in kritischen Infrastrukturen sowie KI im Bildungswesen. Systeme mit begrenztem Risiko (z.B. Chatbots mit Kundenkontakt) erfordern Transparenzpflichten. Minimale Risikoklasse (z.B. KI-gestützte Spam-Filter) ist weitgehend unreguliert.

Für Mittelständler besonders relevant: Wer ein Hochrisiko-KI-System im eigenen Unternehmen einsetzt, gilt als Betreiber im Sinne des EU AI Acts und trägt damit eigene Pflichten, selbst wenn das System von einem externen Anbieter stammt. Diese umfassen unter anderem die Sicherstellung menschlicher Aufsicht, die Führung von Protokollen und die Durchführung einer Fundamental Rights Impact Assessment (FRIA) in bestimmten Fällen.

Transparenzpflichten für alle KI-Systeme

Unabhängig von der Risikoklasse gilt: Wenn ein Unternehmen Chatbots oder KI-generierte Inhalte gegenüber Kunden oder Mitarbeitenden einsetzt, muss es offenlegen, dass eine KI im Spiel ist. Dies betrifft automatisierte E-Mail-Responses, KI-gestützte Kundenservicesysteme und synthetisch erzeugte Audio- oder Videoinhalte.

KI-Risikoregister aufbauen: Schritt für Schritt

Ein KI-Risikoregister ist das operative Kernstück jeder KI-Governance. Es inventarisiert alle im Unternehmen eingesetzten KI-Systeme und bewertet sie strukturiert. Die Erstellung muss kein komplexes Projekt sein: Ein strukturiertes Tabellenblatt genügt als Ausgangspunkt.

Schrittfolge für den Aufbau

  • Schritt 1 – Inventarisierung: Alle genutzten KI-Tools und KI-gestützten Funktionen erfassen, inklusive KI-Funktionen in bestehender Software (z.B. automatische Texterkennung in DMS-Systemen, Forecasting in ERP-Systemen).
  • Schritt 2 – Zweckbeschreibung: Für jedes System beschreiben, welche Entscheidungen es trifft oder unterstützt und welche Personen davon betroffen sind.
  • Schritt 3 – Risikoklassifizierung: Einstufung nach EU AI Act Kategorien (verboten, Hochrisiko, begrenztes Risiko, minimales Risiko) und nach internem Risikoniveau (Datenschutz, Reputationsrisiko, operatives Risiko).
  • Schritt 4 – Verantwortlichkeiten: Benennung einer verantwortlichen Person je System (kein Team, sondern eine konkrete Person).
  • Schritt 5 – Maßnahmen: Festlegung von Kontrollmaßnahmen (Logging, Review-Intervall, Eskalationspfad).
  • Schritt 6 – Aktualisierung: Vierteljährliche Überprüfung, ob neue Systeme hinzugekommen sind oder sich das Risikoprofil bestehender Systeme verändert hat.

KI-Policy: Was sie enthalten muss

Eine KI-Policy ist das unternehmensweite Regelwerk für den Einsatz von Künstlicher Intelligenz. Sie ist nicht mit einer allgemeinen Digitalstrategie zu verwechseln, sondern ein operatives Steuerungsdokument. Typische Inhalte einer wirksamen KI-Policy sind:

  • Geltungsbereich: welche KI-Systeme und welche Mitarbeitenden sind erfasst?
  • Freigabeprozess: wie wird ein neues KI-Tool genehmigt, bevor es produktiv eingesetzt wird?
  • Datenschutzanforderungen: welche Datenkategorien dürfen in KI-Systeme eingegeben werden (besonders kritisch bei Cloud-basierten Sprachmodellen)?
  • Nutzungsgrenzen: für welche Zwecke ist KI ausdrücklich nicht erlaubt (z.B. autonome Personalentscheidungen ohne menschliche Überprüfung)?
  • Transparenzpflichten gegenüber Dritten: wann und wie informiert das Unternehmen über den KI-Einsatz?
  • Schulungspflichten: welche Mitarbeitenden brauchen welche KI-Kompetenz?
  • Incident-Reporting: wie werden KI-Fehler oder Missbrauchsfälle gemeldet und dokumentiert?

„Unternehmen, die KI-Systeme einsetzen, ohne klare Verantwortlichkeiten und Kontrollprozesse definiert zu haben, stehen im Schadensfall vor einem doppelten Problem: Sie können weder erklären, wie die Entscheidung zustande kam, noch nachweisen, dass sie ihrer Sorgfaltspflicht nachgekommen sind.“ (Sinngemäß aus Beratungspraxis zu KI-Compliance)

Menschliche Aufsicht als Governance-Kernprinzip

Sowohl der EU AI Act als auch das ethische KI-Leitbild der EU-Kommission stellen das Prinzip der menschlichen Aufsicht (Human Oversight) in den Mittelpunkt. Für Unternehmen bedeutet das in der Praxis: KI-Systeme, die Empfehlungen oder Entscheidungen ausgeben, müssen so gestaltet und betrieben sein, dass ein Mensch die Entscheidung im Bedarfsfall übersteuern oder das System abschalten kann.

Besonders wichtig ist dies in Personalprozessen. Wenn ein Algorithmus Bewerbungsunterlagen vorselektiert und ein Mensch die Vorschlagsliste der KI unreflektiert übernimmt, ist die menschliche Aufsicht de facto aufgehoben. Gerichte und Datenschutzbehörden haben in vergleichbaren Fällen festgestellt, dass die formale Einbeziehung eines Menschen nicht ausreicht; es kommt auf die tatsächliche Entscheidungskapazität an.

KI-Governance als Wettbewerbsvorteil positionieren

KI-Governance ist nicht nur ein Compliance-Thema, sondern entwickelt sich zunehmend zu einem Differenzierungsmerkmal im B2B-Wettbewerb. Großunternehmen und Konzerne, die als Kunden oder Partner von Mittelständlern auftreten, fragen bereits in Lieferantenaudits nach, ob der Partner einen dokumentierten Umgang mit KI-Systemen nachweisen kann. Versicherungen und Finanzierungspartner beginnen, den verantwortungsvollen Umgang mit KI als Risikomerkmal zu bewerten.

Unternehmen, die frühzeitig eine tragfähige KI-Governance aufgebaut haben, können dies im Vertriebs- und Kommunikationskontext nutzen: als Beleg für Verlässlichkeit, Transparenz und regulatorische Vorsorge. Das setzt allerdings voraus, dass die Governance-Strukturen tatsächlich gelebt und dokumentiert werden, nicht nur auf dem Papier existieren. Ein Schaufenster-Compliance-Programm, das im Audit-Fall keine belastbaren Nachweise liefert, erzeugt das gegenteilige Signal.

KI-Governance und DSGVO: Überschneidungen beachten

KI-Systeme, die personenbezogene Daten verarbeiten, fallen zusätzlich unter die Datenschutz-Grundverordnung. Für die Governance-Praxis ergibt sich daraus eine direkte Verbindung: Das KI-Risikoregister muss mit dem Verarbeitungsverzeichnis nach Art. 30 DSGVO abgeglichen werden. Jedes KI-System, das personenbezogene Daten verarbeitet, ist dort als Verarbeitungstätigkeit einzutragen.

Besondere Sorgfalt ist bei vollautomatisierten Entscheidungen erforderlich. Art. 22 DSGVO gewährt betroffenen Personen das Recht, nicht ausschließlich einer automatisierten Entscheidung unterworfen zu werden, wenn diese rechtliche oder ähnlich bedeutende Auswirkungen hat. Wer z.B. Kreditanträge vollautomatisiert ablehnt oder Mitarbeitende ohne menschliche Überprüfung mit einem Scoring-Modell bewertet, muss sicherstellen, dass auf Wunsch eine menschliche Überprüfung möglich ist.

Typische Stolperfallen bei der Einführung von KI-Governance

Erfahrungen aus Beratungsprojekten zeigen, dass bestimmte Fehler bei der Implementierung von KI-Governance immer wieder auftreten. Die häufigste: die Erstellung eines Regelwerks, das zwar existiert, aber nicht in die tägliche Arbeit eingebettet ist. Wenn niemand weiß, dass eine KI-Policy existiert, oder wenn der Freigabeprozess für neue Tools so bürokratisch ist, dass er systematisch umgangen wird, hat die Governance keinen praktischen Wert.

Ein weiterer Fehler: KI-Governance wird als einmaliges Projekt betrachtet. Tatsächlich müssen Risikoregister, Policy und Verantwortlichkeiten kontinuierlich gepflegt werden, weil sich KI-Systeme (insbesondere lernende Systeme) und das regulatorische Umfeld dynamisch verändern. Ein KI-System, das beim Rollout als risikoarm eingestuft wurde, kann durch Funktionserweiterungen oder veränderte Nutzungsszenarien in eine höhere Risikoklasse wechseln.

Dritte Stolperfalle: unzureichende Lieferanten-Governance. Viele Unternehmen vertrauen darauf, dass der KI-Anbieter für Compliance und Sicherheit zuständig ist. Als Betreiber tragen sie jedoch eigene Pflichten, die durch den Vertrag mit dem Anbieter nicht vollständig delegierbar sind. Vertragliche Klarheit über Datenschutzverantwortung, Audit-Rechte und Incident-Meldepflichten ist daher essenziell.

KI-Kompetenz der Belegschaft als Governance-Voraussetzung

KI-Governance-Strukturen bleiben wirkungslos, wenn die Belegschaft nicht versteht, wie KI-Systeme funktionieren, welche Risiken sie tragen und wie mit Fehlern umzugehen ist. Schulungen sind daher kein optionaler Zusatz, sondern ein integraler Bestandteil der Governance. Der EU AI Act verpflichtet Anbieter und Betreiber von Hochrisiko-KI-Systemen sogar ausdrücklich dazu, sicherzustellen, dass die Personen, die diese Systeme bedienen, über ausreichende Kompetenz verfügen (Art. 26 Abs. 6 EU AI Act).

Praktisch lassen sich die Schulungsbedarfe in drei Gruppen gliedern. Die erste Gruppe sind alle Mitarbeitenden, die KI-Tools aktiv nutzen: Ihnen reicht ein Grundverständnis für Funktionsprinzipien, Grenzen und Datenschutzpflichten. Die zweite Gruppe sind Führungskräfte und Entscheider, die KI-gestützte Auswertungen oder Empfehlungen in ihre Entscheidungen einbeziehen: Sie benötigen ein kritisches Verständnis dafür, wann KI-Outputs vertrauenswürdig sind und wann nicht. Die dritte Gruppe sind der KI-Verantwortliche und das IT-Team: Sie brauchen tieferes Wissen über Risikobewertung, technische Überwachung und regulatorische Anforderungen.

Lieferanten-Governance: KI-Anbieter im Blick behalten

Eine vollständige KI-Governance umfasst nicht nur intern betriebene Systeme, sondern auch KI-Funktionen, die über zugekaufte Software bezogen werden. Viele Unternehmen nutzen ERP-, CRM- oder HR-Systeme, die KI-gestützte Funktionen wie Forecasting, automatisches Matching oder Anomalieerkennung enthalten, ohne dass diese bewusst als KI wahrgenommen werden.

Im Rahmen der Lieferanten-Governance sollten folgende Aspekte bei KI-haltigen Softwaresystemen vertraglich geregelt sein: Welche KI-Funktionen sind im Produkt enthalten? Werden die Eingabedaten des Unternehmens für das Training des Modells genutzt, und falls ja, in welcher Form? Welche Transparenz bietet der Anbieter über Modellveränderungen? Wer ist zuständig, wenn die KI-Funktion nachweislich fehlerhafte Ergebnisse liefert, und welche Eskalationswege gibt es?

Besondere Sorgfalt ist bei generativen KI-Diensten geboten, die über Cloud-APIs eingebunden werden. Hier sollten Unternehmen vor Vertragsabschluss prüfen, ob der Anbieter Datenverarbeitungsverträge nach Art. 28 DSGVO anbietet und ob Standort und Speicherort der Daten den eigenen Compliance-Anforderungen entsprechen. Viele Anbieter im Enterprise-Segment bieten inzwischen Opt-out-Optionen an, die sicherstellen, dass Eingabedaten nicht für das Training genutzt werden.

Incident-Management: Was passiert, wenn ein KI-System versagt?

Auch bei sorgfältiger Governance können KI-Systeme Fehler produzieren, sogenannte Halluzinationen bei Sprachmodellen, systematische Verzerrungen bei Scoring-Modellen oder fehlerhafte Klassifizierungen in der Produktion. Entscheidend ist nicht, ob solche Fehler passieren, sondern wie das Unternehmen damit umgeht. Ein funktionierendes Incident-Management umfasst vier Schritte: Erstens die strukturierte Meldung des Vorfalls an den KI-Verantwortlichen. Zweitens die Bewertung, ob Personen oder Prozesse konkret geschädigt wurden und ob eine Meldepflicht gegenüber Behörden besteht (bei Hochrisiko-KI-Systemen sieht der EU AI Act eine Meldung an Marktüberwachungsbehörden vor). Drittens die Analyse der Ursache und die temporäre Deaktivierung oder Einschränkung des betroffenen Systems. Viertens die Dokumentation im Incident-Register und die Anpassung der Kontrollmaßnahmen.

FAQ

Gilt der EU AI Act auch für kleine und mittlere Unternehmen?

Ja. Der EU AI Act unterscheidet nicht nach Unternehmensgröße, sondern nach der Risikoklasse des eingesetzten KI-Systems. Für Betreiber von Hochrisiko-KI-Systemen gelten die Pflichten unabhängig davon, ob das Unternehmen 10 oder 10.000 Mitarbeitende hat. Es gibt vereinfachte Anforderungen für Kleinstunternehmen bei technischen Dokumentationen, aber keine generelle Ausnahme von den Kernpflichten.

Was ist ISO/IEC 42001 und ist eine Zertifizierung erforderlich?

ISO/IEC 42001 ist die internationale Norm für KI-Managementsysteme. Sie gibt Unternehmen einen strukturierten Rahmen für KI-Governance. Eine Zertifizierung ist nicht gesetzlich vorgeschrieben, kann aber als Nachweis gegenüber Kunden, Partnern und Behörden dienen und die Einhaltung des EU AI Acts erleichtern.

Wer trägt im Unternehmen die Verantwortung für KI-Governance?

Die Gesamtverantwortung liegt bei der Geschäftsleitung. Operativ empfiehlt sich die Benennung eines KI-Verantwortlichen, der Policies pflegt, das Risikoregister führt und als Ansprechpartner fungiert. Technisches KI-Expertenwissen ist dafür nicht zwingend erforderlich, wohl aber rechtliches und organisatorisches Grundverständnis.

Dürfen Mitarbeitende externe Chat-KI-Tools dienstlich nutzen?

Das hängt von der internen KI-Policy und den Datenschutzanforderungen ab. Kritisch ist die Eingabe personenbezogener Daten, Betriebsgeheimnisse oder vertraulicher Kundendaten in externe Dienste, deren Nutzungsbedingungen eine Verarbeitung der Eingaben für Trainingszwecke nicht ausschließen. Viele Unternehmen erlauben die Nutzung mit expliziten Einschränkungen.

Was passiert, wenn ein KI-System eine fehlerhafte Entscheidung trifft?

Die Haftung liegt grundsätzlich beim Unternehmen als Betreiber. Wenn eine fehlerhafte KI-Entscheidung zu einem Schaden bei einer Person führt, können Schadensersatzansprüche nach allgemeinem Haftungsrecht entstehen. Im Hochrisikobereich sieht der EU AI Act zudem Sanktionen vor.

Verwandte Themen

Aktuelle Beiträge

Weitere Beiträge: