Human-in-the-Loop bezeichnet den Ansatz, bei automatisierten oder KI-gestützten Entscheidungen eine Person verbindlich in den Ablauf einzubinden, die Ergebnisse prüft, korrigiert oder freigibt, bevor sie wirksam werden. Im Mittelstand wird der Begriff häufig mit Misstrauen gegenüber der Technik verwechselt. Tatsächlich geht es um eine nüchterne Frage der Risikosteuerung: Welche Entscheidungen darf ein System allein treffen, welche nur vorbereiten, und wer trägt in welchem Fall die Verantwortung?
Die Frage gewinnt an Gewicht, weil KI-Systeme zunehmend in Prozesse eingreifen, die bisher Fachkräften vorbehalten waren. Sie sortieren Bewerbungen, klassifizieren Eingangspost, schlagen Preise vor, bewerten Kreditrisiken oder formulieren Kundenantworten. Fehler sind dabei nicht auszuschließen, und sie fallen nicht immer sofort auf. Eine Kontrolle, die nur auf dem Papier existiert, schützt weder vor Fehlern noch vor Haftung.
Der Beitrag erläutert, wann menschliche Kontrolle sinnvoll oder geboten ist, welche Modelle der Einbindung existieren, wie die Prüfung gestaltet werden muss, damit sie wirkt, und welche regulatorischen Anforderungen zu beachten sind. Eine Entscheidungsmatrix und eine Checkliste unterstützen die Umsetzung.
Hinweis: Dieser Beitrag gibt ausschließlich die redaktionellen Ansichten der Redaktion von innovationimunternehmen.de wieder. Er stellt keine Rechtsberatung dar und ersetzt nicht die Beratung durch eine qualifizierte Rechtsanwältin oder einen qualifizierten Rechtsanwalt. Für rechtlich verbindliche Auskünfte zu Ihrem konkreten Fall wenden Sie sich bitte an einen zugelassenen Rechtsbeistand.
Titelbild: Foto von Igor Omilaev auf Unsplash.
Was Human-in-the-Loop bedeutet und was nicht
Im engeren Sinn beschreibt der Begriff ein Verfahren, bei dem ein Mensch in jede einzelne Entscheidung eingebunden ist. In der betrieblichen Praxis werden mehrere Varianten unterschieden, die sich im Grad der menschlichen Beteiligung unterscheiden. Die Abgrenzung hilft, Erwartungen und Aufwand realistisch zu bestimmen.
- Human-in-the-Loop: Das System erarbeitet einen Vorschlag, eine Person prüft und gibt jede Entscheidung frei.
- Human-on-the-Loop: Das System entscheidet selbstständig, eine Person überwacht den Betrieb und kann eingreifen, etwa über Ausnahmelisten und Stichproben.
- Human-in-Command: Die Person legt Ziele, Grenzen und Einsatzbereich fest und entscheidet über Inbetriebnahme und Abschaltung, ohne in Einzelfälle einzugreifen.
Keine dieser Varianten ist grundsätzlich besser. Entscheidend ist, dass die Wahl zum Risiko der Entscheidung passt und dass die beteiligten Personen tatsächlich die Möglichkeit haben, abzuweichen. Wer jeden Vorschlag lediglich abzeichnet, weil Zeitdruck besteht oder die Begründung nicht nachvollziehbar ist, praktiziert eine Scheinkontrolle.
Wann menschliche Kontrolle notwendig ist
Ob und wie stark ein Mensch eingebunden werden sollte, hängt von mehreren Faktoren ab. Zentral sind die Auswirkungen auf Betroffene, die Umkehrbarkeit der Entscheidung, die Fehlerquote des Systems, die Transparenz der Entscheidungsgrundlage und regulatorische Vorgaben. Je gravierender und unumkehrbarer die Folgen, desto enger sollte die Kontrolle ausfallen.
| Kriterium | Geringe Kontrolle ausreichend | Enge Kontrolle erforderlich |
|---|---|---|
| Auswirkung auf Personen | Interne Vorsortierung ohne Rechtsfolge | Personalentscheidung, Kreditvergabe, Kündigung |
| Umkehrbarkeit | Leicht korrigierbar, geringer Schaden | Nicht oder nur aufwendig umkehrbar |
| Finanzielles Volumen | Kleine Beträge, Routinefälle | Hohe Beträge, strategische Entscheidungen |
| Erklärbarkeit | Nachvollziehbare Regeln und Begründungen | Intransparentes Modell, keine Begründung |
| Datenlage | Stabile, gut verstandene Daten | Neue, schwankende oder verzerrte Daten |
| Regulatorik | Keine besonderen Vorgaben | Hochrisiko-Anwendung, Art. 22 DSGVO berührt |
Die Tabelle dient als Orientierung. Im Einzelfall empfiehlt sich eine dokumentierte Bewertung pro Anwendungsfall, die vor der Einführung erfolgt und nach den ersten Monaten Betrieb anhand der Erfahrungen überprüft wird.
Regulatorischer Rahmen: DSGVO und KI-Verordnung
Zwei Regelwerke prägen den Rahmen in Europa. Art. 22 der Datenschutz-Grundverordnung gibt betroffenen Personen das Recht, nicht einer ausschließlich auf automatisierter Verarbeitung beruhenden Entscheidung unterworfen zu werden, die ihnen gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt. Ausnahmen bestehen unter anderem bei Erforderlichkeit für einen Vertrag oder bei ausdrücklicher Einwilligung, doch auch dann sind angemessene Maßnahmen zum Schutz der Betroffenen vorzusehen, darunter das Recht auf Eingreifen einer Person.
Die europäische KI-Verordnung (Verordnung (EU) 2024/1689) verlangt für Hochrisiko-Systeme in Art. 14 eine menschliche Aufsicht. Die Systeme sind so zu gestalten, dass natürliche Personen sie während der Nutzung wirksam beaufsichtigen können. Die aufsichtführenden Personen müssen die Fähigkeiten und Grenzen des Systems verstehen, Automatisierungsneigung erkennen, Ausgaben richtig interpretieren und in der Lage sein, das System nicht zu nutzen, Ergebnisse zu übergehen oder umzukehren oder den Betrieb zu unterbrechen. Den Verordnungstext stellt die EU unter eur-lex.europa.eu bereit.
Für Betreiber folgen daraus Pflichten, unter anderem die Übertragung der Aufsicht an Personen mit der erforderlichen Kompetenz, Ausbildung und Befugnis. Ob ein Einsatzfall als Hochrisiko einzuordnen ist, hängt von der Zweckbestimmung ab, zum Beispiel in den Bereichen Beschäftigung, Zugang zu wesentlichen Diensten oder Kreditwürdigkeitsprüfung. Diese Einordnung sollte mit fachkundiger Unterstützung erfolgen.
Gestaltungsmodelle für die Einbindung
In der Praxis haben sich mehrere Muster bewährt. Sie lassen sich kombinieren, etwa mit unterschiedlicher Intensität je nach Konfidenz des Systems.
Vorschlag und Freigabe
Das System erzeugt einen Vorschlag samt Begründung, die zuständige Person gibt frei, ändert ab oder lehnt ab. Dieses Muster eignet sich für Entscheidungen mit hoher Tragweite und moderatem Volumen, etwa für Vertragsprüfungen oder Reklamationsentscheidungen. Der Aufwand skaliert allerdings linear mit dem Volumen.
Konfidenzbasierte Eskalation
Das System entscheidet selbst, sofern seine Sicherheit einen festgelegten Schwellenwert überschreitet. Unsichere Fälle werden einer Person zugeleitet. Wichtig ist, dass die Schwelle nicht beliebig, sondern anhand von Testdaten kalibriert wird. Modelle sind teilweise überzuversichtlich, sodass die ausgegebene Wahrscheinlichkeit nicht ohne Prüfung als Maß für Richtigkeit verwendet werden darf.
Stichprobenkontrolle
Bei hohem Volumen und geringer Tragweite wird ein Teil der automatisch getroffenen Entscheidungen zufällig zur Prüfung ausgewählt. Die Stichprobe liefert Fehlerquoten und Hinweise auf Qualitätsverschiebungen. Sie sollte zusätzlich gezielt Randfälle enthalten, etwa neue Kundengruppen oder seltene Konstellationen.
Vier-Augen-Prinzip mit Rollentrennung
Bei besonders sensiblen Entscheidungen prüfen zwei Personen unabhängig voneinander oder eine Person prüft, während eine andere freigibt. Dieses Prinzip ist aus Finanzprozessen bekannt und lässt sich auf KI-gestützte Vorgänge übertragen.
Wann die Kontrolle wirkt und wann nicht
Menschliche Aufsicht schützt nur, wenn sie unter realistischen Bedingungen ausgeübt werden kann. Mehrere Effekte führen in der Praxis dazu, dass sie an Wirkung verliert. Der bekannteste ist die Automatisierungsneigung: Menschen neigen dazu, Vorschlägen einer Maschine zu folgen, besonders bei Zeitdruck und wenn die Ergebnisse meist stimmen. Je besser ein System im Durchschnitt arbeitet, desto geringer wird die Aufmerksamkeit bei den seltenen Fehlern.
- Zeitdruck: Wenn pro Fall nur Sekunden bleiben, ist eine inhaltliche Prüfung unmöglich.
- Fehlende Begründung: Wer nicht sieht, warum das System so entschieden hat, kann nur zustimmen oder pauschal misstrauen.
- Unklare Befugnis: Wenn Abweichungen als Störung gelten oder gerechtfertigt werden müssen, sinkt ihre Zahl.
- Fehlende Kompetenz: Prüfende, die das Fachgebiet nicht beherrschen, erkennen Fehler nicht.
- Falsche Kennzahlen: Wird die Bearbeitungsgeschwindigkeit belohnt, wird die Qualität der Prüfung verdrängt.
Eine Kontrolle ist erst dann wirksam, wenn die prüfende Person Zeit, Kompetenz, Information und die Befugnis hat, dem System zu widersprechen.
Anforderungen an die prüfenden Personen
Die Rolle der Aufsicht sollte bewusst besetzt und beschrieben werden. Sie braucht Fachwissen über den Gegenstand der Entscheidung und ein Grundverständnis davon, wie das KI-System arbeitet, welche Fehlerarten typisch sind und wo seine Grenzen liegen. Hinzu kommt die Bereitschaft, Ergebnisse zu hinterfragen, und die organisatorische Rückendeckung dafür.
Schulungen sollten konkrete Fehlerbeispiele aus dem eigenen Einsatzfeld enthalten, nicht allgemeine Vorträge über künstliche Intelligenz. Fachbereich, IT und gegebenenfalls Datenschutz sollten gemeinsam festlegen, welche Informationen die prüfende Person pro Fall erhält: die Eingabedaten, das Ergebnis, die wesentlichen Einflussfaktoren, die Sicherheit der Aussage und Hinweise auf Auffälligkeiten.
Technische Voraussetzungen im System
Die Organisation der Kontrolle muss sich in der Software widerspiegeln. Dazu gehören eine Oberfläche, die Vorschlag und Quelldaten nebeneinander zeigt, eine Möglichkeit, Entscheidungen mit Begründung zu korrigieren, und ein Protokoll, das jede Entscheidung, jede Freigabe und jede Abweichung festhält.
- Protokollierung: Eingabe, Modellversion, Ergebnis, prüfende Person, Zeitpunkt und Entscheidung werden gespeichert.
- Rückkopplung: Korrekturen fließen in die Bewertung der Modellqualität und gegebenenfalls in das Nachtraining ein.
- Notfallmechanismus: Der Betrieb kann kontrolliert angehalten und auf manuelle Bearbeitung umgestellt werden.
- Rechteverwaltung: Nur befugte Personen dürfen freigeben, und Freigaberechte sind von Erfassungsrechten getrennt.
- Versionierung: Änderungen am Modell und an den Schwellenwerten sind nachvollziehbar.
Dokumentation und Nachweis gegenüber Dritten
Wer menschliche Aufsicht organisiert, sollte sie auch nachweisen können. Gegenüber Aufsichtsbehörden, Prüfern, Kunden und im Streitfall vor Gericht zählt, was dokumentiert ist. Dazu gehört ein Konzept pro Anwendungsfall, das Zweck, Datengrundlage, Risikobewertung, gewähltes Aufsichtsmodell, Rollen, Schwellenwerte und Eskalationswege beschreibt.
Ergänzend sind Betriebsnachweise hilfreich: Auswertungen zu Fehler- und Überstimmungsquoten, Protokolle von Stichproben, Schulungsnachweise und Dokumentation von Änderungen am Modell. Je besser diese Unterlagen gepflegt sind, desto geringer ist der Aufwand, wenn Fragen von außen kommen. Zugleich dienen sie intern als Grundlage, um Entscheidungen über Ausweitung, Anpassung oder Rücknahme eines Einsatzes zu treffen.
Verträge mit Anbietern und Verantwortungsverteilung
Viele Unternehmen setzen KI nicht selbst entwickelt, sondern als Dienst oder eingebettete Funktion ein. Dann muss die Aufsicht an die Möglichkeiten des Anbieters anknüpfen. Zu klären ist, welche Informationen das System zu seinen Ergebnissen liefert, ob Schwellenwerte einstellbar sind, welche Protokolle bereitstehen und wie Änderungen am Modell angekündigt werden.
- Zugang zu Protokollen und Auswertungen in einem verwertbaren Format.
- Informationen über Modelländerungen mit angemessener Vorlaufzeit.
- Unterstützung bei der Risikobewertung und bei der Beantwortung von Auskunftsersuchen.
- Klare Regelung der Verantwortung für Fehler und der Haftungsgrenzen.
- Möglichkeit, den Dienst kurzfristig anzuhalten oder auf manuellen Betrieb umzustellen.
Der Einsatz eines externen Dienstes verlagert die Verantwortung gegenüber Betroffenen in der Regel nicht vollständig auf den Anbieter. Deshalb sollte die interne Aufsicht auch dann funktionieren, wenn der Anbieter wenig Einblick bietet, etwa durch Stichproben und Gegenkontrollen mit eigenen Daten.
Einführung in fünf Schritten
- Anwendungsfälle erfassen: Alle KI-gestützten Entscheidungen im Unternehmen inventarisieren, einschließlich solcher, die in Standardsoftware integriert sind.
- Risiko bewerten: Auswirkungen, Umkehrbarkeit, Rechtsfolgen und regulatorische Einordnung je Anwendungsfall bewerten und dokumentieren.
- Modell wählen: Pro Anwendungsfall die passende Form der Einbindung festlegen und Schwellenwerte anhand von Testdaten bestimmen.
- Rollen besetzen: Prüfende Personen benennen, schulen, mit Befugnissen ausstatten und von Zeitdruck entlasten.
- Wirksamkeit prüfen: Überstimmungsquote, Fehlerquote und Bearbeitungszeit regelmäßig auswerten und das Konzept anpassen.
Die Überstimmungsquote ist ein nützlicher Indikator. Liegt sie dauerhaft bei null, ist entweder das System außergewöhnlich gut oder die Kontrolle wirkungslos. Welcher Fall vorliegt, lässt sich nur durch gezielte Testfälle klären, in die bewusst fehlerhafte Vorschläge eingestreut werden.
Praxisbeispiel: Klassifikation von Eingangsrechnungen
Ein mittelständischer Betrieb setzt ein System ein, das Eingangsrechnungen erkennt, Kostenstellen vorschlägt und Zahlungsfreigaben vorbereitet. Die Entscheidung hat finanzielle Wirkung, ist aber überwiegend umkehrbar. Das Unternehmen wählt eine gestufte Lösung: Rechnungen unterhalb eines festgelegten Betrags und mit hoher Sicherheit des Systems werden automatisch kontiert, größere Beträge und neue Lieferanten gehen immer zur Freigabe an die Buchhaltung.
Zusätzlich zieht das Controlling monatlich eine Stichprobe automatisch verbuchter Fälle und prüft sie. Auffällige Abweichungen führen zur Anpassung der Schwelle. Zahlungsfreigaben unterliegen weiter dem Vier-Augen-Prinzip. Der Aufwand sinkt gegenüber der manuellen Bearbeitung deutlich, ohne dass die Kontrolle über Zahlungsströme verloren geht. Das Beispiel ist illustrativ und nicht als Maßstab für andere Betriebe gedacht.
Übertragbar ist vor allem das Prinzip: Die Intensität der Kontrolle richtet sich nach Betrag, Neuheit und Sicherheit der Aussage, und die Wirksamkeit wird laufend gemessen. Wer so vorgeht, kann Automatisierung ausweiten, ohne die Verantwortung aus der Hand zu geben, und er kann gegenüber Prüfern jederzeit darlegen, warum welche Fälle ohne menschliche Freigabe bearbeitet werden dürfen.
Checkliste für die menschliche Aufsicht
- Alle KI-gestützten Entscheidungen sind erfasst und nach Risiko eingestuft.
- Für jeden Anwendungsfall ist das Aufsichtsmodell festgelegt und begründet.
- Prüfende Personen sind benannt, geschult und mit Befugnis zur Abweichung ausgestattet.
- Pro Fall steht ausreichend Zeit und Information für eine echte Prüfung zur Verfügung.
- Entscheidungen und Abweichungen werden protokolliert.
- Es gibt einen Mechanismus, den Betrieb anzuhalten.
- Überstimmungs- und Fehlerquoten werden regelmäßig ausgewertet.
- Datenschutz und regulatorische Einordnung wurden geprüft und dokumentiert.
FAQ
Ist Human-in-the-Loop gesetzlich vorgeschrieben?
Eine allgemeine Pflicht für jede KI-Anwendung besteht nicht. Für bestimmte Konstellationen sieht das Recht jedoch menschliche Beteiligung oder Aufsicht vor, etwa bei automatisierten Einzelentscheidungen mit erheblicher Wirkung nach Art. 22 DSGVO und bei Hochrisiko-Systemen nach der KI-Verordnung.
Reicht es, wenn eine Person das Ergebnis abzeichnet?
Nein. Eine formale Freigabe ohne Zeit, Information und Befugnis zur Abweichung ist keine wirksame Kontrolle. Entscheidend ist, dass die Person die Entscheidung inhaltlich nachvollziehen und ändern kann.
Wie lässt sich der Aufwand der Kontrolle begrenzen?
Durch eine Abstufung nach Risiko. Routinefälle mit hoher Systemsicherheit können automatisch bearbeitet und stichprobenartig kontrolliert werden, kritische Fälle gehen immer zur Prüfung. Die Schwellen sind anhand von Testdaten festzulegen.
Wer trägt die Verantwortung bei Fehlentscheidungen?
Das Unternehmen bleibt gegenüber Betroffenen und Vertragspartnern verantwortlich. Intern sollte klar geregelt sein, wer für Freigabe, Systembetrieb und Überwachung zuständig ist, damit Verantwortung nicht ins Leere läuft.
Wie erkennt man, ob die menschliche Kontrolle wirkt?
Über Kennzahlen wie die Überstimmungsquote, die Fehlerquote in Stichproben und die Bearbeitungszeit je Fall. Ergänzend helfen gezielt eingestreute Testfälle, um zu prüfen, ob fehlerhafte Vorschläge tatsächlich auffallen.









