KI-Halluzinationen im Unternehmen sind eines der größten praktischen Hindernisse auf dem Weg von ersten Experimenten mit generativer KI zu einem verlässlichen produktiven Einsatz. Gemeint sind Ausgaben eines Sprachmodells, die sprachlich überzeugend und fachlich plausibel wirken, inhaltlich aber falsch, frei erfunden oder nicht durch Quellen gedeckt sind. Ein Assistent nennt eine Norm, die es nicht gibt, zitiert eine Vertragsklausel, die im Dokument nicht steht, oder berechnet eine Kennzahl mit einer erfundenen Ausgangsgröße.
Für den privaten Gebrauch ist das ärgerlich. Im Unternehmen kann es teuer werden: falsche Angaben in Angeboten, fehlerhafte technische Dokumentationen, unzutreffende Auskünfte an Kunden oder Entscheidungen auf Basis erfundener Zahlen. Hinzu kommen rechtliche Risiken, etwa wenn unrichtige personenbezogene Daten erzeugt werden oder wenn Kunden sich auf Aussagen eines Chatbots verlassen.
Dieser Beitrag erklärt, warum Halluzinationen entstehen, in welchen Anwendungsfällen sie besonders kritisch sind und mit welchen technischen, organisatorischen und prozessualen Maßnahmen Unternehmen das Risiko beherrschbar machen. Er richtet sich an Geschäftsführer, Innovationsverantwortliche, IT-Leitungen und Fachbereiche, die generative KI einführen oder bereits nutzen.
Hinweis: Dieser Beitrag gibt ausschließlich die redaktionellen Ansichten der Redaktion von innovationimunternehmen.de wieder. Er stellt keine Rechtsberatung dar und ersetzt nicht die Beratung durch eine qualifizierte Rechtsanwältin oder einen qualifizierten Rechtsanwalt. Für rechtlich verbindliche Auskünfte zu Ihrem konkreten Fall wenden Sie sich bitte an einen zugelassenen Rechtsbeistand.
Titelbild: Foto von Štefan Štefančík auf Unsplash.
Was KI-Halluzinationen im Unternehmen technisch sind
Große Sprachmodelle erzeugen Text, indem sie auf Basis gelernter Muster das jeweils wahrscheinlichste nächste Textstück berechnen. Sie verfügen nicht über ein Faktenwissen im Sinne einer Datenbank, die abgefragt und geprüft wird. Ein Modell hat kein eingebautes Verständnis dafür, ob eine Aussage wahr ist. Es weiß lediglich, welche Formulierungen in einem bestimmten Kontext statistisch passen.
Daraus ergibt sich das Kernproblem: Wenn das Modell zu einer Frage keine verlässlichen Muster gelernt hat, erzeugt es trotzdem eine flüssige Antwort. Diese Antwort ist nicht absichtlich falsch, sie ist das Ergebnis eines Verfahrens, das auf Plausibilität und nicht auf Wahrheit optimiert ist.
Typische Erscheinungsformen
- Erfundene Fakten: Daten, Namen, Zahlen oder Ereignisse, die nicht existieren.
- Falsche Quellenangaben: Literaturverweise, Urteile, Normen oder Links, die erfunden oder falsch zugeordnet sind.
- Fehlerhafte Zusammenfassungen: Aussagen, die im Ausgangsdokument nicht enthalten sind oder dessen Inhalt verdrehen.
- Rechenfehler: Falsche Ergebnisse bei Berechnungen, Einheitenumrechnungen oder Prozentangaben.
- Scheinbare Gewissheit: Unsichere Informationen werden ohne Einschränkung als Tatsache formuliert.
- Veraltete Informationen: Das Modell gibt einen früheren Stand wieder, ohne darauf hinzuweisen.
Häufige Ursachen
Halluzinationen werden durch mehrere Faktoren begünstigt. Dazu gehören fehlende oder lückenhafte Informationen zum gefragten Thema, sehr spezifische Fachfragen mit wenig Trainingsdaten, unklare oder mehrdeutige Anweisungen, lange Kontexte, in denen relevante Informationen untergehen, sowie die Aufforderung, Quellen oder Zahlen zu liefern, ohne dass diese bereitgestellt werden. Auch Einstellungen, die eine kreativere Ausgabe fördern, erhöhen die Wahrscheinlichkeit erfundener Inhalte.
Risikobewertung: Wo Halluzinationen besonders kritisch sind
Nicht jede Halluzination ist gleich gefährlich. Ein Unternehmen sollte seine Anwendungsfälle danach einordnen, welche Folgen eine falsche Ausgabe hätte und wie wahrscheinlich sie unbemerkt bleibt.
| Anwendungsfall | Schadenspotenzial | Erkennbarkeit für Nutzer | Empfohlene Kontrolle |
|---|---|---|---|
| Ideenfindung, Entwürfe für interne Texte | Gering | Hoch, da Ergebnis ohnehin überarbeitet wird | Redaktionelle Prüfung |
| Zusammenfassung interner Dokumente | Mittel | Mittel, Fehler fallen nur beim Abgleich auf | Stichproben, Quellenverweise im Ergebnis |
| Kundenkommunikation per Chatbot | Hoch | Gering, Kunde kann Fehler nicht erkennen | Begrenzung auf geprüfte Wissensbasis, Eskalation an Menschen |
| Technische Dokumentation, Sicherheitshinweise | Sehr hoch | Gering | Fachliche Freigabe vor Veröffentlichung |
| Rechtliche, steuerliche oder medizinische Auskünfte | Sehr hoch | Gering | Kein Einsatz ohne fachliche Prüfung durch Expertinnen und Experten |
| Auswertung von Zahlen und Berichten | Hoch | Mittel | Berechnung in nachvollziehbaren Werkzeugen, Plausibilitätsprüfung |
Die Tabelle zeigt ein Muster: Je größer der Schaden und je geringer die Chance, dass ein Fehler auffällt, desto stärker muss die Kontrolle sein. Diese Logik lässt sich in eine einfache Risikomatrix übertragen, die bei jedem neuen KI-Anwendungsfall ausgefüllt wird.
Die entscheidende Frage lautet nicht, ob ein Modell halluziniert, sondern ob der Prozess, in dem es eingesetzt wird, eine falsche Antwort rechtzeitig erkennt.
Technische Maßnahmen gegen Halluzinationen
Halluzinationen lassen sich technisch nicht vollständig ausschließen, ihre Häufigkeit und Wirkung aber deutlich verringern.
Antworten an geprüfte Quellen binden
Der wirksamste technische Ansatz besteht darin, das Modell nicht aus seinem allgemeinen Training antworten zu lassen, sondern ihm für jede Anfrage die relevanten Unternehmensdokumente mitzugeben. Verfahren wie Retrieval-Augmented Generation suchen dafür passende Textstellen aus einer Wissensbasis heraus und übergeben sie dem Modell als Kontext. Wichtig ist, dass die Antwort die verwendeten Quellen ausweist, damit Nutzer sie überprüfen können. Ebenso wichtig ist die Qualität der Wissensbasis selbst: Veraltete oder widersprüchliche Dokumente führen zu falschen Antworten, auch wenn das Modell korrekt arbeitet.
Anweisungen und Ausgabeformate
- Klare Rollen- und Aufgabenbeschreibung in den Systemanweisungen.
- Ausdrückliche Anweisung, bei fehlenden Informationen keine Antwort zu erfinden, sondern dies offen zu sagen.
- Strukturierte Ausgabeformate, etwa feste Felder mit Quelle, Aussage und Sicherheitseinschätzung.
- Begrenzung des Antwortumfangs auf die gestellte Frage.
- Zurückhaltende Einstellungen für die Variabilität der Ausgabe bei faktenbezogenen Aufgaben.
Werkzeuge statt Schätzungen
Für Berechnungen, Datenbankabfragen oder Datumslogik sollte das Modell nicht selbst rechnen, sondern spezialisierte Werkzeuge aufrufen, etwa einen Rechenbaustein, eine Datenbankschnittstelle oder ein ERP-System. Das Sprachmodell übernimmt dann die Formulierung, die Zahlen stammen aus einer verlässlichen Quelle.
Automatisierte Prüfungen
Ergänzend können automatische Prüfungen eingesetzt werden: der Abgleich zitierter Textstellen mit dem Ausgangsdokument, die Prüfung, ob genannte Artikelnummern oder Normen in einer Referenzliste existieren, oder ein zweiter Prüfschritt, in dem ein Modell die Antwort gegen die Quellen bewertet. Solche Prüfungen ersetzen keine menschliche Kontrolle in kritischen Fällen, sie filtern aber offensichtliche Fehler zuverlässig heraus.
Organisatorische Maßnahmen und Prüfprozesse
Technik allein reicht nicht. Die wichtigste Schutzschicht bilden klare Regeln dafür, wer KI-Ergebnisse wie prüft und wer für sie verantwortlich ist.
Verantwortung bleibt beim Menschen
Jede KI-Ausgabe, die das Unternehmen verlässt oder in eine Entscheidung einfließt, braucht eine verantwortliche Person. Diese Person muss in der Lage sein, das Ergebnis fachlich zu beurteilen. Ein Assistent, der juristische Texte entwirft, darf nicht von Mitarbeitenden ohne juristische Kenntnisse freigegeben werden.
Hilfreich ist eine schriftliche Nutzungsrichtlinie, die festlegt, für welche Aufgaben KI-Werkzeuge eingesetzt werden dürfen, welche Daten eingegeben werden dürfen und welche Ergebnisse vor der Verwendung zwingend geprüft werden müssen. Die Richtlinie sollte kurz und verständlich sein, mit Beispielen aus dem eigenen Arbeitsalltag, und regelmäßig an neue Werkzeuge und Erfahrungen angepasst werden. Sie schafft Sicherheit für Beschäftigte und dokumentiert zugleich, dass das Unternehmen seine Sorgfaltspflichten ernst nimmt.
Abgestufte Prüftiefe
Die Prüftiefe sollte sich an der Risikoeinstufung orientieren:
- Geringes Risiko: Nutzung ohne formale Freigabe, aber mit Hinweis auf mögliche Fehler.
- Mittleres Risiko: Stichprobenprüfung und Pflicht zur Quellenangabe.
- Hohes Risiko: Vollständige fachliche Prüfung jeder Ausgabe vor Verwendung.
- Sehr hohes Risiko: Einsatz nur in eng begrenztem Rahmen oder gar nicht, bis die Qualität nachgewiesen ist.
Schulung und KI-Kompetenz
Mitarbeitende müssen verstehen, wie Sprachmodelle arbeiten und warum sie halluzinieren. Die europäische KI-Verordnung verpflichtet Anbieter und Betreiber von KI-Systemen in Art. 4, Maßnahmen zu ergreifen, um ein ausreichendes Maß an KI-Kompetenz ihres Personals sicherzustellen. Den Verordnungstext stellt die Europäische Union auf EUR-Lex bereit. Schulungen sollten typische Fehlerbilder an konkreten Beispielen aus dem eigenen Unternehmen zeigen und vermitteln, wie Ergebnisse geprüft werden.
Fehlermeldungen systematisch erfassen
Halluzinationen, die im Alltag auffallen, sind wertvolle Informationen. Ein einfacher Meldeweg, etwa eine Bewertungsfunktion im Werkzeug oder ein Formular, ermöglicht es, Fehlerhäufungen zu erkennen, Wissensbasen zu korrigieren und Anweisungen zu verbessern.
Rechtliche Aspekte von KI-Halluzinationen
Falsche KI-Ausgaben sind nicht nur ein Qualitätsproblem. Sie können auch rechtliche Folgen haben.
- Haftung gegenüber Kunden: Wer über einen Chatbot falsche Auskünfte zu Preisen, Lieferzeiten oder Produkteigenschaften gibt, muss damit rechnen, dass diese Aussagen dem Unternehmen zugerechnet werden.
- Datenschutz: Nach Art. 5 Abs. 1 lit. d DSGVO müssen personenbezogene Daten sachlich richtig sein. Erzeugt ein System falsche Aussagen über Personen, etwa in Bewerberbewertungen oder Kundenprofilen, entstehen Berichtigungs- und gegebenenfalls Schadensersatzansprüche.
- Transparenzpflichten: Die KI-Verordnung sieht Transparenzanforderungen vor, etwa wenn Personen mit einem KI-System interagieren. Nutzer sollten erkennen können, dass sie mit einer KI kommunizieren.
- Automatisierte Entscheidungen: Entscheidungen mit rechtlicher Wirkung für Personen dürfen nach Art. 22 DSGVO grundsätzlich nicht ausschließlich auf automatisierter Verarbeitung beruhen.
- Urheber- und Wettbewerbsrecht: Erfundene Zitate, falsche Herkunftsangaben oder irreführende Produktaussagen können wettbewerbsrechtlich relevant werden.
Schritt-für-Schritt: Ein Halluzinationsmanagement einführen
- Anwendungsfälle erfassen: Alle aktuellen und geplanten Einsätze generativer KI im Unternehmen auflisten, einschließlich der Nutzung frei verfügbarer Werkzeuge.
- Risiko einstufen: Für jeden Fall Schadenspotenzial und Erkennbarkeit von Fehlern bewerten.
- Kontrollen festlegen: Technische Maßnahmen und Prüftiefe je Risikostufe definieren.
- Verantwortliche benennen: Für jeden Anwendungsfall eine fachlich zuständige Person bestimmen.
- Wissensbasis pflegen: Dokumente für quellengebundene Systeme aktuell halten, Zuständigkeiten für Inhalte festlegen.
- Qualität messen: Mit einem festen Satz an Testfragen regelmäßig prüfen, wie oft das System falsche oder nicht belegte Antworten liefert.
- Schulen und kommunizieren: Mitarbeitende zu Fehlerbildern und Prüfmethoden schulen.
- Rückmeldungen auswerten: Gemeldete Fehler analysieren und Maßnahmen anpassen.
Testfragen als Qualitätsmaßstab
Ein bewährtes Instrument ist ein Katalog von Testfragen mit bekannten richtigen Antworten, der vor jeder Änderung am System und in regelmäßigen Abständen durchlaufen wird. Er sollte auch Fragen enthalten, auf die das System keine Antwort kennen kann. Die richtige Reaktion darauf ist ein Hinweis auf fehlende Informationen, nicht eine erfundene Antwort. So wird messbar, ob ein Update, ein neues Modell oder eine geänderte Wissensbasis die Zuverlässigkeit verbessert oder verschlechtert.
Praxisbeispiel: Wissensassistent im technischen Vertrieb
Ein mittelständischer Hersteller von Pumpen und Armaturen führt einen internen KI-Assistenten ein, der Vertriebsmitarbeitenden Fragen zu Produktdaten, Werkstoffen und Einsatzgrenzen beantworten soll. In der ersten Testphase fällt auf, dass der Assistent bei Fragen zu älteren Baureihen Druckstufen und Temperaturbereiche nennt, die in keinem Datenblatt stehen. Die Angaben klingen plausibel, weil sie den Werten ähnlicher Produkte entsprechen.
Das Projektteam reagiert mit mehreren Maßnahmen. Der Assistent wird ausschließlich an die freigegebenen Datenblätter und technischen Dokumentationen gebunden. Jede Antwort muss das zugrunde liegende Dokument mit Seitenangabe nennen. Für Fragen, zu denen keine Quelle gefunden wird, gibt der Assistent einen festen Hinweis aus und verweist an die Anwendungstechnik. Technische Kennwerte werden zusätzlich aus der Produktdatenbank abgerufen, statt sie aus Fließtext zu übernehmen.
Parallel entsteht ein Katalog mit einigen Dutzend Testfragen, darunter bewusst Fragen zu nicht existierenden Varianten. Erst als der Assistent diese zuverlässig mit einem Hinweis auf fehlende Informationen beantwortet, wird er für den Vertrieb freigegeben. Angebote mit technischen Zusagen bleiben weiterhin freigabepflichtig durch die Anwendungstechnik. Das Beispiel zeigt, dass nicht das Modell allein über die Verlässlichkeit entscheidet, sondern die Einbettung in Datenquellen, Prüfschritte und Verantwortlichkeiten.
Stolperfallen in der Praxis
- Blindes Vertrauen durch flüssige Sprache: Je überzeugender ein Text formuliert ist, desto seltener wird er hinterfragt.
- Prüfung durch fachfremde Personen: Wer das Thema nicht beherrscht, erkennt plausible Fehler nicht.
- Veraltete Wissensbasis: Quellengebundene Systeme sind nur so gut wie die Dokumente, auf die sie zugreifen.
- Fehlende Messung: Ohne Testfragen und Fehlerstatistik bleibt unklar, ob sich die Qualität verbessert.
- Schatten-Nutzung: Beschäftigte nutzen frei verfügbare Werkzeuge ohne Regeln, weil interne Lösungen fehlen.
- Unklare Kennzeichnung: Wenn nicht erkennbar ist, welche Texte KI-gestützt entstanden sind, fehlt bei späteren Fehlern die Grundlage für Ursachenanalyse und Korrektur.
- Übertriebene Verbote: Ein pauschales Verbot verhindert Lernen und verlagert die Nutzung in unkontrollierte Bereiche.
Checkliste: KI-Halluzinationen im Unternehmen beherrschen
- Sind alle KI-Anwendungsfälle erfasst und nach Risiko eingestuft?
- Sind Antworten in kritischen Anwendungen an geprüfte Quellen gebunden und mit Quellenangaben versehen?
- Werden Berechnungen und Datenabfragen über verlässliche Werkzeuge statt über das Modell selbst durchgeführt?
- Gibt es für jeden Anwendungsfall eine fachlich verantwortliche Person?
- Ist die Prüftiefe je Risikostufe festgelegt und dokumentiert?
- Wurden Mitarbeitende zu Funktionsweise und Fehlerbildern geschult?
- Existiert ein Katalog von Testfragen, der regelmäßig durchlaufen wird?
- Gibt es einen Meldeweg für erkannte Halluzinationen?
- Sind Datenschutz- und Transparenzanforderungen berücksichtigt?
Fazit
KI-Halluzinationen im Unternehmen sind kein vorübergehender Kinderfehler, der mit dem nächsten Modell verschwindet, sondern eine Eigenschaft der Technologie, mit der Organisationen dauerhaft umgehen müssen. Wer sie ernst nimmt, kann generative KI dennoch produktiv nutzen. Entscheidend ist die Kombination aus quellengebundenen Systemen, klaren Verantwortlichkeiten, abgestuften Prüfprozessen und regelmäßiger Qualitätsmessung. So wird aus einem schwer kalkulierbaren Risiko ein beherrschbarer Bestandteil des Innovationsmanagements.
FAQ
Warum erfinden Sprachmodelle Fakten?
Sprachmodelle berechnen wahrscheinliche Textfortsetzungen, sie prüfen keine Wahrheit. Fehlen verlässliche Informationen, erzeugen sie dennoch eine plausible Antwort, die inhaltlich falsch sein kann.
Lassen sich Halluzinationen vollständig vermeiden?
Nein. Ihre Häufigkeit lässt sich durch quellengebundene Systeme, klare Anweisungen und den Einsatz von Werkzeugen deutlich senken. Für kritische Anwendungen bleibt eine menschliche Prüfung notwendig.
Hilft Retrieval-Augmented Generation gegen Halluzinationen?
Ja, weil das Modell auf bereitgestellte Unternehmensdokumente zugreift und Quellen angeben kann. Voraussetzung ist eine aktuelle und widerspruchsfreie Wissensbasis.
Wer haftet für falsche Auskünfte eines Chatbots?
Aussagen eines Chatbots werden in der Regel dem Unternehmen zugerechnet, das ihn betreibt. Deshalb sollten Chatbots in der Kundenkommunikation auf geprüfte Inhalte begrenzt werden.
Wie misst man die Halluzinationsrate eines KI-Systems?
Mit einem festen Katalog von Testfragen mit bekannten Antworten, der regelmäßig und vor jeder Systemänderung durchlaufen wird. Ergänzend werden gemeldete Fehler aus dem Betrieb ausgewertet.









