ROI von KI-Projekten messen: Nutzen belegen statt Erwartungen fortschreiben

Der ROI von KI-Projekten wird in vielen Unternehmen erst dann zum Thema, wenn die Pilotphase vorbei ist und über die Ausweitung entschieden werden soll. Zu diesem Zeitpunkt fehlt regelmäßig die entscheidende Grundlage: eine belastbare Messung des Zustands vor der Einführung. Ohne diese Vergleichsbasis lässt sich weder belegen, dass die Anwendung Zeit spart, noch, dass die eingesparte Zeit tatsächlich in Wertschöpfung geflossen ist. Hinzu kommt eine strukturelle Besonderheit: Bei KI-Anwendungen verteilen sich die Kosten anders als bei klassischer Software. Der Lizenzanteil ist häufig gering, während Datenaufbereitung, Integration, laufende Nutzungskosten und Qualitätssicherung den größeren Teil ausmachen und mit der Nutzungsintensität mitwachsen. Eine Wirtschaftlichkeitsrechnung, die nur den Abopreis gegen eine geschätzte Zeitersparnis stellt, führt deshalb systematisch in die Irre. Dieser Beitrag beschreibt, welche Nutzenkategorien unterschieden werden sollten, wie eine vollständige Kostenerfassung aussieht, warum die Baseline vor dem Projektstart erhoben werden muss und an welchen Punkten der ROI beim Übergang vom Pilot in den Regelbetrieb typischerweise kippt.

Warum klassische Rechnungen bei KI-Vorhaben scheitern

Drei Eigenschaften unterscheiden KI-Anwendungen von klassischen Softwareprojekten. Erstens sind die laufenden Kosten nutzungsabhängig, weil die Abrechnung häufig an Verarbeitungsmengen gekoppelt ist. Zweitens ist die Ergebnisqualität nicht deterministisch, weshalb ein Anteil der Ausgaben geprüft oder nachbearbeitet werden muss. Drittens verändert sich die Leistungsfähigkeit der eingesetzten Modelle über die Zeit, was sowohl Chancen als auch Anpassungsaufwand erzeugt.

Daraus folgt, dass eine Momentaufnahme nicht ausreicht. Sinnvoll ist eine Betrachtung über mindestens zwölf Monate mit einer Unterscheidung zwischen einmaligen und laufenden Positionen. Ebenso wichtig ist die Frage, ob der ermittelte Nutzen skaliert oder ob er an eine kleine Gruppe besonders geeigneter Anwendungsfälle gebunden bleibt.

Eingesparte Arbeitszeit ist erst dann ein wirtschaftlicher Nutzen, wenn sie nachweislich für andere Wertschöpfung verwendet oder tatsächlich abgebaut wird. Andernfalls handelt es sich um eine Entlastung, nicht um eine Einsparung.

Vier Nutzenkategorien sauber trennen

Die Vermischung unterschiedlicher Nutzenarten ist der häufigste methodische Fehler. Sinnvoll ist eine Trennung in vier Kategorien mit jeweils eigener Messgröße und eigenem Belegbarkeitsgrad.

Kategorie	Messgröße	Belegbarkeit	Typischer Anwendungsfall
Zeitersparnis	Bearbeitungszeit je Vorgang	Hoch, wenn Baseline vorliegt	Angebotserstellung, Dokumentenprüfung
Qualitätsgewinn	Fehlerquote, Nacharbeitsquote	Mittel, erfordert Stichproben	Datenerfassung, Klassifizierung
Umsatzwirkung	Abschlussquote, Bearbeitungsmenge	Niedrig bis mittel, viele Einflussfaktoren	Vertriebsunterstützung, Kundenservice
Risikominderung	Anzahl vermiedener Vorfälle	Niedrig, nur indirekt belegbar	Prüfung von Verträgen, Vollständigkeitskontrollen

Je Kategorie sollte genau eine Leitkennzahl festgelegt werden, damit die Auswertung eindeutig bleibt.

Für die Entscheidungsvorlage empfiehlt sich, ausschließlich die belastbaren Kategorien in die Kernrechnung aufzunehmen und die übrigen als qualitative Argumente gesondert auszuweisen. Wer schwer belegbare Umsatzeffekte in die Hauptrechnung schreibt, riskiert, dass die gesamte Kalkulation angezweifelt wird.

Kosten vollständig erfassen

Die Kostenseite wird regelmäßig unterschätzt, weil nur der sichtbare Anteil erfasst wird. Eine vollständige Betrachtung umfasst mindestens die folgenden Positionen.

• Lizenz- und Nutzungskosten, einschließlich verbrauchsabhängiger Anteile bei steigender Nutzung
• Integration in bestehende Systeme, inklusive Schnittstellen und Berechtigungskonzept
• Aufbereitung und Pflege der Datengrundlage, häufig der größte Einzelposten
• Interner Projektaufwand in Personentagen, bewertet mit Vollkostensätzen
• Schulung, Einarbeitung und der Produktivitätsverlust in der Umstellungsphase
• Laufende Qualitätssicherung, also Stichprobenprüfung der Ergebnisse
• Aufwand für Dokumentation, Datenschutz und regulatorische Anforderungen
• Betriebsaufwand für Überwachung, Modellwechsel und Anpassung von Vorgaben

Die Positionen sollten getrennt nach einmalig und laufend geführt werden, weil nur so eine Amortisationsdauer berechenbar ist.

Besonders unterschätzt wird der Aufwand für die Qualitätssicherung. Sie verschwindet nicht nach der Einführung, sondern bleibt in reduziertem Umfang dauerhaft erforderlich. Wird sie in der Kalkulation weggelassen, entsteht ein zu positives Bild, das sich im Regelbetrieb nicht bestätigt.

Die Baseline vor dem Start erheben

Ohne Ausgangsmessung ist jede spätere Aussage über den Nutzen eine Schätzung. Die Erhebung ist mit begrenztem Aufwand möglich, muss aber vor der Einführung erfolgen.

1. Prozess abgrenzen: Genau festlegen, welcher Arbeitsschritt betrachtet wird, mit Start- und Endpunkt.
2. Mengen erfassen: Anzahl der Vorgänge je Woche oder Monat über einen repräsentativen Zeitraum.
3. Zeiten messen: Bearbeitungszeit je Vorgang, idealerweise über mehrere Personen hinweg, um Streuung sichtbar zu machen.
4. Qualität festhalten: Fehler-, Rückfragen- und Nacharbeitsquote im Ausgangszustand.
5. Zeitraum wählen: Mindestens vier Wochen, um saisonale und wochentagsbedingte Schwankungen abzubilden.

Wichtig ist, dieselbe Erhebungsmethode nach der Einführung erneut anzuwenden. Wechselt die Methode, etwa von manueller Zeitmessung zu Systemauswertung, sind die Werte nicht vergleichbar, und der ermittelte Effekt ist wertlos.

Beispielrechnung für einen Anwendungsfall

Die folgende Rechnung veranschaulicht die Systematik. Die Werte sind bewusst als Beispiel gewählt und müssen im Einzelfall ermittelt werden.

Ausgangslage: 600 Vorgänge im Monat, durchschnittlich 22 Minuten Bearbeitungszeit, interner Vollkostensatz 65 Euro je Stunde. Das entspricht einem monatlichen Aufwand von 220 Stunden oder rund 14.300 Euro. Nach der Einführung sinkt die Bearbeitungszeit auf 14 Minuten, zusätzlich fallen 20 Stunden monatlich für Qualitätssicherung an. Der neue Aufwand beträgt damit 140 plus 20 Stunden, also 160 Stunden oder rund 10.400 Euro.

Die Bruttoentlastung liegt bei etwa 3.900 Euro monatlich. Dem stehen laufende Kosten für Nutzung, Betrieb und anteilige Betreuung von angenommen 1.200 Euro gegenüber, sodass eine Nettoentlastung von rund 2.700 Euro monatlich verbleibt. Bei einmaligen Projektkosten von 45.000 Euro ergibt sich eine rechnerische Amortisationsdauer von etwa 17 Monaten. Entscheidend ist die abschließende Frage: Werden die freigewordenen 60 Stunden monatlich tatsächlich für andere Aufgaben genutzt, oder verteilen sie sich unbemerkt im Tagesgeschäft? Nur im ersten Fall ist die Rechnung wirtschaftlich belastbar.

Bewertung ohne unmittelbaren Geldeffekt

Nicht jeder sinnvolle Anwendungsfall führt zu messbaren Einsparungen. Bei Vorhaben, die vor allem Qualität, Reaktionsfähigkeit oder Arbeitsbedingungen verbessern, ist eine reine Kapitalwertbetrachtung ungeeignet. Statt den Nutzen künstlich zu monetarisieren, empfiehlt sich eine zweigeteilte Vorlage: eine belastbare Kostenseite und eine klar benannte Zielgröße, die nach der Einführung überprüft wird.

Beispiele für solche Zielgrößen sind die Durchlaufzeit von Kundenanfragen, die Quote vollständiger Erstantworten, die Anzahl von Rückfragen je Vorgang oder die Zeit bis zur Einarbeitung neuer Mitarbeitender. Diese Größen sind messbar, auch wenn sich der Effekt nicht unmittelbar in einer Kostenstelle niederschlägt. Wichtig ist, die Zielgröße vor der Einführung festzulegen und nicht nachträglich diejenige auszuwählen, die sich am günstigsten entwickelt hat.

Umgang mit Erwartungshaltungen

In der Praxis entsteht Druck, den Nutzen zu beziffern, auch wenn die Datengrundlage das nicht hergibt. Sinnvoller als eine Scheinpräzision ist eine offene Darstellung mit Bandbreiten: ein konservatives, ein mittleres und ein optimistisches Szenario, jeweils mit den zugrunde liegenden Annahmen. Diese Darstellung ist gegenüber Geschäftsführung und Gesellschaftern belastbarer, weil sie prüfbar bleibt und nach zwölf Monaten mit den tatsächlichen Werten abgeglichen werden kann.

Warum der ROI beim Übergang in den Regelbetrieb kippt

Pilotprojekte zeigen häufig deutlich bessere Werte als der spätere Regelbetrieb. Dafür gibt es strukturelle Gründe, die sich bereits in der Planung berücksichtigen lassen.

Erstens werden für den Pilot die am besten geeigneten Fälle ausgewählt, während im Regelbetrieb die gesamte Bandbreite anfällt, einschließlich Sonderfällen mit hohem Prüfaufwand. Zweitens arbeiten im Pilot motivierte und gut eingearbeitete Personen, während die Breitenanwendung zusätzliche Schulung und Begleitung erfordert. Drittens steigen die nutzungsabhängigen Kosten proportional zur Menge, während der Nutzen je Vorgang tendenziell sinkt, weil die einfachen Fälle zuerst automatisiert wurden.

Praktisch bewährt hat sich deshalb, die Pilotergebnisse mit einem Abschlag zu bewerten und die Skalierung in Stufen zu planen, jeweils mit erneuter Messung. Ein Sprung von zehn auf zweihundert Nutzende ohne Zwischenmessung erzeugt regelmäßig Kostenüberraschungen.

Regulatorische Kosten mitrechnen

Je nach Anwendungsfall entstehen Aufwände aus regulatorischen Anforderungen, die in die Wirtschaftlichkeitsbetrachtung gehören. Die europäische Verordnung über künstliche Intelligenz, nachzulesen im Amtsblatt der Europäischen Union, verfolgt einen risikobasierten Ansatz mit abgestuften Pflichten, die von Transparenzanforderungen bis zu umfangreichen Dokumentations- und Überwachungspflichten reichen.

Für die Kalkulation bedeutet das: Der Aufwand für Einordnung des Anwendungsfalls, Dokumentation, Schulung der Anwendenden sowie gegebenenfalls für Kontrollmechanismen ist zu schätzen und einzurechnen. Hinzu kommen datenschutzrechtliche Aufwände, etwa für die Prüfung der Rechtsgrundlage, die Anpassung des Verarbeitungsverzeichnisses und, bei entsprechendem Risiko, eine Datenschutz-Folgenabschätzung. Diese Positionen fallen unabhängig vom Nutzen an und verschieben die Amortisationsdauer spürbar.

Auswahl geeigneter Anwendungsfälle

Die Wirtschaftlichkeit entscheidet sich weitgehend bei der Auswahl des Anwendungsfalls, nicht bei der Wahl des Anbieters. Geeignet sind Aufgaben mit hoher Wiederholfrequenz, klar definiertem Ergebnis und einer vorhandenen, strukturierten Datengrundlage. Ungeeignet sind Aufgaben, deren Ergebnis stark vom Einzelfall abhängt oder deren Fehler erst spät und mit hohem Schaden auffallen.

Eine einfache Vorprüfung mit vier Fragen filtert die meisten unwirtschaftlichen Vorhaben aus, bevor Aufwand entsteht.

1. Volumen: Fällt die Aufgabe mindestens mehrere hundert Mal im Monat an?
2. Prüfbarkeit: Lässt sich ein fehlerhaftes Ergebnis schnell und mit geringem Aufwand erkennen?
3. Datenlage: Liegen die benötigten Informationen strukturiert und aktuell vor, oder müssen sie erst aufbereitet werden?
4. Schadenspotenzial: Was passiert im schlimmsten Fall, wenn ein fehlerhaftes Ergebnis unbemerkt weiterverarbeitet wird?

Fällt die Antwort auf die zweite oder vierte Frage ungünstig aus, steigt der Aufwand für Qualitätssicherung so stark, dass der wirtschaftliche Vorteil regelmäßig aufgezehrt wird. Diese Vorprüfung kostet wenige Stunden und verhindert Projekte, die erst nach Monaten als unwirtschaftlich erkannt werden.

Typische Fehler bei der Nutzenbewertung

1. Keine Baseline: Der Vorher-Zustand wurde nie gemessen, jede Aussage über die Verbesserung bleibt eine Behauptung.
2. Zeitersparnis mit Kosteneinsparung gleichgesetzt: Freigewordene Zeit wird als Geld verbucht, ohne dass sich Personalaufwand oder Ausbringungsmenge verändert.
3. Qualitätssicherung ausgeblendet: Der laufende Prüfaufwand für die Ergebnisse fehlt in der Rechnung.
4. Pilotwerte hochgerechnet: Die günstigsten Fälle werden als repräsentativ für den Gesamtbestand behandelt.
5. Nutzungskosten als fix behandelt: Verbrauchsabhängige Kosten werden mit dem Pilotvolumen kalkuliert.
6. Regulatorik vergessen: Dokumentations- und Datenschutzaufwand taucht in keiner Position auf.
7. Erfolg an Nutzungszahlen gemessen: Die Anzahl der Zugriffe wird als Nutzennachweis gewertet, obwohl sie nichts über den Ergebnisbeitrag aussagt.
8. Keine Nachkalkulation: Nach dem Rollout wird nie geprüft, ob die kalkulierten Werte eingetreten sind, wodurch auch die nächste Planung auf unbelegten Annahmen aufsetzt.

Nachkalkulation nach zwölf Monaten

Eine Wirtschaftlichkeitsrechnung entfaltet ihren Wert erst, wenn sie nach der Einführung überprüft wird. In der Praxis unterbleibt diese Nachkalkulation häufig, weil das Projekt organisatorisch abgeschlossen ist und niemand mehr zuständig ist. Sinnvoll ist deshalb, den Termin bereits im Projektauftrag festzuhalten und eine verantwortliche Person zu benennen.

Verglichen werden drei Dinge: die tatsächlichen Kosten gegen die geplanten, die gemessenen Zielgrößen gegen die Baseline und die Annahmen gegen die eingetretene Realität. Der dritte Punkt ist der wertvollste, weil er die Prognosefähigkeit für künftige Vorhaben verbessert. Wer feststellt, dass der Aufwand für Datenaufbereitung regelmäßig um den Faktor zwei unterschätzt wurde, kalkuliert das nächste Projekt deutlich realistischer.

Die Nachkalkulation sollte auch die Frage beantworten, ob der Anwendungsfall weitergeführt, ausgeweitet oder eingestellt wird. Die Einstellung eines Vorhabens mit negativem Ergebnis ist kein Scheitern des Themas, sondern das erwartbare Resultat eines strukturierten Auswahlprozesses, in dem nicht jeder Kandidat trägt.

Vorgehen in sechs Schritten

1. Anwendungsfall präzisieren: Einen konkreten Arbeitsschritt mit hohem Volumen und klarer Messbarkeit auswählen, nicht ein ganzes Themenfeld.
2. Baseline erheben: Vier Wochen Mengen, Zeiten und Qualität messen, bevor irgendetwas eingeführt wird.
3. Vollkosten kalkulieren: Einmalige und laufende Positionen getrennt aufführen, inklusive Qualitätssicherung und Regulatorik.
4. Pilot mit Messplan: Erhebungsmethode, Zeitraum und Abbruchkriterien vorab festlegen.
5. Ergebnis bewerten: Nutzenkategorien getrennt ausweisen, Pilotwerte mit Abschlag versehen.
6. Skalierung stufenweise: Ausweitung in Etappen mit erneuter Messung, statt in einem Schritt auf die Gesamtorganisation.

Der Aufwand für diese Systematik liegt bei wenigen Personentagen je Anwendungsfall. Gemessen an den Beträgen, die in KI-Vorhaben gebunden werden, und an der Schwierigkeit, ein einmal ausgerolltes System wieder zurückzunehmen, ist das eine vergleichsweise günstige Absicherung der Entscheidung.

Hinweis der Redaktion: Dieser Beitrag gibt die redaktionelle Einschätzung der Redaktion von innovationimunternehmen.de wieder und stellt keine Rechts- oder Steuerberatung dar. Die genannten Zahlen sind Beispielwerte zur Veranschaulichung der Systematik. Welche regulatorischen Pflichten im Einzelfall gelten, hängt vom konkreten Anwendungsfall ab und sollte fachlich geprüft werden.

FAQ

Warum ist die Baseline so wichtig?
Ohne gemessenen Ausgangszustand fehlt der Vergleichsmaßstab. Jede spätere Aussage über Zeitersparnis oder Qualitätsverbesserung beruht dann auf Schätzungen, die in einer Entscheidungsvorlage nicht tragen.

Ist eingesparte Arbeitszeit automatisch ein wirtschaftlicher Nutzen?
Nein. Sie wird erst dann wirtschaftlich wirksam, wenn die freigewordene Kapazität nachweislich für andere Wertschöpfung genutzt wird oder sich der Personalaufwand tatsächlich verändert.

Welche Kostenpositionen werden am häufigsten vergessen?
Die laufende Qualitätssicherung, die Aufbereitung und Pflege der Datengrundlage sowie der Aufwand für Dokumentation und regulatorische Anforderungen.

Über welchen Zeitraum sollte gerechnet werden?
Mindestens zwölf Monate, getrennt nach einmaligen und laufenden Positionen. Kürzere Zeiträume überzeichnen den Einfluss der Anschaffungskosten oder blenden Betriebskosten aus.

Warum sind Pilotergebnisse oft zu optimistisch?
Weil im Pilot die am besten geeigneten Fälle und die am besten eingearbeiteten Personen beteiligt sind. Im Regelbetrieb kommen Sonderfälle, zusätzlicher Schulungsaufwand und volumenabhängige Kosten hinzu.

Sind Nutzungszahlen ein geeigneter Erfolgsindikator?
Nur ergänzend. Hohe Nutzung zeigt Akzeptanz, sagt aber nichts darüber aus, ob sich Bearbeitungszeit, Qualität oder Ergebnis verbessert haben.