Wie weise ich nach, dass sich der Einsatz von KI-Tools lohnt?

Drei Jahre KI-Programm, sieben Leute im Team, ein eigener Hub. Dann der Termin beim Finanzvorstand. Er hat nur eine Frage: Wir haben das bezahlt, weil KI uns effizienter machen sollte. Wo ist die Effizienz?

Die Antwort: Sie ist nicht gekommen. Ein Teil der Experimente hatte mehr Zeit gekostet, als er gespart hat. So ähnlich geschehen bei Aftonbladet in Stockholm, einem der größten Nachrichtenhäuser Skandinaviens.

Ein gutes Beispiel dafür, wie selten wir uns bei der Einführung von GenAI die Mühe machen, festzuhalten, was sich durch diese Transformation eigentlich verändert hat.

Widerspruch per Studie

Es gibt unheimlich viele Studien, Forschung und Umfragen zu diesem Thema. Ich könnte jetzt zwei davon gegeneinanderstellen: eine, die die gewonnene Effizienz durch KI zu belegen versucht, und eine, die sagt, bringt alles nichts, die Mehrzahl der KI-Projekte scheitert. Das führt nur leider selten irgendwohin, weil zwei Erhebungen zwei verschiedene Dinge gemessen haben.

Daher vielleicht interessanter: der Widerspruch innerhalb einer Studie. McKinsey, „The State of AI", veröffentlicht Ende August 2026.

Auf der einen Seite: 80 Prozent sagen, KI habe ihre individuelle Produktivität verbessert, rund die Hälfte trifft nach eigener Einschätzung bessere Entscheidungen.

Dieselbe Studie, dieselben Menschen: Nur 37 Prozent führen überhaupt einen Effekt auf das EBIT ihres Unternehmens auf KI zurück, unverändert gegenüber dem Vorjahr. 6 Prozent nennen den Effekt signifikant.

80 gegen 37. Für mich die ehrlichste Zahl der ganzen Debatte. Die eine belegt eher ein Gefühl, und auch gefühlte Entlastung ist etwas wert. Aber sie überlebt keinen Termin beim CFO. Die zweite misst, was in der Bilanz ankommt.

Gartner, ebenfalls ein Marktforschungs- und Beratungsunternehmen, rechnet damit, dass mindestens die Hälfte aller GenAI-Projekte nach dem Proof of Concept abgebrochen wird. Als Hauptgrund nennt die Analyse "Why Half of GenAI Projects Fail" eine schlechte Auswahl der Anwendungsfälle in Verbindung mit fehlendem geschäftlichem Nutzen. Wer keine konkreten Erfolgskennzahlen definiert, hat die höchsten Misserfolgsquoten. Die Empfehlung: GenAI als Geschäftstransformation behandeln, nicht als technische Einführung. Und KI dort einbauen, wo die Arbeit ohnehin stattfindet, statt neue Tools danebenzustellen.

Daraus folgen zwei Dinge. Wir brauchen eine Ausgangslage, von der aus wir messen. Und wir brauchen echte Kennzahlen.

Ausgangslage: Die Zahl, die meistens fehlt

Eine Ausgangslage ist der gemessene Zustand vor der Einführung. Der Wert, gegen den wir später vergleichen.

Beim Transkribieren ist das leicht: vorher Stunden, jetzt 90 Minuten inklusive Korrektur. Bei der Fertigstellung eines Artikels wird es schon schwierig. Denn Redaktions- und Kommunikationsteams messen ihre Arbeit meistens nicht. Niemand stoppt die Zeit, die eine Überschrift braucht. Niemand misst, wie lange Freigaben dauern. Wir messen erst, wenn wir etwas rechtfertigen wollen. Und dann ist es zu spät, weil der Zustand, den wir vergleichen wollen, nicht mehr existiert.

Genau da sitzen wir dann beim CFO. Er fragt nach der Effizienz, und wir haben ein Gefühl. Ein Gefühl verliert gegen eine Rechnung.

Vier Wege zu einer Ausgangslage, wenn wir mittendrin sind

1. Die Selbstaufschreibung. Zwei Wochen, ein kleines Team, ein Prozess. Wir wollen nicht alles dokumentieren, sondern herausfinden, wie lange es wirklich dauert. Das ist unbeliebt und ungenau, schon allein, weil wir anders arbeiten, wenn gemessen wird. Stichwort: Hawthorne-Effekt. Dennoch erhalten wir eine Größenordnung, die uns weiterhelfen kann.

2. Die Stichprobe im Archiv. Vieles liegt in unseren Systemen: Zeitstempel im CMS, Ticket-Historien, Versionsstände. 20 Fälle aus dem Vorjahr per Hand durchgesehen können eine brauchbare Baseline sein.

3. Die Vergleichsgruppe. Ein Ressort mit Tool, eines ohne. Methodisch nicht sauber, aber ehrlicher als gar kein Vergleich. Mit einem Nebeneffekt: Wenn niemand von außen erkennen kann, welches Ressort mit KI arbeitet, ist das auch eine Antwort.

4. Der eine Prozess. Ein Prozess, der oft genug vorkommt, dass er zählt, und klein genug ist, dass ihr ihn versteht. Für den machen wir es richtig. 

Wichtig: Ausgangslage ist nie nur Zeit

Allerdings: Wenn wir ausschließlich Zeit messen, buchen wir möglicherweise Qualitätsverluste als Effizienzgewinn. 

Die Überschrift war in zwei Minuten fertig statt in zehn und klickt schlechter. Die Zusammenfassung stand sofort und drei Leute mussten sie gegenlesen. Hier haben wir nichts gespart. 

Neben der Zeit brauchen wir also immer mindestens eine weitere Größe: Wie gut war das Ergebnis, und wie viel Nacharbeit hat es gebraucht? Als Faustregel hat sich etabliert: Eine Ausgangslage ist belastbar, wenn wir die Zahl vor jemandem verteidigen können, der unser Projekt nicht kennt oder mag. 

Zudem ist es hilfreich, wenn wir genau definieren, wie wir "Erfolg" definieren. 

Leitkennzahl definieren und Leitplanke

Pro Anwendungsfall definieren wir eine Leitkennzahl, an der wir entscheiden und Leitplanken, zum Beispiel Qualität. 

Bei der leitenden Kennzahl tagen die naheliegendsten Zahlen nicht: wöchentlich aktive Nutzende und Token-Verbrauch. Beide haben Haken. Ein hoher Verbrauch kann heißen, dass jemand einen Prozess automatisiert hat. Er kann auch heißen, dass sich Geburtstagsgedichte oder Horoskope schreiben lässt. 

Fünf Kennzahlenfelder im Überblick

Beispiel aus der Praxis: Newslettererstellung mit Unterstützung von KI

Der Newsletter eignet sich fast ideal als erster vermessener Prozess. Er kommt regelmäßig, hat einen definierten Anfang und ein Ende, es gibt eine verantwortliche Person. Und die Daten liegen im Versandtool vor.

Der Ablauf mit KI: Agenten suchen im Netz nach Updates und durchsuchen das eigene Redaktionssystem. Ein Mensch wählt aus. Die KI schreibt Teaser. Ein Mensch prüft und kopiert das in die Maske. Die KI schlägt Betreffzeilen vor.

Leitkennzahl: Redaktionszeit pro Ausgabe. Vom ersten Handgriff bis zur Versandfreigabe — und zwar inklusive Prüfen und Einkopieren. 

Leitplanke: Die Öffnungs- und Klickraten dürfen nicht unter eine bestimmte Größe fallen.

Der Satz, an dem wir uns messen wollen: „Wir halten es für einen Erfolg, wenn eine Ausgabe in drei Monaten 30 Prozent weniger Redaktionszeit braucht, ohne dass Öffnungs- und Klickraten sinken."

Bei den Betreffzeilen lässt sich sauber testen: menschlicher Vorschlag gegen KI-Vorschlag, gleicher Verteiler, gleicher Inhalt. A/B-Tests sind dann ein Beleg, wenn wir mehrere Tests über mehrere Wochen durchführen und festlegen, ab welchem Unterschied wir von einem Effekt sprechen. 

Gesparte Minuten sind noch kein gespartes Geld

30 Prozent weniger Redaktionszeit haben buchhalterisch keinen wirklichen Effekt, da dieselben Leute noch dieselbe Zahl von Ausgaben produzieren. Real wird die Ersparnis erst, wenn die Kapazität umgewidmet wird. Dafür gibt es drei Möglichkeiten:

• mehr Output mit gleicher Mannschaft;
• andere Arbeit (Recherche, Vor-Ort-Journalismus, Dinge, für die nie Zeit war...);
• oder weniger Stellen.

Die Kosten, die in keiner Rechnung stehen

Was wir ebenfalls berücksichtigen müssen sind die Kosten, die neben Lizenzen und Verbrauch anfallen

Was fehlt:

• Die Einrichtung. Jemand hat ausgesucht, getestet, mit IT, Datenschutz und Betriebsrat verhandelt.
• Die Pflege. Prompts veralten, Modelle werden ausgetauscht, plötzlich funktioniert etwas nicht mehr, das ein halbes Jahr lief. Darum kümmert sich meistens jemand zusätzlich zu seinem eigentlichen Job.
• Selbstbau-Prämie. Was ihr vor 18 Monaten teuer entwickelt habt, kann man heute oft fertig kaufen.
• Inhaltliche Prüfung: Alles, was wir mit KI produzieren, muss gegengecheckt werden. Gerade bei kritischen Inhalten muss das jemand sein, der das auch beurteilen kann, also nicht unbedingt der Praktikant oder die studentische Mitarbeiterin. 

Wenn die Erstellung acht Minuten schneller geht, aber die Prüfung sechs Minuten dauert, haben wir nichts gewonnen. 

Was passiert, wenn wir unser Ziel nicht erreichen?

Eine Leitkennzahl, an der entschieden wird, klingt erstmal harmlos. Es bedeutet aber, dass wir auch festlegen müssen, was die Konsequenz ist, wenn wir unser Ziel nicht erreichen. 

Bedeutet auch, dass es sein kann, dass wir Projekte komplett abbrechen und KI wieder rausnehmen. Das fällt niemandem leicht. Wer ein Projekt beendet, gibt zu, dass er sich geirrt hat. Und je mehr Geld drinsteckt, desto größer der Reflex weiterzumachen, weil Aufhören bedeuten würde, dass das Geld weg ist. 

Wenn wir vorher klar machen, an was wir das entscheiden, fällt es leichter. Wir können uns dann auf die damals getroffene Vereinbarung berufen. 

Und was, wenn es nicht immer um Effizienz geht?

Zurück nach Stockholm. Dort hatte das Team herausgefunden, dass Leserinnen und Leser, die mit den KI-erzeugten Zusammenfassungen interagierten, mehr Zeit mit den Artikeln verbrachten. Das Haus berichtet von rund 40 Prozent mehr Verweildauer. Das führte dazu, dass skeptische Reporterinnen und Reporter sich plötzlich für die Tools interessierten. Enttäuschend war, dass die Werkzeuge, die der Redaktion zur Verfügung gestellt wurden, wenig genutzt worden sind. Weil sie außerhalb des Redaktionssystems lebten und deren Einsatz zusätzliche Klicks und Logins bedeutete, man musste ständig daran denken, dass es sie gab. 

Sprich: Ausgerechnet die Werkzeuge, die effizienter machen sollten, waren die, die niemand in seinen Arbeitstag einpassen konnte.

Der Verantwortliche bei Aftonbladet hat laut Newsletter "News Maschinen" aus diesen drei Jahren zwei Schlüsse gezogen: Er bereute es, keine KPIs gesetzt zu haben. Gleichzeitig wünschte er sich, den Fokus zu verändern. Weg von reiner Effizienz hin dazu nach dem eigentlichen Wert zu suchen. Denn gerade für Verlage kann der Ertrag in der Wertschöpfung liegen, was aber eine andere Strategie erfordere. 

Widerspricht das dem, was ich hier geschrieben habe? Ich finde: nein.

Denn wir werden auch dann nicht um das Messen umhinkommen. Denn ohne belastbare Zahlen kommt es vielleicht gar nicht dazu, dass wir über Wertschöpfung sprechen können. Wer nachweisen kann, was Prozesse vorher gekostet haben und was sie jetzt kosten, wird immer der attraktivere Gesprächspartner sein.

„Wir haben viel gelernt"

Und dann ist da noch dieser Satz "Wir haben viel gelernt". Meistens heißt er: Wir haben nichts vorzuweisen. 

Doch auch der Lernprozess kann als Ertrag zählen, wenn folgende drei Bedingungen erfüllt sind:

1. Die Erkenntnis war vorher nicht käuflich. Man hätte sie nicht in einer Studie nachlesen können.
2. Sie ist dokumentiert. Sie steckt nicht in drei Köpfen, von denen zwei das Haus verlassen.
3. Sie hat eine Entscheidung verändert. Es gibt ein Vorher und ein Nachher, das man benennen kann.

Drei Fragen zum Mitnehmen

1. Welchen einen Prozess messt ihr ab nächster Woche?
2. Was wäre für diesen Prozess ein Erfolg — in einem Satz?
3. Und was passiert, wenn es nicht klappt?

Wenn ihr bei Frage eins schon hängenbleibt: Das ist normal :) Schreib mir, dann suchen wir euren ersten Prozess gemeinsam.

Quellen

• McKinsey, „The State of AI: Global Survey" 
• Gartner, „Why Half of GenAI Projects Fail: Avoid These 5 Common Mistakes"
• Ulrike Langer, „News Machines" / „News Maschinen"