Die falsche Frage beginnt mit dem Tool
Wenn ein Unternehmen über Automation spricht, steht meist dieselbe Hoffnung im Raum: weniger Wartezeit, weniger manuelle Arbeit, mehr Kapazität. Das ist legitim. Problematisch wird es, wenn daraus die Frage wird, welche Rolle man noch wegautomatisieren kann. Dann wird aus einer Arbeitsentscheidung schnell eine Verantwortungsentscheidung, die niemand ausdrücklich getroffen hat.
Mein Urteil ist klar: Ein Unternehmen sollte niemals unternehmerische Verantwortung, Werturteile und die Fähigkeit zum angemessenen Eingreifen an ein Modell auslagern. Das ist kein pauschales oder ewiges Technologieverbot. Tätigkeiten verändern sich, Modelle verändern sich, getestete Risikogrenzen können sich verändern. Was nicht verschwindet, ist die Pflicht einer verantwortlichen Person, Folgen abzuwägen, eine Entscheidung zu vertreten und bei neuen Informationen einzugreifen.
Die relevante Einheit ist deshalb nicht die Berufsbezeichnung und auch nicht das ganze End-to-End-Verfahren. Sie ist die einzelne Tätigkeit im Kontext einer Entscheidung. Ein Modell kann Informationen ordnen, einen Vertragsentwurf gegen eine Klauselbibliothek prüfen oder eine Ausnahme in einer Richtlinie markieren. Es sollte nicht selbst entscheiden, ob ein nicht standardisierter Vertrag akzeptabel ist, welcher Kunde aus Kulanz eine Ausnahme erhält oder wie ein sensibles Personalgespräch geführt wird. Diese Situationen sind hier illustrative Beispiele, keine vollständige Verbotsliste.
Der Unterschied ist wirtschaftlich relevant. Werden Aufgaben falsch abgegrenzt, entstehen nicht nur Fehler. Es entstehen unklare Haftung, schlechte Ausnahmen, ein überlastetes Kontrollteam und Entscheidungen, die im Streitfall niemand erklären kann. Das kostet Geschwindigkeit gerade dort, wo Automation sie angeblich schaffen sollte.
Unterstützung ist nicht Autonomie
Ich würde drei Betriebsarten konsequent auseinanderhalten.
Unterstützung liefert einen Vorschlag, eine Recherche, eine Zusammenfassung oder eine Vorstrukturierung. Eine zuständige Person prüft und entscheidet. Diese Betriebsart kann viel Zeit sparen, ohne das Entscheidungsrecht zu verschieben.
Begrenzte regelbasierte Ausführung erledigt eine klar abgegrenzte Handlung innerhalb vorab freigegebener Regeln. Ein System kann etwa vollständige Daten in ein bestehendes System übertragen oder einen Standardprozess auslösen, wenn die Bedingungen eindeutig erfüllt sind. Für Ausnahmen braucht es eine Route zurück zu einem Menschen.
Autonome Entscheidung wählt selbst zwischen Optionen mit unterschiedlichen Folgen. Sie kann Preise, Freigaben, Prioritäten oder Kommunikation bestimmen. Je höher der Einfluss auf Kunden, Mitarbeitende, Vertragspflichten, Sicherheit oder Reputation, desto weniger genügt ein nachträglicher Blick auf einen Dashboard-Wert.
Das ist keine sprachliche Feinheit. Eine Vertragserstellung kann Unterstützung sein. Die Entscheidung über eine Haftungsregel ist ein Werturteil unter Unsicherheit. Eine Ausnahmefreigabe kann einen regelbasierten Teil enthalten. Ob sie in einer konkreten Lage fair, angemessen und geschäftlich tragbar ist, lässt sich oft nicht vollständig aus historischen Daten ableiten.
Menschen treffen ebenfalls Fehlentscheidungen und bringen eigene Verzerrungen mit. Daraus folgt aber nicht, dass ein menschlicher Name neben einem Modellvorschlag ausreicht. Eine menschliche Kontrolle ist nur dann Kontrolle, wenn die Person kompetent ist, die maßgeblichen Informationen sieht, Zeit zur Prüfung hat, widersprechen darf und eine echte Stopp- oder Rückfallmöglichkeit besitzt.
Warum Unternehmen zu weit automatisieren
Die Ursache liegt selten in einem einzelnen schlechten Modell. Häufig beginnt sie früher, in der Beschreibung der Arbeit.
Erstens werden Tätigkeiten zu grob geschnitten. „Vertrag bearbeiten“, „Kunde entscheiden“ oder „Mitarbeitendenfall lösen“ klingt nach einer Aufgabe. Tatsächlich enthält jede dieser Formulierungen Recherche, Regelprüfung, Kommunikation, Beurteilung von Ausnahmen und eine Entscheidung über Folgen. Wenn alles als ein Automationsfall behandelt wird, wandert die normative Entscheidung unbemerkt mit in das System.
Zweitens wird Modellfähigkeit mit betrieblicher Zulässigkeit verwechselt. Ein plausibler Entwurf beweist nicht, dass ein Modell eine Entscheidung sicher treffen darf. Die Frage lautet nicht nur: Kann das System im Test eine gute Antwort erzeugen? Sie lautet auch: Gilt diese Leistung in diesem Datenkontext, bei dieser Ausnahme, mit diesem Schadenbild und mit diesem Rückfallprozess?
Drittens steht oft eine falsche Kennzahl im Vordergrund. Wer nur bearbeitete Fälle oder Durchlaufzeit misst, belohnt die Verschiebung schwieriger Fälle in nachgelagerte Teams. Prüfaufwand, Korrekturen, Eskalationen und die Qualität der endgültigen Entscheidung verschwinden dann aus dem Bild.
Viertens wird „Human in the loop“ als Etikett verwendet. Ein Freigabeklick am Ende einer langen Kette ist keine unabhängige Prüfung, wenn der Reviewer weder die Ausgangsdaten noch die Regelgrenze nachvollziehen kann. Auch eine Person unter hohem Durchsatzdruck ist keine belastbare Kontrollinstanz.
Was die Evidenz tatsächlich sagt
Die Frage ist nicht, ob AI nützlich sein kann. Sie kann es sein, wenn Menschen verantwortlich im Prozess bleiben. Eine 2025 im Quarterly Journal of Economics publizierte Studie mit 5.172 Customer-Support-Mitarbeitenden eines Fortune-500-Anbieters von Business-Process-Software beobachtete nach Zugang zu einem GPT-3-basierten Antwortassistenten 15 % mehr erfolgreich gelöste Anliegen oder Chats pro Stunde. Die Mitarbeitenden blieben für das Gespräch verantwortlich und konnten Vorschläge ändern oder ignorieren. Das ist eine Chance für menschlich verantwortete Unterstützung, nicht der Beleg für eine automatische Kostenersparnis oder für eine allgemeine Übertragung auf andere Unternehmen. Die Wirkung war zudem nach Erfahrung und Fähigkeit unterschiedlich. Die gestaffelte Einführung eines Assistenten in einem Unternehmen ist kein Versuch über autonomes Handeln. 1
Die Grenze ist ebenso wichtig. In einem präregistrierten randomisierten Experiment mit 758 BCG-Beratungskräften, online veröffentlicht 2026 und durchgeführt mit GPT-4 im damaligen Stand von Juni 2023, sank bei einer ausgewählten komplexen Managementaufgabe außerhalb der ermittelten GPT-4-Leistungsgrenze die Wahrscheinlichkeit einer korrekten Lösung kombiniert gegenüber der Kontrollgruppe um rund 19 Prozentpunkte. Das ist keine allgemeine Fehlerquote und kein Urteil über alle heutigen Modelle oder Unternehmensentscheidungen. Es ist ein präziser Hinweis: Selbst bei einer leistungsfähigen Technologie hängt die zulässige Automation von der konkreten Aufgabe und ihrer geprüften Grenze ab. 2
Diese beiden Befunde widersprechen sich nicht. Sie betreffen unterschiedliche Tätigkeiten und Systeme, zeigen aber zwei Seiten derselben Führungsfrage. Unterstützung kann Leistung erhöhen. Außerhalb einer erkannten Leistungsgrenze kann ein überzeugend wirkender Vorschlag die Entscheidungsqualität senken. Deshalb darf ein Unternehmen nicht von einer erfolgreichen Demo auf autonome Verantwortung schließen.
Der NIST AI Risk Management Framework bietet dafür einen freiwilligen Orientierungsrahmen. Er ist weder eine verbindliche schweizerische oder EU-Rechtsvorschrift noch eine Zertifizierung. NIST betont dokumentierte Rollen, Verantwortung der Leitung für AI-Risikoentscheidungen, differenzierte menschliche Aufsicht, Tests im vorgesehenen Einsatzbereich, Monitoring sowie sichere Möglichkeiten zum Ändern oder Stoppen. Genau diese Elemente machen aus einer abstrakten Forderung nach Kontrolle eine überprüfbare Betriebsentscheidung. 3
Vier Kontrollkriterien vor jeder weitergehenden Automation
Bevor ein Unternehmen eine Tätigkeit vom Vorschlag zur regelbasierten Ausführung oder von dort zur autonomen Entscheidung verschiebt, würde ich vier Fragen schriftlich beantworten lassen. Nicht als Governance-Theater, sondern als Freigabegrundlage für den verantwortlichen Owner.
Trägt jemand die Entscheidung und ihre Folgen?
Für jedes Ergebnis braucht es eine benannte Person oder Funktion, die die Entscheidung vertreten kann. Diese Verantwortung lässt sich nicht an ein Modell delegieren. Wenn niemand sagen kann, wer eine fehlerhafte Ausnahme korrigiert, einen Kunden informiert oder einen Schadenfall bewertet, ist die Automationsgrenze falsch gesetzt.
Das Kriterium ist besonders streng, wenn eine Entscheidung schwer rückgängig zu machen ist. Ein fehlerhafter Entwurf kann korrigiert werden. Eine abgelehnte berechtigte Reklamation, eine missglückte Personalinteraktion können Vertrauen beschädigen, bevor ein Team eingreift.
Enthält die Tätigkeit ein nicht codiertes Werturteil?
Regeln können klare Bedingungen abbilden. Sie können nicht automatisch jeden Zielkonflikt entscheiden. Kulanz gegen Gleichbehandlung, kurzfristige Marge gegen Kundenbeziehung, Geschwindigkeit gegen Sicherheit oder Formalregel gegen berechtigtes Sonderinteresse verlangen eine bewusste Gewichtung.
Das Unternehmen sollte daher nicht fragen, ob ein Modell eine Begründung formulieren kann. Es sollte fragen, ob die zugrunde liegende Abwägung als stabile, freigegebene Regel vorliegt. Falls nicht, bleibt die Entscheidung bei einer qualifizierten Person. Das Modell darf vorbereiten und Alternativen sichtbar machen.
Kann die Kontrolle den Vorschlag wirklich widerlegen?
Eine Kontrolle muss mehr können als zustimmen. Der Reviewer braucht Zugang zu den relevanten Originaldaten, zum geltenden Regelwerk und zu den Informationen, die der Fall außerhalb des Normalbereichs verlangt. Er oder sie muss einen Vorschlag ohne KPI-Druck zurückweisen, ändern, stoppen und eskalieren können.
Praktisch heißt das: Nicht nur die endgültige Empfehlung dokumentieren. Auch die Entscheidungsbasis, der genutzte Kontext, die Ausnahme und die Korrektur müssen sichtbar sein. Wo eine unabhängige Prüfung nicht möglich ist, darf die Automation nicht mit einem formalen Freigabeschritt legitimiert werden.
Ist die Grenze getestet und der Rückfall betriebsfähig?
Eine zulässige Grenze ist keine Annahme im Projektstart. Sie wird für den vorgesehenen Einsatzbereich getestet. Welche Fälle darf das System bearbeiten? Welche Datenqualität wird vorausgesetzt? Bei welchem Signal stoppt die Ausführung? Wer übernimmt dann, in welcher Zeit und mit welchen Informationen?
Der Rückfallprozess ist kein technischer Notausgang für die Präsentation. Er gehört zur Leistung. Wenn ein Team nach dem Stopp nicht weiß, wie es einen Vorgang korrekt übernimmt, verlagert die Automation Risiko statt es zu steuern. Ebenso wichtig ist Monitoring: Neue Produkte, geänderte Richtlinien, andere Kundengruppen oder veränderte Daten können die getestete Grenze verschieben.