Ein Freigabeklick ist noch keine Kontrolle. Er kann lediglich bestätigen, dass ein Mensch an einer Stelle im Prozess erschienen ist. Ob dieser Mensch eine Empfehlung prüfen, ihr widersprechen und eine Handlung tatsächlich stoppen kann, ist eine andere Frage.
Ich halte genau diese Unterscheidung für zentral. Wenn ein Unternehmen AI in Entscheidungen einbindet, braucht es nicht überall eine zweite Schleife und keine starre Vollprüfung jeder Routine. Es braucht dort ein wirksames Prüfrecht, wo ein falscher Vorschlag spürbare Folgen hat. Sonst wird aus menschlicher Aufsicht eine Unterschrift unter einen Prozess, den niemand mehr eigenständig beurteilt.
Prüfrecht statt Anwesenheit
Ein Reviewer ist nicht deshalb Kontrollinstanz, weil sein Name im Freigabelog steht. Kontrollinstanz wird er erst, wenn vier Dinge zusammenkommen: Er kann die relevante Sachlage anhand der Originaldaten verstehen. Er kennt das Entscheidungskriterium und die Grenze, ab der ein Fall nicht mehr automatisch weiterlaufen darf. Er darf den Vorschlag ändern oder anhalten. Und er kann eine strittige Entscheidung an eine zuständige Stelle eskalieren.
Das klingt selbstverständlich. Im Alltag fehlt oft mindestens eines davon. Der Reviewer sieht nur die zusammengefasste AI-Begründung. Die nötigen Vertrags-, Kunden- oder Prozessdaten liegen in einem anderen System. Für eine Ablehnung fehlt Zeit. Oder der Durchsatz-KPI belohnt die schnelle Freigabe stärker als den begründeten Widerspruch. Dann ist der Freigabeklick kein Kontrollpunkt, sondern ein zusätzlicher Arbeitsschritt ohne Entscheidungsmacht.
Die Evidenz spricht gegen einfache Beruhigung. Eine Meta-Analyse in Nature Human Behaviour aus dem Jahr 2024 bündelte 106 Experimente, deren Originalstudien zwischen dem 1. Januar 2020 und dem 30. Juni 2023 veröffentlicht worden waren. Verglichen wurde die Leistung von Menschen mit AI jeweils mit der besseren Einzelbedingung, also entweder Menschen allein oder AI allein. Im Durchschnitt lag die Kombination darunter. Die Effektgröße ist keine Prozentangabe. Sie bedeutet auch nicht, dass Menschen mit AI stets schlechter arbeiten als Menschen ohne AI oder dass menschliche Kontrolle wertlos wäre. Sie zeigt vielmehr: Die bloße Kombination zweier Akteure erzeugt keine verlässliche Überlegenheit. 1
Für die Organisation folgt daraus kein Rückzug aus AI, sondern eine härtere Frage vor der Freigabe: Was muss die prüfende Person selbst beurteilen können, bevor sie den Vorschlag sieht?
Ein Gegenbeweis vor der Freigabe
Diesen Punkt würde ich nicht in einer Richtlinie abhaken, sondern an einem konkreten, risikorelevanten Entscheidungsfall in einer abgeschirmten Übung testen. Absichtlich falsche Empfehlungen dürfen dabei keine reale Kundenaktion auslösen. Der Test beginnt bewusst ohne AI-Vorschlag. Der Reviewer erhält die Originalinformationen, das erwartete Entscheidungskriterium und ausreichend Zeit, um eine eigene vorläufige Einschätzung zu bilden. Erst danach sieht er die AI-Empfehlung samt Begründung.
Dann wird geprüft, ob der Reviewer eine absichtlich fehlerhafte oder unvollständige Empfehlung erkennt. Kann er den Widerspruch mit den verfügbaren Daten begründen? Darf er die Ausführung unmittelbar stoppen? Weiß er, wer bei einem offenen Konflikt entscheidet? Und funktioniert der Fallback tatsächlich, wenn die AI-Empfehlung nicht übernommen wird?
Entscheidend ist die Unabhängigkeit. In dieser Übung entsteht die eigene Einschätzung vor dem AI-Vorschlag. Damit lässt sich prüfen, ob der Reviewer den Fall selbst beurteilen konnte; die Reihenfolge ist eine praktikable Testmethode, keine universelle Vorgabe für jeden Produktionsfall. Ein Hinweis wie „kritisch prüfen“ reicht nicht aus. Die Prozessreihenfolge muss unabhängiges Urteil ermöglichen. Ebenso wenig reicht das Recht auf dem Papier. Ein Reviewer, der für Gegenrede erst eine weitere Freigabe einholen muss oder durch Freigabequote, Bearbeitungszeit und Automatisierungsziel unter Druck steht, hat kein praktisches Prüfrecht.
Der NIST AI Risk Management Framework ist dafür ein brauchbarer, aber freiwilliger Referenzrahmen. Er ist weder eine verbindliche Rechtsvorschrift noch eine Zertifizierung. NIST empfiehlt klare Rollen, verantwortliche Leitung, differenzierte menschliche Aufsicht, Tests und Monitoring im Einsatz sowie sichere Eingriffsmöglichkeiten zum Ändern oder Stoppen. Praktisch übersetzt heißt das: Die Kontrolltiefe muss zum Schadenspotenzial passen und der Reviewer braucht Kompetenz, Information, Zeit und Entscheidungsrecht. 2
Bei einer geringfügigen, reversiblen Routine kann eine Stichprobe genügen. Bei einer schwer rückgängig zu machenden Entscheidung, bei erheblichen Kundenfolgen oder bei einer Ausnahme vom Standard ist ein unabhängiger Challenge-Schritt angemessen. Das ist keine Technikfrage allein. Es ist eine Organisationsentscheidung.
Der erste Schritt
Zuerst würde ich einen einzigen AI-unterstützten Entscheidungsprozess auswählen, bei dem ein Fehler wirklich Folgen hätte und die gegenwärtige Freigabe bereits vorgesehen ist. Nicht den ganzen Kontrollkatalog überarbeiten. Nicht mit einem neuen Governance-Gremium beginnen.
Für diesen einen Prozess genügt zunächst eine kurze, konkrete Festlegung: Welche Originaldaten muss der Reviewer sehen? Welche Entscheidung bildet er vor dem AI-Vorschlag? Welche Abweichung zwingt zum Anhalten? Wer entscheidet eine Eskalation? Welcher manuelle oder regelbasierte Fallback greift? Und welcher KPI darf den Widerspruch nicht bestrafen?
Danach folgt ein dokumentierter Testfall. Das Ergebnis sollte nicht „Freigabe erteilt“ lauten, sondern beantworten, ob ein falscher Vorschlag erkannt, begründet zurückgewiesen, gestoppt und sauber weiterbearbeitet werden konnte. Wenn eine dieser Handlungen fehlt, ist die Kontrolle noch nicht betriebsfähig.
Ein Freigabeklick kann Teil einer guten Kontrolle sein. Er ist ihr Beweis nicht.