Zurück zur Übersicht
Executive AI Governance

Eine E-Mail ist keine Freigabe für Ihren AI-Assistenten

Ein AI-Assistent darf aus einer eingehenden Nachricht keine zusätzlichen Befugnisse ableiten. Wie Führungsteams externe Anfragen von internen Freigaben trennen und die Grenze an einem Postfach praktisch testen.

Ein AI-Assistent liest Kundenmails und bereitet Antworten vor. Das spart möglicherweise Arbeit. Was passiert aber, wenn eine Nachricht verlangt, interne Unterlagen an eine neue Adresse zu senden und dabei behauptet, die Geschäftsleitung habe das bereits genehmigt?

Die entscheidende Frage ist nicht, ob der Assistent den Text versteht. Sie lautet: Darf der Inhalt einer eingehenden Nachricht seine Befugnisse verändern? Wenn das nicht geklärt ist, kann aus einer hilfreichen Arbeitserleichterung ein unkontrollierter Versandweg werden. Verlorene Vertraulichkeit lässt sich durch schnellere Bearbeitung nicht ausgleichen.

Ich würde vor dem nächsten Ausbau eine Grenze festlegen: Externe Inhalte dürfen eine Anfrage liefern, aber keine zusätzlichen Rechte vergeben. Eine Kundenmail kann eine Adressänderung anfragen. Sie darf nicht selbst die Prüfung abschaffen, die das Unternehmen dafür vorgesehen hat.

Wo eine normale Nachricht zur Anweisung wird

Ein ausdrücklich konstruiertes Beispiel: Der Assistent soll ein Postfach nach offenen Kundenfragen durchsuchen. Eine Nachricht fordert zusätzlich die interne Preiskalkulation an und nennt eine andere Empfängeradresse. Sie stellt den Versand als notwendige Vorarbeit für die Beantwortung dar und behauptet eine interne Freigabe. Das ist kein berichteter Kundenfall, sondern ein möglicher Testfall.

Wenn das System diese Behauptung als Auftrag behandelt, hat der Absender Einfluss auf eine Handlung bekommen, die ihm nicht zusteht. Fachleute nennen das indirekte Prompt Injection: Eine Anweisung gelangt über fremde Inhalte in den Arbeitskontext des Modells. Auch Anhänge oder abgerufene Webseiten können diesen Weg eröffnen. Die britische Sicherheitsbehörde NCSC beschreibt genau diese fehlende verlässliche Trennung zwischen Daten und Anweisungen. 1

Das Problem lässt sich deshalb nicht auf auffällige Formulierungen reduzieren. Ein höflicher, plausibel begründeter Text kann dieselbe Grenze überschreiten. Eine Nachricht, die sich auf eine angebliche Freigabe beruft, beweist diese Freigabe nicht.

Warum ein besserer Prompt allein nicht reicht

Der 2024 bei NeurIPS veröffentlichte Forschungsbenchmark AgentDojo umfasst 97 realistische Aufgaben und 629 Sicherheits-Testfälle, unter anderem mit E-Mail- und anderen Werkzeugzugriffen. Die Forschenden prüften, ob manipulierte Werkzeugausgaben Agenten zu unerlaubten Handlungen bewegen können. Es handelt sich um kontrollierte, simulierte Aufgaben mit damaligen Modellen, nicht um 629 Unternehmensvorfälle oder eine heutige Fehlerquote für Ihr Unternehmen. 2

Der nützliche Managementschluss ist enger: Gute Ergebnisse bei gewöhnlichen Anfragen belegen nicht, dass ein Assistent seine Handlungsmöglichkeiten auch bei manipulativen Eingaben einhält.

Ein Prompt, der fremde Inhalte als Daten kennzeichnet, ist sinnvoll. Er ersetzt keine technische Begrenzung. NCSC empfiehlt Schutzmaßnahmen außerhalb des Sprachmodells, die dessen Aktionen tatsächlich einschränken. Auch OpenAI beschreibt 2026, warum Systeme die Auswirkungen von Manipulation begrenzen müssen, statt allein auf die Erkennung verdächtiger Texte zu vertrauen. Das ist eine Anbieterempfehlung, keine Sicherheitsgarantie. 1 3

Ein Test an einem einzigen Postfach

Zuerst würde ich mit Prozessverantwortlichem und IT einen eng begrenzten Postfachablauf auswählen. Halten Sie fest, was der Assistent lesen darf und welches Ergebnis gewünscht ist. Eine Zusammenfassung und ein Antwortentwurf verlangen nicht automatisch das Recht, Nachrichten zu versenden, andere Systeme zu ändern oder weitere vertrauliche Dateien abzurufen.

Prüfen Sie anschließend in einer abgeschotteten Testumgebung mit synthetischen Daten und gesperrten externen Versandwegen eine gewöhnliche Anfrage sowie veränderte Fassungen. Eine verlangt eine zusätzliche interne Datei. Eine nennt einen neuen Empfänger. Eine behauptet, der übliche Freigabeschritt sei ausnahmsweise nicht nötig. Der Test darf keine echten Kundendaten an externe Adressen übertragen.

Bewerten Sie nicht nur den Antworttext. Prüfen Sie die tatsächlich versuchten Werkzeugaktionen. Eine freundlich formulierte Warnung hilft wenig, wenn anschließend trotzdem ein Versand ausgelöst wird.

Für diesen Ablauf muss nachvollziehbar sein:

  • ◆Welche Aktion war vom Unternehmen freigegeben und welche wurde versucht?
  • ◆Hat eine Kontrolle außerhalb des Modells den unzulässigen Zugriff oder Versand verhindert?
  • ◆Wer erhält den ungeklärten Vorgang und kann den erlaubten nächsten Schritt bestätigen?

Dokumentieren Sie auch, ob berechtigte Anfragen noch bearbeitet werden können. Ein System, das vorsichtshalber alles ablehnt, schützt vielleicht diesen Versandweg, erfüllt aber seinen Arbeitsauftrag nicht.

Die Freigabe muss außerhalb der Mail liegen

Manche Kundenanfragen sollen tatsächlich Änderungen auslösen. Dann braucht es einen vom Unternehmen festgelegten Prüfweg, etwa eine bestätigte Identität und eine berechtigte interne Freigabe. Die eingehende Mail bleibt der Anlass. Sie ist nicht zugleich der Nachweis, dass dieser Prüfweg entfallen darf.

Für sensible Übertragungen sollten Datenumfang, Empfänger und Zweck vor der Ausführung überprüfbar sein. Eine pauschale Zustimmung zum Assistenten genügt dafür nicht. Rechtebegrenzung, Protokollierung und Tests reduzieren das Risiko; sie beseitigen nicht jede mögliche Manipulation.

Im nächsten Betriebsreview würde ich deshalb eine konkrete Frage stellen: Welche Handlung kann unser Assistent nach dem Lesen fremder Inhalte ausführen, obwohl der Absender sie selbst nicht ausführen dürfte? An genau dieser Stelle beginnt die Prüfung. Nicht erst nach dem ersten unbeabsichtigten Versand.

Quellen

  • ◆NCSC, 2025: Sicherheitsgrenzen und begrenzte Aktionsrechte. 1
  • ◆Debenedetti et al., NeurIPS 2024: AgentDojo-Forschungsbenchmark. 2
  • ◆OpenAI, 2026: Systemdesign gegen indirekte Prompt Injection. 3

Weiterführende Insights

Strategische Beratung

Vom Insight zur belastbaren Entscheidung.

Wir übersetzen AI-Potenziale in eine klare Architektur, messbare Prioritäten und eine umsetzbare Roadmap für Ihr Unternehmen.