Was passiert, wenn der KI-Agent falsch liegt? Unser Eskalationsmodell

In fast jedem Discovery-Call kommt irgendwann dieselbe Frage: Was passiert, wenn der KI-Agent falsch liegt? Die meisten Anbieter antworten mit Sätzen über "geprüfte Modelle" oder "hohe Genauigkeit". Das beantwortet die eigentliche Frage nicht.

Deshalb legen wir offen, wie unser Eskalationsmodell für KI-Agenten aufgebaut ist: eine feste Kette aus Konfidenz-Schwellen, Rückfragen an Menschen, lückenloser Protokollierung und klar benannten Zuständigkeiten, bevor ein Agent überhaupt live geschaltet wird.

Was ist ein Eskalationsmodell für einen KI-Agenten?

Ein Eskalationsmodell legt fest, ab welchem Grad an Unsicherheit ein KI-Agent eine Aufgabe nicht mehr eigenständig abschließt, sondern an einen Menschen übergibt, bevor eine Entscheidung wirksam wird. Es gehört von Anfang an zur Architektur, nicht als nachträgliche Sicherheitsschicht.

Der Druck, das sauber zu regeln, wächst schneller als die Vorbereitung vieler Unternehmen darauf. Gartner prognostiziert, dass bis Ende 2026 rund 40 Prozent der Unternehmensanwendungen aufgabenspezifische KI-Agenten enthalten werden, gegenüber unter 5 Prozent im Jahr 2025 (Quelle: //www.gartner.com/en/newsroom/press-releases/2025-08-26-gartner-predicts-40-percent-of-enterprise-apps-will-feature-task-specific-ai-agents-by-2026-up-from-less-than-5-percent-in-2025:Gartner). Gleichzeitig verfügen laut einer Deloitte-Befragung von 3.235 Führungskräften in 24 Ländern nur 21 Prozent der Unternehmen über ein ausgereiftes Governance-Modell für autonome KI-Agenten (Quelle: //www.deloitte.com/us/en/insights/topics/emerging-technologies/ai-agents-scaling-faster.html:Deloitte). Genau diese Lücke schließt ein Eskalationsmodell.

Wie funktionieren Konfidenz-Schwellen in der Praxis?

Konfidenz-Schwellen sind feste Grenzwerte, an denen ein Agent seine eigene Sicherheit bei einer Entscheidung einschätzt und danach unterschiedlich handelt. Bei hoher Konfidenz führt der Agent die Aufgabe aus und protokolliert sie. Bei mittlerer Konfidenz führt er sie aus, markiert den Fall aber zur stichprobenartigen Prüfung. Bei niedriger Konfidenz stoppt der Agent vor der Ausführung und übergibt an einen Menschen.

Bei der Rechnungseingangsverarbeitung sieht das konkret so aus: Eindeutige Rechnungsdaten mit bekanntem Lieferanten und passender Kontierung laufen automatisch durch. Unklare Kontierungen werden markiert und im Nachgang geprüft. Fehlende Pflichtfelder oder Abweichungen vom Lieferantenstamm stoppen den Vorgang sofort, bevor irgendetwas gebucht wird.

Wann greift Human-in-the-loop, und wer entscheidet dann?

Human-in-the-loop bedeutet, dass eine Aufgabe erst nach menschlicher Freigabe wirksam wird, sobald der Agent eine festgelegte Unsicherheits- oder Risikoschwelle erreicht. Das ist keine freiwillige Kür, sondern in der EU inzwischen auch regulatorisch verankert: Artikel 14 der EU-KI-Verordnung verlangt für Hochrisiko-Systeme, dass Menschen ein KI-System jederzeit verstehen, eingreifen und stoppen können (Quelle: //artificialintelligenceact.eu/article/14/:EU AI Act, Artikel 14).

Bei uns ist vorab festgelegt, wer diese Rolle übernimmt: auf Kundenseite eine namentlich benannte Ansprechperson, die Eskalationen erhält und entscheidet, auf NordFlux-Seite ein technischer Verantwortlicher, der die Schwellenwerte überwacht und nachjustiert. Beides steht im Process Design Document, das wir vor dem Go-live gemeinsam abstimmen.

Wie stellen wir Nachvollziehbarkeit sicher, wenn ein Agent falsch liegt?

Jede Entscheidung eines Agenten wird protokolliert, unabhängig davon, ob sie automatisch durchlief oder eskaliert wurde. Das Protokoll enthält die Eingabedaten, den ermittelten Konfidenzwert, den gewählten Pfad und, falls ein Mensch eingegriffen hat, wer wann was entschieden hat.

Das ist kein Selbstzweck. Ohne dieses Protokoll lässt sich im Nachhinein weder klären, warum ein Fehler passiert ist, noch, ob die Schwellenwerte richtig gesetzt sind. Wir nutzen die Protokolle regelmäßig, um Schwellen nachzuschärfen, etwa wenn sich zeigt, dass eine bestimmte Anfrageart öfter als nötig eskaliert oder umgekehrt zu selten. Mehr zur technischen Umsetzung solcher Agenten findet sich in unserem Leistungsbereich KI-Agenten, zur Einordnung von Governance und Verantwortlichkeiten in der KI-Beratung.

Praxisbeispiel: Eskalation beim KI-Telefonassistenten

Ein Handwerksbetrieb, der bei uns einen KI-Telefonassistenten für die Anrufannahme einsetzt, ist ein gutes Beispiel dafür, wie das im Alltag aussieht. Der Agent nimmt Standardanfragen wie Terminvereinbarungen oder allgemeine Öffnungszeiten selbstständig entgegen. Sobald es um kurzfristige Terminabsagen, Reklamationen oder Preisverhandlungen geht, wechselt der Agent sofort und für den Anrufer hörbar in den Übergabemodus: Er sagt offen, dass er die Anfrage an einen Mitarbeitenden weiterleitet, und übergibt mit Kontext, statt den Anrufer im Kreis zu schicken.

Jedes Gespräch wird mit einem Vermerk protokolliert, ob und warum eskaliert wurde. Das gibt dem Betrieb eine belastbare Grundlage, um zu sehen, welche Themen den Agenten regelmäßig an seine Grenze bringen, und um die Schwellen entsprechend anzupassen, statt sich auf ein Bauchgefühl zu verlassen.

Wer trägt die Verantwortung, wenn der Agent trotzdem falsch liegt?

Auch das beste Eskalationsmodell verhindert nicht jeden Fehler, es verkleinert nur das Fenster, in dem ein Fehler unbemerkt Schaden anrichten kann. Deshalb regeln wir Zuständigkeiten vertraglich vorab statt im Streitfall: Wer für die fachliche Freigabe einer Eskalation zuständig ist, wer für die technische Funktion des Agenten haftet, und welche Fälle grundsätzlich nie automatisiert werden, weil das Risiko das nicht hergibt.

Ein Eskalationsmodell ersetzt diese Klärung nicht, es macht sie erst wirksam. Ohne benannte Zuständigkeit landet jede Eskalation im Zweifel bei niemandem.

Häufige Fragen

Was passiert konkret, wenn der KI-Agent unsicher ist?

Der Agent führt die Aufgabe nicht aus, sondern übergibt sie mit vollständigem Kontext an eine benannte Ansprechperson. Die Übergabe und der Grund dafür werden protokolliert.

Kann ein Kunde die Konfidenz-Schwellen selbst festlegen?

Die Schwellen werden gemeinsam im Process Design Document vor dem Go-live festgelegt und lassen sich später anhand der Protokolldaten nachjustieren.

Werden alle Eskalationen protokolliert, auch wenn nichts schiefgeht?

Ja. Jede Entscheidung wird protokolliert, unabhängig davon, ob sie automatisch durchlief oder an einen Menschen ging.

Ersetzt das Eskalationsmodell die menschliche Kontrolle vollständig?

Nein. Es reduziert, wie oft ein Mensch eingreifen muss, ersetzt die Möglichkeit zum Eingreifen aber nicht. Das verlangt für Hochrisiko-Fälle auch Artikel 14 der EU-KI-Verordnung.

Gilt das Modell nur für Voice-Agents oder auch für andere KI-Agenten?

Das Prinzip gilt für alle KI-Agenten, die wir bauen, ob als n8n-Workflow, Copilot-Agent oder Telefonassistent. Die konkreten Schwellenwerte unterscheiden sich je nach Anwendungsfall.