Warum wir keine Blackbox-Automatisierung bauen

Ich sitze regelmäßig in Erstgesprächen, in denen Geschäftsführer mir einen automatisierten Prozess zeigen, den ein anderer Dienstleister vor Jahren gebaut hat, und dann fällt fast immer derselbe Satz: Warum das System an dieser Stelle so entscheidet, weiß bei uns niemand mehr. Der Dienstleister ist weg, die Dokumentation wurde nie geschrieben, und einen Eskalationsweg für Ausnahmefälle gibt es schlicht nicht. Genau das nenne ich Blackbox-Automatisierung, und genau das bauen wir bei NordFlux nicht.

Was ist eine Blackbox-Automatisierung konkret?

Eine Blackbox-Automatisierung ist ein automatisierter Prozess, dessen Entscheidungslogik im Nachhinein nicht mehr nachvollziehbar ist, der keine definierten Eskalationswege für Ausnahmefälle kennt und dessen Regeln nirgendwo dokumentiert sind. Alle drei Merkmale müssen nicht gleichzeitig auftreten, in der Praxis reisen sie aber fast immer zusammen, weil sie aus derselben Ursache stammen: Ein System wurde für den schnellen Go-Live gebaut, nicht für den Betrieb danach.

Das ist kein Nischenproblem. 38 Prozent der Unternehmen in Deutschland nennen die mangelnde Nachvollziehbarkeit von KI-Ergebnissen als eines der größten Hemmnisse beim Einsatz von Künstlicher Intelligenz, so die Bitkom-Studie „Künstliche Intelligenz 2025“. Wer also schon einmal dachte, sein unerklärlicher Workflow sei ein Einzelfall: ist er nicht.

Warum entstehen Blackboxen überhaupt?

Blackboxen entstehen selten aus böser Absicht, sondern aus Zeitdruck und falschen Anreizen. Ein Proof of Concept wandert ohne weiteres Refactoring in den produktiven Betrieb, ein KI-Agent wird auf ein enges Ziel trainiert, ohne dass jemand protokolliert, wie er zu seinen Entscheidungen kommt, und Dokumentation ist das Erste, was fällt, wenn ein Projekt spät dran ist. Am Ende steht ein System, das funktioniert, solange niemand fragt, warum.

International ist Vorsicht gegenüber solchen Systemen längst die Mehrheitsmeinung, nicht die Ausnahme: 61 Prozent der Menschen weltweit sind laut der KPMG-Studie „Trust in Artificial Intelligence“ zurückhaltend, KI-Systemen zu vertrauen, ein Wert, der eng mit fehlender Nachvollziehbarkeit zusammenhängt. Wer als Anbieter auf dieses Misstrauen nicht mit Transparenz reagiert, verstärkt es nur.

Wie arbeiten wir bei NordFlux stattdessen?

Wir bauen jede Automatisierung so, dass sie ohne uns weiterlebt. Konkret heißt das: Jeder Workflow läuft in der Infrastruktur des Kunden, sei es die eigene n8n-Instanz, der eigene Microsoft-Tenant oder die eigene UiPath-Umgebung, mit Zugängen, die dem Kunden gehören und nicht uns. Wer die Zusammenarbeit mit uns beendet, behält den vollständigen Zugriff auf seine eigenen Prozesse.

Zu jedem Projekt gehört ein Process Design Document, das die Entscheidungslogik, die verwendeten Datenquellen und die Grenzen des Systems in normaler Sprache beschreibt, nicht nur im Workflow-Diagramm. Bei einem Kunden aus der öffentlichen Verwaltung hat genau dieses Dokument einer internen Prüfung durch die IT-Sicherheit standgehalten, weil jede Verzweigung im Prozess samt Begründung schriftlich vorlag, statt mündlich erklärt werden zu müssen.

Was heißt Eskalationsmodell konkret?

Ein Eskalationsmodell legt vorher fest, ab welchem Punkt eine Automatisierung oder ein KI-Agent eine Entscheidung nicht mehr allein trifft, sondern an einen Menschen übergibt. Bei einer Rechnungsprüfung heißt das zum Beispiel: Beträge unterhalb eines definierten Schwellenwerts mit eindeutiger Zuordnung laufen automatisch durch, alles andere, unklare Zuordnung, ungewöhnlich hohe Summe, neuer Lieferant, geht mit Begründung an eine Sachbearbeiterin. Ohne dieses Modell trifft das System im Zweifel irgendeine Entscheidung, und niemand merkt es, bis es zu spät ist.

Diese Erwartung wird zunehmend auch regulatorisch verankert: Der EU AI Act verlangt für Hochrisiko-KI-Systeme in Artikel 13 ausdrücklich, dass ihr Betrieb ausreichend transparent gestaltet ist, damit Betreiber die Ergebnisse einordnen und angemessen nutzen können, inklusive nachvollziehbarer Dokumentation von Fähigkeiten und Grenzen. Wer heute schon so baut, muss morgen nicht nachrüsten.

Kostet Transparenz mehr Zeit?

Ehrlich: ja, ein bisschen, am Anfang. Ein Process Design Document zu schreiben und ein Eskalationsmodell zu definieren dauert länger, als einfach loszubauen. Dieser Mehraufwand zahlt sich zurück, sobald ein Mitarbeitender wechselt, ein Wirtschaftsprüfer nachfragt oder ein Prozess erweitert werden muss, denn dann existiert eine Grundlage, auf der man aufbaut, statt bei null anzufangen. Kontrolle ist damit kein Marketingversprechen, sondern über die Projektlaufzeit schlicht günstiger.

Mehr zu unserer Arbeitsweise bei KI-Agenten lesen Sie in unserer Leistung KI-Agenten, für die begleitende Governance-Beratung in unserer Leistung KI-Beratung.

Häufige Fragen

Was unterscheidet eine NordFlux-Automatisierung von einer Blackbox?

Eine NordFlux-Automatisierung ist dokumentiert, läuft in der Infrastruktur des Kunden und übergibt Grenzfälle nach einem festgelegten Eskalationsmodell an einen Menschen. Eine Blackbox erfüllt keines dieser drei Kriterien.

Wer besitzt die Workflows und Zugänge nach Projektende?

Der Kunde. Wir bauen in der eigenen n8n-, Microsoft- oder UiPath-Umgebung des Kunden, nicht in unserer eigenen, damit die Zusammenarbeit jederzeit ohne Abhängigkeit von uns endet.

Was passiert, wenn ein KI-Agent bei einer Entscheidung unsicher ist?

Er trifft sie nicht selbst. Das vorab definierte Eskalationsmodell übergibt unklare oder grenzwertige Fälle mit Begründung an eine zuständige Person, statt eine Vermutung als Ergebnis auszugeben.

Kostet mehr Transparenz automatisch mehr Geld?

Etwas mehr Aufwand beim Aufbau, ja, weil Dokumentation und Eskalationsmodell mitgeplant werden. Über die Projektlaufzeit ist das günstiger als eine Blackbox, die bei jedem Personalwechsel oder jeder Prüfung neu erklärt werden muss.