Warum gute AI Governance mehr braucht als menschliche Kontrolle bei KI-gestützten Entscheidungen (‘Human in the Loop’)
Künstliche Intelligenz trägt heute in vielen Organisationen längst zu Entscheidungen bei, die früher rein menschlich getroffen wurden. Sie bewertet Bewerbungen, priorisiert Kundenanfragen, schlägt Budgetverteilungen vor oder identifiziert Risiken in Verträgen. In manchen Fällen unterstützt sie eine Entscheidung nur, in anderen läuft ein Prozess bereits weitgehend automatisiert. Und fast überall hört man denselben beruhigenden Satz dazu: “Keine Sorge, es gibt ja einen ‘Human in the Loop’ (HITL).”
Nur: Reicht es, irgendwo einen Menschen “dazwischenzuschalten” – oder braucht Verantwortung mehr als das?
Wenn menschliche Kontrolle nur formal bleibt
In der Praxis sieht man immer wieder dieselbe Konstruktion: Ein KI-System liefert einen Vorschlag, ein Mensch klickt “genehmigen”, fertig. Formal ist damit ein ‘Mensch im Loop’. Faktisch trifft er keine Entscheidung – er bestätigt eine, die längst vorbereitet wurde. Bei zehn Vorschlägen am Tag mag das noch auffallen. Bei hundert oder tausend nicht mehr. Der Mensch ist damit zwar formal eingebunden, übt aber nicht unbedingt wirksame Kontrolle aus.
Das ist kein Randproblem. Es ist der Unterschied zwischen einer Organisation, die tatsächlich Verantwortung trägt, und einer, die nur so tut.
Aber genau hier liegt auch das Missverständnis: ‘Human in the Loop’ ist ein wichtiger Baustein guter Governance – nicht ihr Ersatz. Wer glaubt, mit einem Freigabeklick sei das Thema erledigt, hat ein Kontrollkästchen abgehakt, aber kein Governance-System gebaut.
Governance ist mehr als ein Mensch im Prozess
Wirksame Verantwortung entsteht nicht dadurch, dass irgendwo ein Mensch mitliest. Sie entsteht durch Struktur: klar definierte Rollen, eindeutige Entscheidungsbefugnisse, Eskalationswege für Zweifelsfälle und eine Instanz, die das System laufend beobachtet und nachjustiert. Fehlt diese Struktur, hilft auch der aufmerksamste Mitarbeiter wenig – er trifft Einzelfallentscheidungen ohne Rahmen, ohne Konsistenz, ohne Rückkopplung ins System.
Dabei reicht es auch nicht, irgendeine Person mit der Prüfung zu betrauen. Wirksame menschliche Kontrolle setzt voraus, dass diese Person tatsächlich in der Lage ist, ein KI-gestütztes Ergebnis zu hinterfragen. Das braucht mehrere Dinge gleichzeitig: die Entscheidungsbefugnis, einen Vorschlag auch tatsächlich abzulehnen; die passende fachliche Kompetenz, um das Ergebnis inhaltlich zu beurteilen; ausreichend KI-Verständnis, um typische Stärken, Grenzen und Fehlerquellen des eingesetzten Systems einschätzen zu können; genug Kontext und Information, um das Ergebnis bewerten zu können; und ein Gespür dafür, wann ein Fall genauer geprüft oder eskaliert werden muss.
Kurz gesagt: Ein Mensch kann keine wirksame Kontrolle ausüben, wenn er nicht weiß, worauf er achten soll.
Deshalb gehört eine gute Schulung und KI-Kompetenz zum Kern guter AI Governance – nicht zu ihren optionalen Randaktivitäten. Das bedeutet nicht, dass Menschen jedes Detail jedes KI-Ergebnisses manuell nachprüfen sollen; das würde den eigentlichen Nutzen von KI wieder zunichtemachen. Es bedeutet, dass Mitarbeitende verstehen müssen, wann eine routinemäßige Durchsicht ausreicht, wo bekannte Schwächen des Systems besondere Aufmerksamkeit verlangen, welche Ergebnisse eine zusätzliche Prüfung verdienen – und wann ein Fall weitergegeben werden sollte. Das Ziel ist informierte, risikobasierte Aufsicht, nicht lückenlose Nachkontrolle.
Und: Verantwortung lässt sich nicht an “die KI” delegieren, und sie lässt sich auch nicht diffus über eine Organisation verteilen, bis am Ende niemand mehr konkret zuständig ist. Genau das passiert aber oft schleichend, wenn KI-Nutzung wächst, ohne dass die Governance mitwächst.
Nicht jede KI-Nutzung braucht dasselbe Maß an Kontrolle
Ein zentraler Punkt, der in der Human-in-the-Loop-Debatte oft untergeht: Der nötige Kontrollaufwand muss zum Risiko passen. Nicht jede KI-gestützte Aufgabe braucht ein Gremium oder eine Managemententscheidung.
Bei alltäglichen, risikoarmen Anwendungen – etwa einer KI, die Textentwürfe formuliert, Meeting-Notizen zusammenfasst oder interne Rechercheergebnisse aufbereitet – reicht in der Regel eine angemessene fachliche Durchsicht durch die zuständige Person. Bei folgenreicheren Anwendungen wird mehr gebraucht: eine klar benannte Letztverantwortung, dokumentierte Entscheidungswege und im Zweifel eine Eskalation an ein Gremium aus verschiedenen Experten und Verantwortlichen. Das betrifft etwa Personalentscheidungen, Kreditvergaben, sicherheitsrelevante Prozesse – aber ebenso Situationen wie automatisierte Kundenkommunikation mit rechtlicher Wirkung oder KI-gestützte Priorisierung, die spürbaren Einfluss auf einzelne Personen hat.
Governance, die überall dieselbe Kontrolltiefe verlangt, überfordert das Tagesgeschäft und schwächt gleichzeitig genau dort, wo es wirklich zählt, die Aufmerksamkeit.
Was ein tragfähiges System braucht
Aus meiner Arbeit mit Organisationen, die KI-Governance nicht nur dokumentieren, sondern tatsächlich leben, haben sich drei Elemente als entscheidend herauskristallisiert – als Teile eines größeren Systems, nicht als universelle Checkliste:
Klare Letztverantwortung. Es muss eindeutig definiert sein, wer bei folgenreichen KI-gestützten Prozessen verantwortlich zeichnet – nicht “das System”, sondern eine benannte Person oder Funktion mit der tatsächlichen Befugnis, einen Vorschlag abzulehnen.
Eine Instanz für die schwierigen Fälle. Für besonders folgenreiche oder mehrdeutige Fälle braucht es einen definierten Eskalationsweg in ein Gremium mit mehreren Experten und Verantwortlichen – nicht für jede Entscheidung, aber für die, bei denen eine einzelne Person zu leicht überfordert oder zu leicht überstimmt wäre.
Laufende Überprüfung und Weiterentwicklung. Governance ist kein einmaliger Beschluss. Es braucht eine Stelle, die Erfahrungen, Vorfälle und wiederkehrende Probleme sammelt, Muster oder Veränderungen im Einsatz erkennt und die Governance entsprechend nachschärft.
Ein Praxisbeispiel
Nehmen wir eine Organisation, in der KI-Werkzeuge in mehreren Bereichen eingesetzt werden, aber niemand klar sagen kann, wer bei welcher Art von Ergebnis eigentlich zuständig ist – und wo eine einfache fachliche Prüfung genügt und wo mehr Formalität nötig wird. Die Lösung ist selten technisch, sondern organisatorisch: eine abgestufte Verantwortungskette, die sich am Risiko orientiert. Für alltägliche Anwendungen reicht eine definierte fachliche Freigabe durch entsprechend geschulte Personen. Für folgenreichere Anwendungen greift ein klarer Eskalationsweg mit benannter Letztverantwortung und einem Gremium für Grundsatzfragen. Erst durch diese Abstufung – und durch Mitarbeitende, die wissen, worauf sie achten müssen – wird aus einer vagen Absichtserklärung ein System, das im Alltag praktikabel bleibt und im Ernstfall trotzdem trägt.
Die Grundregel dahinter lässt sich einfach zusammenfassen: Je folgenreicher die KI-gestützte Entscheidung, desto klarer müssen Verantwortung, Kontrolle und Eskalation geregelt sein.
Die eigentliche Frage
Wenn KI zunehmend zu organisationalen Entscheidungen beiträgt, lautet die eigentliche Frage nicht “Ist ein Mensch in die Entscheidung eingebunden?”, sondern: Bleibt menschliche Verantwortung real – oder wird sie nur noch formal behauptet?
‘Human in the Loop’ ist ein wichtiger Teil der Antwort. Der größere Rahmen, der diesen Teil erst wirksam macht, ist gute KI Governance: Rollen, Entscheidungsrechte, Eskalationswege, gute Schulungen, geeignete Kompetenz – und ein System, das mitdenkt, wenn sich Einsatz und Risiko verändern.
Ich begleite Organisationen dabei, KI-Governance-Strukturen zu entwickeln, die nicht nur auf dem Papier, sondern im Unternehmensalltag funktionieren.