Viele Unternehmen setzen bei KI-Agenten auf „Human in the Loop“, doch die menschliche Freigabe bietet keine automatische echte Kontrolle. Wie die Computerwoche aktuell berichtet, warnen Sicherheitsexperten davor, dass Verantwortliche KI-Entscheidungen zwar teilweise beobachten oder beanstanden können, aber nicht wirksam stoppen oder verändern können. Damit wird für Unternehmen eine zentrale Frage wichtiger: Wer kann einen KI-Agenten im Ernstfall tatsächlich stoppen? Im Mittelpunkt der aktuellen Debatte steht Doug Shepherd, Head of Offensive Security bei Cloudflare. Er kritisiert, dass manche Human-in-the-Loop-Konzepte zwar menschliche Kontrollpunkte vorsehen, den zuständigen Personen aber die notwendigen Eingriffsrechte fehlen. Shepherd bezeichnet solche Konstruktionen als „performative governance“. Echte Kontrolle setze aus seiner Sicht voraus, dass die verantwortliche Person über den notwendigen fachlichen Kontext verfüge und eine KI-Entscheidung tatsächlich überstimmen könne.
Die Diskussion gewinnt mit dem zunehmenden Einsatz von KI-Agenten an Relevanz. Im Gegensatz zu klassischer generativer KI können agentische Systeme nicht nur Informationen erzeugen, sondern auch Aufgaben planen, Systeme ansprechen und Aktionen innerhalb von Geschäftsprozessen auslösen. Damit müssen Unternehmen genauer festlegen, welche Entscheidungen ein Agent autonom treffen darf, wann ein Mensch eingreifen muss und ob dieser Eingriff technisch tatsächlich durchgesetzt wird. Ein weiteres Problem ist die sogenannte Kontrollmüdigkeit. Wenn Mitarbeitende eine große Zahl überwiegend korrekter KI-Entscheidungen prüfen müssen, kann aus bewusster Kontrolle mit der Zeit routinemäßiges Bestätigen werden. Die aktuelle Debatte zeigt somit einen Zielkonflikt: Einerseits sollen KI-Agenten möglichst selbstständig arbeiten, andererseits aber bei kritischen Entscheidungen kontrollierbar bleiben.
| Thema | Kernaussage | Bedeutung für Unternehmen |
|---|---|---|
| Warum steht „Human in the Loop“ in der Kritik? | Menschliche Beteiligung ist nicht automatisch echte Kontrolle. Entscheidend ist, ob die verantwortliche Person genügend Kontext hat und eine KI-Entscheidung tatsächlich stoppen oder überstimmen kann. | Freigaben und Kontrollpunkte müssen technisch wirksam sein. Unternehmen sollten prüfen, ob ein menschliches Veto eine Aktion tatsächlich verhindert und ob Eingriffe nachvollziehbar dokumentiert werden. |
| Warum können zu viele Freigaben riskant werden? | Mehr Kontrolle bedeutet nicht automatisch mehr Sicherheit. Müssen Mitarbeitende sehr viele korrekte Entscheidungen bestätigen, kann aus bewusster Prüfung Routine werden. Die Aufmerksamkeit sinkt und Kontrollmüdigkeit kann entstehen. | Nicht jede Aktion sollte eine manuelle Freigabe benötigen. Entscheidend ist, Kontrollpunkte gezielt dort einzubauen, wo Fehlentscheidungen relevante Folgen haben können. |
| Was ändert sich durch KI-Agenten? | KI-Agenten können nicht nur Antworten liefern, sondern selbst Aktionen innerhalb von Prozessen ausführen. Dadurch werden Berechtigungen, Systemgrenzen und Eskalationsmechanismen wichtiger. | Unternehmen müssen früh festlegen, welche Aktionen ein Agent autonom durchführen darf, welche eine Freigabe benötigen und welche grundsätzlich ausgeschlossen sind. |
| Was spricht für Human in the Loop? | Bei finanziell, rechtlich, sicherheitsrelevant oder organisatorisch kritischen Entscheidungen kann menschliche Kontrolle Risiken reduzieren. Menschen können außerdem Sonderfälle bearbeiten und Feedback für die Verbesserung des Systems liefern. | Human in the Loop eignet sich besonders für kritische Entscheidungen und Ausnahmen. Routineaufgaben können dagegen stärker automatisiert werden. |
| Wo liegen die Grenzen? | Zu viel Kontrolle reduziert den Nutzen der Automatisierung, zu viel Autonomie erhöht potenziell die Auswirkungen von Fehlern. Ein einfacher „Ablehnen“-Button reicht deshalb nicht aus. | Notwendig sind klare Zugriffsrechte, Eskalationswege, Protokollierung und technische Möglichkeiten, Aktionen tatsächlich zu stoppen oder zu verändern. |
| Was ist die zentrale Frage? | Entscheidend ist nicht, wie viele Freigaben ein Prozess enthält, sondern ob Menschen an den richtigen Stellen wirksam eingreifen können. | Unternehmen brauchen eine klare Balance zwischen Autonomie, Risiko und menschlicher Kontrolle. |
Was bedeutet die Debatte für den Mittelstand?
Für mittelständische Unternehmen ist jetzt der richtige Zeitpunkt, Human in the Loop konkreter zu definieren. Viele Unternehmen stehen noch am Anfang beim produktiven Einsatz von KI-Agenten. Genau deshalb lassen sich Kontrollmechanismen jetzt in die Prozesse integrieren, statt sie später nachzurüsten. Drei Fragen sollten IT-Verantwortliche bei jedem agentischen Prozess stellen:
- Kann ein Mensch eine kritische Aktion wirklich stoppen?
- Kann er eine Entscheidung korrigieren und nicht nur ablehnen?
- Ist anschließend nachvollziehbar, was Agent und Mensch entschieden haben?
Wer diese Fragen nicht eindeutig beantworten kann, sollte prüfen, ob die vorhandene menschliche Kontrolle tatsächlich ihren Zweck erfüllt.
Aus unserer Sicht
Die aktuelle Diskussion um „Human in the Loop“ macht deutlich, dass die Beteiligung eines Menschen am Prozess noch kein Sicherheitskonzept ist. Unternehmen sollten deshalb nicht möglichst viele Freigaben einbauen. Zunächst muss festgelegt werden, welche Entscheidungen ein KI-Agent selbstständig treffen darf und ab welchem Risiko der Mensch übernehmen muss. Das ist für uns auch eine zentrale Frage beim Einsatz von KI im Mittelstand. Strategie, Prozesse, Daten und technische Möglichkeiten müssen zusammenpassen.
Genau hier setzt unser KI-Sparring an: Gemeinsam klären wir, welche Entscheidungen automatisiert werden können, wo menschliche Eingriffe notwendig bleiben und wie sich diese technisch wirksam absichern lassen. Denn: Es kommt nicht darauf an, ob ein Mensch irgendwo im Prozess sitzt. Entscheidend ist, ob er im richtigen Moment wirklich eingreifen kann.
