Definition
Human-in-the-loop bei KI-Agenten einfach erklärt
Human-in-the-loop (HITL) beschreibt einen agentischen Prozess, in dem ein Mensch an festgelegten Stellen aktiv beteiligt bleibt. Ein Agent kann beispielsweise selbstständig Daten analysieren, einen Plan erstellen und eine Aktion vorbereiten. Bevor eine sensible Funktion tatsächlich ausgeführt wird, pausiert der Workflow und fordert eine Entscheidung an.
Microsoft beschreibt dieses Muster in seinem Agent Framework ausdrücklich als Anforderungs-/Antwortmechanismus: Ein genehmigungspflichtiger Tool-Aufruf stoppt den Ablauf, bis eine menschliche Antwort vorliegt. OpenAI empfiehlt bei Agenten-Workflows ebenfalls Tool Approvals für MCP-Tools und andere kritische Aktionen. OWASP nennt explizite Freigaben für hochwirksame oder irreversible Aktionen als zentrale Schutzmaßnahme.
HITL bedeutet deshalb nicht, dass Menschen jeden Schritt manuell durchführen. Der Nutzen entsteht gerade dadurch, dass Automatisierung und Autonomie dort erhalten bleiben, wo das Risiko niedrig ist, während risikoreiche Schritte gezielt kontrolliert werden.
Warum es wichtig ist
Warum KI-Agenten menschliche Kontrollpunkte brauchen können
Agenten unterscheiden sich von reinen Chatbots dadurch, dass sie nicht nur Text erzeugen, sondern Werkzeuge aufrufen und reale Zustände verändern können. Eine falsche Antwort ist problematisch. Eine falsche Aktion kann zusätzlich E-Mails versenden, Tickets schließen, Daten verändern, Dateien teilen, Code deployen oder Zahlungen auslösen.
Mit wachsender Autonomie steigt daher die Bedeutung klarer Kontrollgrenzen. NIST fordert im AI Risk Management Framework, Prozesse für menschliche Aufsicht zu definieren, zu bewerten und zu dokumentieren. OWASP warnt vor „Excessive Autonomy“ und davor, hochwirksame Aktionen ohne angemessene menschliche Kontrolle ausführen zu lassen.
Human-in-the-loop sollte nicht überall eingebaut werden. Es sollte dort greifen, wo ein Fehler oder Missbrauch eine relevante Auswirkung hätte – und wo menschliche Kontextkenntnis tatsächlich zusätzlichen Wert liefert.
Kontrollpunkte
Wo kann ein Mensch in einen Agenten-Workflow eingreifen?
Vor einer Aktion
Der Agent schlägt eine konkrete Handlung vor und wartet auf Freigabe. Das ist der klassische Approval-Gate-Fall, etwa vor Versand, Löschung, Zahlung oder Deployment.
Bei Unsicherheit
Fehlen Informationen oder liegt der Fall außerhalb definierter Regeln, eskaliert der Agent an einen Menschen statt zu raten.
Bei Regelverletzung
Ein deterministischer Guardrail erkennt einen ungewöhnlichen Parameter, einen sensiblen Datentyp oder einen riskanten Zielzustand und verlangt zusätzliche Prüfung.
Nach der Ausführung
Ein Mensch kontrolliert Ergebnisse vor Veröffentlichung, Versand oder endgültiger Übernahme. Das eignet sich für Entwürfe, Berichte und andere reversible Ergebnisse.
Wichtig ist die Unterscheidung zwischen Freigabe vor Ausführung und Review nach Ausführung. Bei irreversiblen oder extern sichtbaren Aktionen ist ein nachträglicher Review häufig zu spät. Bei ungefährlichen Entwürfen kann er dagegen effizienter sein.
Risikobasiert entscheiden
Welche Agenten-Aktionen sollten menschliche Freigaben brauchen?
Diese Matrix ist eine redaktionelle Orientierung, kein universelles Risikomodell. Ein scheinbar harmloser Lesezugriff kann bei besonders sensiblen Gesundheits-, Personal- oder Finanzdaten höher eingestuft werden als eine reversible Schreibaktion in einem Testsystem.
Approval UX
Eine Freigabe ist nur gut, wenn der Mensch versteht, was er genehmigt
Ein Button mit „Approve“ reicht nicht. Wer eine Aktion freigeben soll, braucht genug Kontext, um eine informierte Entscheidung zu treffen. Eine gute Approval-Anfrage zeigt deshalb mindestens:
- Was der Agent tun will: konkrete Aktion statt abstrakter Beschreibung.
- Worauf sich die Aktion bezieht: Zielsystem, Datei, Empfänger, Datensatz oder Ressource.
- Mit welchen Parametern: beispielsweise Betrag, Empfänger, Dateiname, Repository oder Berechtigungsänderung.
- Welche Auswirkung entsteht: reversibel, extern sichtbar, finanziell, löschend oder sicherheitsrelevant.
- Unter welcher Identität gehandelt wird: eigener Agent, Dienstkonto oder im Namen eines Nutzers.
Microsoft beschreibt für Copilot Studio Approval Requests, die anzeigen, was der Agent beabsichtigt. Nutzer können die Aktion genehmigen, für die Sitzung freigeben oder ablehnen. Genau diese Granularität ist wichtig: Eine Einmal-Freigabe ist etwas anderes als eine dauerhafte Ausnahme.
Anti-Pattern
Approval Fatigue: Zu viele Freigaben können die Kontrolle schlechter machen
Wenn ein System bei jedem ungefährlichen Schritt um Erlaubnis bittet, entsteht schnell ein gegenteiliger Effekt: Menschen klicken reflexartig auf „Genehmigen“. Die Freigabe existiert formal, liefert aber kaum noch echte Kontrolle. Dieses Problem lässt sich als Approval Fatigue beschreiben.
Deshalb sollte ein gutes HITL-Design risikobasiert sein. Wiederkehrende, niedrigriskante Aktionen können über enge Regeln automatisiert werden, während seltene oder hochwirksame Aktionen bewusst Aufmerksamkeit verlangen. Auch Session-Freigaben können sinnvoll sein, wenn ihr Umfang klar begrenzt ist.
„Agent möchte Tool verwenden – genehmigen?“
Besser„Agent möchte Ticket #4821 schließen und den Kunden per E-Mail informieren. Nachricht und Statusänderung anzeigen → Genehmigen / Ändern / Ablehnen.“
Defense in depth
Human-in-the-loop ersetzt keine Berechtigungen
Ein Approval Gate ist keine Alternative zu Least Privilege, RBAC, Scopes oder technischer Autorisierung. Ein Agent sollte selbst nach menschlicher Freigabe nur Aktionen ausführen können, für die seine Identität tatsächlich berechtigt ist. Andernfalls wird der Freigabedialog zu einer kosmetischen Kontrolle vor einem übermächtigen Konto.
Die stärkere Architektur lautet deshalb: kleinstmögliche Berechtigung + klarer Approval Gate + Audit Trail. Bei besonders sensiblen Aktionen kann zusätzlich eine zweite Rolle oder ein unabhängiger Freigabepfad sinnvoll sein.
Das ist auch für AgentenCode relevant: „Human Approval vorhanden“ wäre ein anderes Merkmal als „RBAC vorhanden“, „Audit Logs vorhanden“ oder „SSO vorhanden“. Diese Kontrollmechanismen sollten nicht zu einem einzigen unscharfen Enterprise-Label zusammengezogen werden.
Sicherheitsgrenze
Warum Human Approval bei Prompt Injection besonders wichtig sein kann
Ein Agent kann manipulierte Anweisungen aus E-Mails, Webseiten, Dateien oder anderen untrusted Quellen aufnehmen. Wenn solche Inhalte direkt Tool-Aufrufe beeinflussen, entsteht aus einem Textproblem eine reale Handlung. OpenAI empfiehlt deshalb Tool Approvals und strukturierte Übergaben, damit untrusted Daten kritische Schritte nicht unkontrolliert steuern.
Eine menschliche Freigabe kann hier eine zusätzliche Barriere bilden – aber nur dann, wenn der Freigabedialog die tatsächliche Aktion transparent macht. Wenn der Mensch lediglich eine unverständliche Tool-ID oder einen technischen Payload sieht, kann er die Manipulation kaum erkennen.
Human-in-the-loop sollte deshalb mit Input-Validierung, Least Privilege, strukturierten Outputs und klaren Tool-Grenzen kombiniert werden. Mehr dazu steht in der AgentenCode-Referenz zur KI-Agenten-Sicherheit.
Nicht nur Approve / Deny
HITL bedeutet auch Eskalation und Rückfragen
Nicht jede menschliche Beteiligung ist eine Freigabe. Agenten können auch dann an Menschen zurückgeben, wenn Informationen fehlen, Regeln widersprüchlich sind oder die Aufgabe außerhalb ihres zulässigen Bereichs liegt. Microsoft unterscheidet in Agent-Orchestrierungen zwischen Tool Approval und interaktiven Handoff-Szenarien, in denen ein Agent zusätzliche Informationen vom Nutzer benötigt.
Für Unternehmen ist diese Form oft mindestens so wichtig wie klassische Approval Gates. Ein guter Agent sollte nicht nur wissen, wie er eine Aufgabe erledigt, sondern auch erkennen, wann er nicht selbst entscheiden sollte.
Ein Service-Agent erkennt eine Vertragskündigung mit unklarer Frist. Statt eigenständig zu bestätigen oder abzulehnen, sammelt er relevante Vertragsdaten, erklärt die Unsicherheit und übergibt den Fall an einen Mitarbeiter.
Nachvollziehbarkeit
Freigaben müssen Teil des Audit Trails sein
Wenn eine Organisation menschliche Freigaben als Kontrollmechanismus einsetzt, sollte später nachvollziehbar sein, wer was wann genehmigt oder abgelehnt hat. Dazu gehören idealerweise Agentenidentität, verantwortlicher Nutzer, geplante Aktion, Parameter, Entscheidung, Zeitpunkt und tatsächliches Ergebnis.
NIST empfiehlt, menschliche Aufsicht nicht nur zu definieren, sondern auch zu dokumentieren und zu messen. Dazu können Statistiken über Overrides, Eskalationen, Fehler und „Go/No-Go“-Entscheidungen gehören. Das macht Human Oversight zu einem Governance-Prozess und nicht nur zu einem UI-Element.
Praxisbeispiele
Wie aktuelle Agenten-Plattformen Human Approval umsetzen
Tool Calls gezielt freigeben
Microsoft dokumentiert für Copilot Studio einen per Tool und Agent konfigurierbaren Approval-Mechanismus. Der Agent pausiert vor der Ausführung, zeigt die geplante Aktion und wartet auf Genehmigung oder Ablehnung. Der Rollout wurde für September 2026 angekündigt.
Änderung bei AgentenCode →Workflow pausiert bis zur Antwort
Im Agent Framework können Tools als genehmigungspflichtig markiert werden. Ein Agentenlauf liefert dann eine Approval-Anfrage zurück; der Aufrufer muss die menschliche Entscheidung in einem weiteren Run an den Agenten übergeben.
Offizielle Dokumentation ↗Tool Approvals als Sicherheitsbarriere
OpenAI empfiehlt bei agentischen Workflows, Tool Approvals für MCP-Operationen aktiv zu lassen und mit Guardrails, strukturierten Übergaben und Evals zu kombinieren.
Offizielle Sicherheitsdokumentation ↗Unternehmens-Checkliste
Human-in-the-loop vor dem produktiven Einsatz prüfen
- Risikoreiche Aktionen identifizieren.
Welche Schritte sind irreversibel, extern sichtbar, finanziell, rechtlich oder sicherheitskritisch?
- Freigabepunkt vor die Auswirkung setzen.
Eine Freigabe muss vor der kritischen Aktion greifen, nicht erst danach.
- Aktion verständlich darstellen.
Der Mensch muss Ziel, Parameter und mögliche Auswirkungen erkennen können.
- Approve, Deny und Edit vorsehen.
Ein sinnvoller Kontrollpunkt bietet mehr als nur ein reflexartiges Ja.
- Least Privilege separat umsetzen.
Freigaben dürfen übermäßige Agentenrechte nicht legitimieren.
- Eskalationsregeln definieren.
Unklare, unbekannte oder außerhalb der Policy liegende Fälle müssen zuverlässig an Menschen gehen.
- Approval Fatigue vermeiden.
Niedrigriskante Standardaktionen nicht unnötig mit manuellen Bestätigungen überladen.
- Sitzungsfreigaben begrenzen.
„Für diese Sitzung erlauben“ braucht klare Tool-, Ziel- und Zeitgrenzen.
- Entscheidungen protokollieren.
Wer, wann, was und mit welchem Ergebnis genehmigt hat, sollte auditierbar sein.
- Manipulationsfälle testen.
Prompt Injection, ungewöhnliche Parameter und missbräuchliche Tool-Aufrufe müssen in Tests enthalten sein.
- Fallback definieren.
Was passiert, wenn niemand antwortet, ein Approval-System ausfällt oder eine Freigabe zu lange offen bleibt?
- Regeln regelmäßig überprüfen.
Neue Tools, Workflows oder Datenklassen können neue Kontrollpunkte erforderlich machen.
AgentenCode
Wie AgentenCode menschliche Kontrolle einordnet
AgentenCode versucht nicht, aus allgemeinen Sicherheitsversprechen automatisch einen konkreten Human-Approval-Mechanismus abzuleiten. Ein Produkt kann beispielsweise RBAC, Audit Logs und Enterprise SSO besitzen, ohne dass daraus folgt, dass einzelne Tool Calls durch einen Menschen freigegeben werden können.
Für die Weiterentwicklung der strukturierten AgentenPassports ist deshalb wichtig, Autonomie, Berechtigungen, Approval Gates und Auditierbarkeit getrennt zu modellieren. Nur dokumentierte Produktmerkmale erhalten einen bestätigten Status. Fehlt eine belastbare Primärquelle, bleibt die Eigenschaft unknown.
Anforderungen abgleichen
Governance- und Security-Kriterien direkt vergleichen.
AgentenFit gleicht dokumentierte Merkmale wie RBAC, Audit Logs, SSO, Datenresidenz, Verschlüsselung und Hosting mit deinen Anforderungen ab.
Primärquellen
Grundlage dieser Human-in-the-loop-Referenz
- Microsoft Agent Framework – Human-in-the-loop workflows ↗Workflow-Pausen, Request/Response und Approval bei Agent-Orchestrierungen.
- Microsoft Agent Framework – Tool approvals ↗Genehmigungspflichtige Function Tools und Approval-Handling.
- Microsoft Copilot Studio – Human approval for tool calls ↗Per-Tool-/Per-Agent-Freigaben und Approval Requests in produktnahen Kanälen.
- OpenAI – Safety in building agents ↗Tool Approvals, Prompt Injection, Guardrails, strukturierte Übergaben und Evals.
- OWASP – AI Agent Security Cheat Sheet ↗Human-in-the-loop für High-Impact-Aktionen, Action Previews und Audit Trails.
- NIST AI RMF – Core ↗Prozesse für menschliche Aufsicht sollen definiert, bewertet und dokumentiert werden.
Letzte redaktionelle Prüfung: 2. Oktober 2026. Produktfunktionen und Rollouts können sich kurzfristig ändern; bei konkreten Agenten gelten zusätzlich die Primärquellen im jeweiligen AgentenProfil.
FAQ
Häufige Fragen zu Human-in-the-loop bei KI-Agenten
Was bedeutet Human-in-the-loop bei KI-Agenten?
Human-in-the-loop bedeutet, dass ein Agent an definierten Stellen auf menschliche Eingabe, Freigabe oder Prüfung wartet, bevor der Prozess fortgesetzt wird.
Wann sollte ein KI-Agent eine menschliche Freigabe verlangen?
Vor allem vor irreversiblen, finanziellen, rechtlich relevanten, öffentlich sichtbaren oder sicherheitskritischen Aktionen sowie bei fehlenden Informationen oder außerhalb definierter Grenzen.
Ist Human-in-the-loop dasselbe wie manuelle Arbeit?
Nein. Der Agent kann große Teile des Prozesses selbständig erledigen. Der Mensch wird gezielt an risikoreichen oder unklaren Entscheidungspunkten eingebunden.
Kann Human-in-the-loop schlechte Berechtigungen ausgleichen?
Nein. Approval Gates ergänzen Least Privilege, RBAC und technische Autorisierung, ersetzen diese Kontrollen aber nicht.
Was ist Approval Fatigue?
Approval Fatigue entsteht, wenn Menschen zu viele Freigaben erhalten und deshalb reflexartig bestätigen. Freigaben sollten deshalb risikobasiert und informationsreich gestaltet werden.
Welche Informationen sollte eine Freigabe zeigen?
Mindestens geplante Aktion, betroffenes Ziel, wesentliche Parameter, mögliche Auswirkungen und die Identität beziehungsweise Rolle, unter der der Agent handelt.
Brauchen Lesezugriffe immer eine Freigabe?
Nicht zwingend. Ob eine Freigabe sinnvoll ist, hängt von Sensibilität, Datenumfang und Risiko ab. Hochsensible Lesezugriffe können ebenfalls genehmigungspflichtig sein.
Wie dokumentiert AgentenCode Human-in-the-loop?
AgentenCode trennt konkrete dokumentierte Freigabemechanismen von allgemeinen Aussagen zu Autonomie und Sicherheit. Nicht belegte Merkmale bleiben unknown.