Scovai Scovai
AI & Operations 2026-11-15 1 min read

Den Agenten mitten in der Aufgabe zu prüfen ist schneller, als ihn zu Ende laufen zu lassen

DSL

Dr. Sarah Liu

Den Agenten mitten in der Aufgabe zu prüfen ist schneller, als ihn zu Ende laufen zu lassen

Verlegen Sie den Prüfpunkt vom Ende eines Agentenlaufs in dessen Mitte, und die Bearbeitungszeit sinkt um 13,54 %. Das ist das zentrale Ergebnis einer Within-Subjects-Studie mit 48 Teilnehmenden, die KI-Agenten überwachten und deren Fehler behoben, veröffentlicht auf der CHI-Konferenz 2026 (Zhou et al., CHI 2026). Einundachtzig Prozent dieser Teilnehmenden zogen das Design mit Zwischenbestätigung der Voreinstellung „Bestätigung am Ende" vor, die heute in den meisten Agenten-Werkzeugen ausgeliefert wird.

Lesen Sie das noch einmal, denn die Richtung ist die Überraschung. Mehr Aufsicht kostete keinen Durchsatz. Sie erkaufte Durchsatz. Prüfungen des Agenten mitten in der Aufgabe waren schneller, als ihn sauber bis zum Ende laufen zu lassen.

Das kehrt das Argument um, das die meisten Operations-Verantwortlichen seit zwei Jahren vorbringen. Die Standardposition im Mittelstand lautet, Human-in-the-Loop sei eine Sicherheitsausgabe, die aus dem Geschwindigkeitsbudget bezahlt wird: real, vertretbar, aber eine Steuer. Diese Studie sagt, dass die Prämisse an ihren eigenen Maßstäben scheitert, und dass die Lage eines Prüfpunkts relativ zu den irreversiblen Schritten eines Agenten eine Scheduling-Variable ist, die Sie derzeit nicht gesetzt haben.

Bestätigung am Ende ist eine Designentscheidung, die Sie nicht getroffen haben

Die meisten Agentenprodukte führen eine mehrstufige Aufgabe autonom aus und legen am Ende eine einzige Freigabe vor. Die Autoren sagen klar, warum das brüchig ist: Während der Ausführung hat die nutzende Person kaum Kontrolle, also kaskadiert ein einzelner Fehler und erzwingt einen vollständigen Neustart. Sie erfahren nicht in Schritt drei, dass der Agent die Eingabe falsch gelesen hat. Sie erfahren es in Schritt elf, nachdem acht weitere Schritte darauf aufgebaut wurden.

Die naheliegende Korrektur — jeden Schritt bestätigen — beseitigt die Kaskade, erzeugt aber, in der Formulierung des Papers, einen mühsamen Overhead. Also hat sich das Feld in einem falschen Entweder-oder eingerichtet: alles mit Freigaben versehen und kriechen, oder gar nichts und wetten. Keines von beidem ist eine Entscheidung. Beides sind Voreinstellungen.

Der Beitrag des Papers besteht darin, die Sache nicht länger als Sicherheitsregler zu behandeln, sondern als Minimum-Time-Scheduling-Problem zu modellieren. Die Frage lautet nicht mehr, wie viel Aufsicht — darüber streitet jedes Operations-Team in der Budgetrunde. Sie lautet wo, und diese Frage stellt kaum jemand laut.

Was 48 Teilnehmende tatsächlich taten

Die Untersuchung lief in zwei Stufen. Eine formative Studie mit acht Teilnehmenden förderte ein wiederkehrendes Verhaltensmuster zutage, wie Menschen Agentenfehler überwachen, von den Autoren Confirmation–Diagnosis–Correction–Redo (CDCR) genannt. Wenn jemand ein Problem bemerkt, bestätigt er, dass etwas nicht stimmt, diagnostiziert, was schiefging, korrigiert und wiederholt die betroffene Arbeit. Jede dieser vier Phasen kostet messbare Zeit, und die Redo-Phase skaliert damit, wie viele Schritte seit Einführung des Fehlers ausgeführt wurden.

Dieses Muster ist der Motor des Ergebnisses. Weil CDCR-Kosten vorhersagbar sind, lassen sie sich pro Schritt im Voraus schätzen. Das Team baute ein entscheidungstheoretisches Modell, das Bestätigungspunkte anhand der erwarteten Interaktionszeit setzt und Schritt für Schritt entscheidet, ob der Agent autonom weiterarbeitet oder einen Menschen zur Aufsicht auffordert.

Dann testeten sie es: 48 Teilnehmende, Within-Subjects, Überwachung von Agenten und Fehlerbehebung während der laufenden Ausführung. Die Bearbeitungszeit sank um 13,54 % gegenüber Bestätigung am Ende. Die Präferenz lag bei 81 % dafür (Zhou et al., CHI 2026).

Zwei Einschränkungen gehören in jede operative Lesart. Die Stichprobe umfasst 48 Personen in einer kontrollierten HCI-Studie, keinen Produktivbetrieb über eine ganze Funktion — behandeln Sie die 13,54 % als Richtungsangabe für Ihre eigenen Abläufe, nicht als Prognose. Und beide Zahlen sind spezifisch gegen Bestätigung am Ende gemessen. Das Paper behauptet nicht, Zwischenbestätigung schlage die schrittweise Bestätigung bei der Zeit. Es behauptet, die ans Ende geladene Voreinstellung verliert gegen eine geplante.

Der Einwand: Stanford fand, dass Freigaben 31 Punkte kosten

Es gibt ein viel zitiertes Ergebnis, das all dem zu widersprechen scheint. Das Stanford Digital Economy Lab untersuchte 51 produktive Unternehmens-KI-Deployments und berichtete eine mediane Lücke von 31 Prozentpunkten, zurückführbar auf eine einzige Architekturentscheidung: Deployments, in denen die KI die Aufgabe durchgängig ohne menschliche Freigabe besaß, lieferten einen medianen Produktivitätsgewinn von 71 %, während jene mit menschlicher Freigabe für jede relevante Aktion bei 40 % stehen blieben — bei Firmen, die dieselben Frontier-Modelle einsetzten (Stanford Digital Economy Lab, 2026).

Was gilt nun? Kosten Freigaben 31 Punkte oder bringen sie 13,54 %?

Beides, und die Ergebnisse kollidieren nicht. Stanford maß die Existenz der Freigabe — Genehmigung bei jeder relevanten Aktion gegen gar keine. Die CHI-Studie maß die Platzierung — dasselbe Aufsichtsbudget, anders geplant. Stanfords Verliererbedingung ist Bestätigung bei jedem Schritt. Die Verliererbedingung der CHI-Studie ist Bestätigung am Ende. Das sind zwei verschiedene Fehlermodi, und die Zusammenführung ist die eigentliche Handlungsanweisung: Setzen Sie nicht bei jeder relevanten Aktion eine Freigabe, und setzen Sie sie nicht nur ans Ende.

Der Mittelstandsreflex besteht darin, die Stanford-Zahl zu lesen, Freigaben zu entfernen und das Autoritätsdelegation zu nennen. Damit landen Sie genau in der Bedingung, die das CHI-Paper um 13,54 % geschlagen hat.

Die späte Prüfung ist auch die schwache Prüfung

Platzierung wirkt auf mehr als die Uhr. Sie wirkt darauf, ob die Prüfung überhaupt etwas findet.

Eine separate Within-Subjects-Studie von 2026 ließ 36 Teilnehmende agentische Programmieraufgaben bearbeiten, bei denen der Agent entweder korrekte Ausgabe, einen sichtbaren Fehlschlag oder einen stillen Defekt produzierte. Über die Aufgaben mit stillem Defekt lag die Gesamt-Trefferquote bei 39 % — sie schwankte jedoch je nach Aufgabe um fast das Zehnfache, von 8 % bis 75 %, während das selbstberichtete Vertrauen der Prüfenden mit 3,83 bis 4,50 von 5 nahezu flach blieb (Dissanayake et al., 2026). Von den gescheiterten Aufgaben mit stillem Defekt und gültiger Vertrauensangabe erhielten 79 % eine 4 oder 5 von 5 — von derselben Person, die den Defekt übersehen hatte.

Ihre Prüfenden können den Unterschied nicht spüren zwischen einer Aufgabe, bei der sie drei von vier Defekten finden, und einer, bei der sie einen von zwölf finden. Vertrauen folgt nicht der Treffsicherheit. Das heißt: Eine einzelne Freigabe am Laufende ist nicht nur eine späte Prüfung — sie ist eine ungemessene, und wer sie unterschreibt, hat kein inneres Signal dafür, in welcher Aufgabenklasse er sich befindet.

Die Platzierung von Prüfpunkten liefert etwas, das Vertrauen nicht liefert: Ein in Schritt drei gefundener Defekt ist Schritt drei zuzurechnen. Ein am Ende gefundener Defekt ist dem gesamten Lauf zuzurechnen.

Neustartkosten sind die Variable, die Sie nicht bepreist haben

Wenn Platzierung der Hebel ist, dann ist die Eingangsgröße dafür die Neustartkosten pro Schritt — wie viel bereits ausgeführte Arbeit ein an dieser Stelle spät entdeckter Fehler Sie zu wiederholen zwingen würde.

Zwei Zahlen helfen beim Kalibrieren, wo sich diese Kosten konzentrieren. Der Agent Delegability Index, der alle 18.796 Aufgabenbeschreibungen von O*NET bewertet und nach Beschäftigung in 146 Ländern gewichtet, fand, dass 35,2 % der weltweiten Aufgabenzeit zumindest teilweise an Agenten delegierbar ist, aber nur 2,5 % vollständig übergeben werden kann, konzentriert auf wenige Verwaltungsgruppen. Sein operativ nützlichstes Ergebnis: Vollständige Delegation erreicht ihren Höchstwert bei Aufgaben, die einen Menschen rund zwölf Minuten kosten (Espinal Maya & Jiménez Londoño, 2026). Kurze Aufgaben sind billig zu wiederholen; lange mehrstufige Läufe sind dort, wo sich Neustartkosten anhäufen — und genau die bestätigt Ihr Werkzeug erst am Ende.

Die Kosten stehen bereits in Ihren Büchern, nur nicht unter einer Position, die Sie erkennen. In einer Befragung von 2.500 Wissensarbeitenden in fünf Ländern gaben 42 % an, mehr Zeit mit dem Prüfen von KI-Ausgaben zu verbringen, als sie durch deren Nutzung sparen, und 52 % korrigieren regelmäßig KI-generierte Arbeit von Kolleginnen und Kollegen (Adaptavist, 2026). Das ist Nacharbeit, die stromabwärts der Erzeugung landet — die CHI-Schleife CDCR, ungeplant und ungezählt, auf den Stunden anderer Leute.

Bestätigung zu planen ist der Weg, diese Kosten dorthin vorzuziehen, wo sie am billigsten und sichtbarsten sind.

Was Sie dieses Quartal mit Prüfungen mitten in der Aufgabe tun sollten

Das ist kein Werkzeugkauf. Es ist eine Kartierungsübung, und sie passt in ein Quartal.

  1. Nehmen Sie Ihre drei volumenstärksten Agenten-Workflows und schreiben Sie deren Schritte der Reihe nach auf. Notieren Sie für jeden Schritt eine Zahl: wie viele Minuten bereits ausgeführter Arbeit ein Mensch wiederholen müsste, wenn ein dort eingeführter Fehler erst am Laufende entdeckt würde.
  2. Markieren Sie jeden irreversiblen Schritt — alles, was versendet, zahlt, veröffentlicht, in ein führendes System schreibt oder Dritte berührt. Neustartkosten an einem irreversiblen Schritt sind keine Minuten; sie sind ein Wiederherstellungsprozess. Das sind Ihre Pflicht-Prüfpunkte, unabhängig davon, was das Zeitmodell sagt.
  3. Setzen Sie Prüfpunkte unmittelbar vor die Schritte, an denen die kumulierten Neustartkosten springen — nicht in gleichmäßigen Abständen und nicht ans Ende. Prüfen in festen Intervallen ist genau die Bedingung mühsamen Overheads, die die Forschung bereits verworfen hat.
  4. Instrumentieren Sie die Prüfung, nicht nur den Lauf. Protokollieren Sie die Trefferquote je Prüfpunkt und je Aufgabentyp. Da das Vertrauen der Prüfenden flach bleibt, während die Trefferquote zwischen 8 % und 75 % schwankt, wird Ihnen niemand einen schwachen Prüfpunkt melden — Sie müssen ihn messen.
  5. Wiederholen Sie die Kartierung, wenn Sie Autonomie ausweiten. Einem Agenten einen neuen Aktionstyp zu gewähren verändert das Neustartprofil jedes nachgelagerten Schritts.

Die Governance-Architektur entscheidet, wie viel davon Sie konfigurieren können. Die Digital Employees von Scovai arbeiten standardmäßig nach dem Prinzip Bestätigung zuerst — jede nach außen sichtbare Aktion wird zu einer Freigabeanfrage mit dem Namen eines Menschen, eine unbeantwortete Anfrage verfällt, statt stillschweigend durchzugehen, und Autonomie wird je Aktionsart aus einem protokollierten Freigaberegister verdient statt pauschal pro Arbeitsplatz gewährt (Scovai Digital Employees). Das beantwortet die Existenzfrage. Das CHI-Ergebnis sagt, dass die Platzierungsfrage sie überlebt: Wenn Sie wissen, welche Aktionsarten ein digitaler Mitarbeiter unbeaufsichtigt ausführen darf, müssen Sie immer noch entscheiden, wo innerhalb eines mehrstufigen Laufs die verbleibenden Prüfungen liegen.

Die Entscheidung, die vor Ihnen liegt

Die meisten Operations-Teams führen eine Budgetdebatte — wie viele Prüfstunden können wir uns für Agentenaufsicht leisten, und lassen sich Prüfungen mitten in der Aufgabe überhaupt rechtfertigen. Die Forschung sagt, diese Debatte wird auf der falschen Achse geführt. Ihre Kosten für Agentenaufsicht stehen bereits fest; offen ist nur, wo sie anfallen — und die Platzierung ist 13,54 % der Bearbeitungszeit wert, noch vor jeder Änderung an Personal, Modell oder Anbieter.

Die konkrete Entscheidung für dieses Quartal ist also schmal genug, um sie an einem Dienstag zu treffen: Nehmen Sie Ihren volumenstärksten Agenten-Workflow, finden Sie darin den ersten irreversiblen Schritt und prüfen Sie, ob irgendetwas vor diesem Schritt bestätigt. Wenn nichts das tut, betreiben Sie kein schlankes Aufsichtsmodell. Sie betreiben ein teures, dessen Rechnung bis zum Neustart gestundet ist.

Ready to go beyond the CV?

Scovai's AI-powered Talent Passport reveals what resumes can't: personality, potential, and true job fit.