Scovai Scovai
AI & Operations 2026-07-22 1 min read

Vertrauen folgt der Überprüfbarkeit, nicht der Fähigkeit: Der neue Agent Confidence Index von MIT und Microsoft über 101 Aufgaben benennt die Deployment-Reihenfolge, die Mid-Market-Operations verkehrt herum haben

DSL

Dr. Sarah Liu

Vertrauen folgt der Überprüfbarkeit, nicht der Fähigkeit: Der neue Agent Confidence Index von MIT und Microsoft über 101 Aufgaben benennt die Deployment-Reihenfolge, die Mid-Market-Operations verkehrt herum haben

Der Abstand zwischen der Agenten-Aufgabe mit dem höchsten und der mit dem niedrigsten Vertrauen beträgt 46 Punkte auf einer 100-Punkte-Skala — und keiner dieser Punkte ist eine Fähigkeitslücke. In einem am 29. Juni 2026 veröffentlichten Bericht stuften MIT Technology Review Insights und Microsoft 101 Aufgaben der agentischen KI auf einer Vertrauensskala von 0 bis 100 ein und befragten dazu 300 Technologie-Führungskräfte, Teamleiter und Mitarbeitende aus 12 Branchen (MIT Technology Review Insights, 2026). Die automatisierte Berichterstellung erzielte 83,5 und Boilerplate-Code 82,5. Disaster-Recovery-Tests landeten bei 43 und Service-Mesh-Konfiguration bei 37,5. Die Modelle, die alle vier ausführen, sind dieselben. Was sie trennt, ist die Frage, ob ein Mensch das Ergebnis sauber überprüfen kann — und diese eine Variable sollte Ihre Deployment-Reihenfolge für KI-Agenten in diesem Quartal neu ordnen.

Die meisten Mid-Market-Rollouts werden nach einem Proxy sequenziert, der intuitiv wirkt und stillschweigend falsch ist: zuerst die Aufgaben ausrollen, die am einfachsten aussehen. Der Index sagt, dass die operative Frage nicht lautet „wie schwer ist diese Aufgabe für das Modell", sondern „wie leicht kann ich das Ergebnis überprüfen". Das sind unterschiedliche Achsen, und ihre Verwechslung ist der Weg, auf dem ein gut finanzierter Rollout nach sechs Monaten mit Agenten stecken bleibt, denen niemand genug vertraut, um sie ohne Aufsicht laufen zu lassen.

Was der Index tatsächlich gemessen hat

Die Methodik ist wichtig, weil sie den Befund nutzbar statt anekdotisch macht. Das Forschungsteam befragte im Februar und März 2026 300 Praktiker — Führungskräfte, Teamleiter und einzelne Mitarbeitende — aus 12 Branchen und aus Organisationen, die von Startups bis zu Firmen mit über 10 Milliarden Dollar Jahresumsatz reichen (Microsoft Cloud Blog, 2026). Anschließend bewerteten sie 101 einzelne Aufgaben in KI-, Daten- und Cloud-Workflows auf einer Vertrauensskala von 0 bis 100, wobei der Wert widerspiegelt, wie sehr Praktiker bereit sind, die Aufgabe einem Agenten zu überlassen.

Das Ergebnis ist keine Rangliste dessen, was KI kann. Es ist eine Rangliste dessen, was Betreiber ohne Aufsicht laufen zu lassen bereit sind — und die Lücke zwischen diesen beiden Dingen ist die ganze Geschichte. Die Formulierung des Berichts selbst ist unmissverständlich: Die Aufgaben, die sich oben gruppieren, teilen Überprüfbarkeit und vollständigen Geschäftskontext, während den Aufgaben am unteren Ende beides fehlt (MIT Technology Review Insights, 2026). Die Fähigkeit war nicht die entscheidende Variable. Die Überprüfbarkeit war es.

Warum „am einfachsten" der falsche Sortierschlüssel ist

Betrachten wir die beiden obersten Aufgaben. Automatisierte Berichterstellung (83,5) und Boilerplate-Code (82,5) sind nicht vertrauenswürdig, weil sie trivial sind — aus unordentlichen Eingaben einen kohärenten Bericht zu erzeugen, ist ein wirklich schweres Modellierungsproblem. Sie sind vertrauenswürdig, weil jede von ihnen ein einziges, objektives Bewertungssignal hat. Boilerplate-Code besteht entweder seine Tests und wird gemergt oder nicht; eine Merge-Rate ist eine saubere Pass/Fail-Metrik, die ein Mensch in Sekunden prüfen kann. Ein erzeugter Bericht lässt sich mit den zusammengefassten Quelldaten abgleichen. Die Arbeit des Agenten ist lesbar.

Nun zum unteren Ende. Service-Mesh-Konfiguration (37,5) und Disaster-Recovery-Tests (43) sind nicht deshalb wenig vertrauenswürdig, weil das Modell darin schlechter wäre (Forbes, 2026). Sie sind wenig vertrauenswürdig, weil es keine saubere, einzelne Metrik gibt, die einem sagt, dass der Agent es richtig gemacht hat — und weil das Richtigmachen von Geschäftskontext abhängt, den der Agent nicht hat: welche Dienste tragend sind, wie hoch Ihre tatsächliche Failover-Toleranz ist, welche Abhängigkeiten undokumentiertes Erfahrungswissen sind. Sie können das Ergebnis nicht überprüfen, ohne genau den Kontext zu rekonstruieren, der die Aufgabe überhaupt erst schwer gemacht hat. Der Fehlermodus ist keine falsche Antwort; er ist eine Antwort, die Sie nicht mit Zuversicht bewerten können, bis in der Produktion etwas kaputtgeht.

Das ist der Sortierschlüssel, den die meisten Rollouts vertauschen. „Einfach aussehende" Aufgaben und „überprüfbare" Aufgaben fühlen sich wie dieselbe Menge an. Sind sie aber nicht. Eine Aufgabe kann einfach zu beschreiben und nahezu unmöglich zu prüfen sein — zwei widersprüchliche Datenquellen abgleichen, eine Richtlinien-Ausnahme entwerfen, ein mehrdeutiges Ticket triagieren. Der Index sagt: Hören Sie auf, nach scheinbarer Einfachheit zu sortieren, und beginnen Sie, nach einer schwierigeren, ehrlicheren Frage zu sortieren: Wenn dieser Agent fertig ist, was ist die eine Metrik, die mir sagt, dass er erfolgreich war — und kann ich sie lesen, ohne die Arbeit erneut zu machen?

Die Metrik ist das eigentliche Tor Ihrer Deployment-Reihenfolge

Formulieren Sie die Deployment-Sequenzierung als ein Problem der Metrik-Verfügbarkeit um, und der gesamte Rollout-Plan ordnet sich von selbst neu.

Für jeden Kandidaten-Workflow ist der Zugangstest nicht „kann ein Agent das", sondern „gibt es hierfür ein sauberes Erfolgssignal". Wo eine Merge-Rate, eine bestehende oder fehlschlagende Abgleichsprüfung, ein Schemavalidierungsergebnis oder ein Abgleich mit Ground-Truth-Daten existiert, kann ein Agent mit leichter Aufsicht laufen und Sie erhalten echten Hebel. Wo der einzige Weg, zu wissen, dass der Agent richtig lag, darin besteht, dass ein erfahrener Mensch die Situation von Anfang bis Ende neu prüft, haben Sie die Aufgabe nicht automatisiert — Sie haben einen Entwurfsschritt vor die Arbeit gesetzt, die trotzdem erledigt werden muss. Das kann sich dennoch lohnen. Aber es ist ein grundlegend anderes ökonomisches Angebot, und so zu tun, als wären die beiden Kategorien eine, ist der Weg, auf dem „Produktivitätsgewinne" in Prüf-Overhead verdampfen.

Der praktische Schritt ist, Ihre Ziel-Workflows zu auditieren und sie genau entlang dieser Linie zu teilen. Aufgaben mit einer nativen, objektiven Erfolgsmetrik kommen an die Spitze der Deployment-Warteschlange. Aufgaben, deren Korrektheit von Geschäftskontext abhängt, den der Agent nicht hat — und den ein Mensch daher vollständig neu ableiten muss, um sie zu prüfen — kommen ans Ende, hinter bewusste Arbeit, um diese Überprüfbarkeit erst zu bauen: eine Metrik instrumentieren, den fehlenden Kontext kodieren oder die Aufgabe so weit eingrenzen, bis eine saubere Prüfung existiert. Überprüfbarkeit ist keine feste Eigenschaft einer Aufgabe. Sie ist etwas, das Sie konstruieren können — und sie zu konstruieren ist die eigentliche Voraussetzung, um Agenten zu skalieren, nicht die Modellwahl.

Rechenschaft ist die Einschränkung, die sich hinter den Zahlen verbirgt

Der Index bringt auch zutage, warum diese Ordnung nicht optional ist. Auf die Frage, was sie am agentischen Deployment beunruhigt, nannten die Befragten Rechenschaft (48 %) und Halluzinationen (47 %) als ihre größten Sorgen — und 59 % sagten, sie planten bereits eine dauerhafte menschliche Aufsicht, statt sie als vorübergehende Anlernphase zu behandeln (MIT Technology Review Insights, 2026). Lesen Sie diese drei Zahlen zusammen, und der Mechanismus ist klar. Rechenschaft verlangt, dass, wenn etwas schiefgeht, ein benannter Mensch es hätte abfangen können. Das ist nur möglich, wenn das Ergebnis überprüfbar ist. Bei einer nicht überprüfbaren Aufgabe ist „menschliche Aufsicht" Theater — eine Person, die eine Arbeit abzeichnet, die sie in Wirklichkeit nicht prüfen kann.

Die 59 %, die eine dauerhafte Aufsicht planen, räumen also — ob sie es so formuliert haben oder nicht — ein, dass ein großer Teil ihrer Agenten-Workflows am unteren, wenig überprüfbaren Ende des Index liegt. Die ehrliche Antwort darauf sind nicht mehr Freigabeschritte. Sie besteht darin, das Deployment so zu sequenzieren, dass die Aufsicht dort landet, wo sie echte Arbeit leisten kann — bei hochwertigen Aufgaben mit einer sauberen Metrik — und die Aufgaben zurückzuhalten, bei denen die Aufsicht unfälschbar ist, bis Sie die Metrik gebaut haben, die Rechenschaft mit Bedeutung füllt. Die 48 %, die Rechenschaft nennen, verlangen keine langsamere KI. Sie verlangen eine überprüfbare KI, und die Deployment-Reihenfolge ist der Ort, an dem das entschieden wird.

Was zuerst ausrollen — und was zurückhalten

Nichts davon spricht dafür, langsamer zu werden. Es spricht dafür, die Sortierung zu ändern. Hier ist die konkrete Neuordnung, die der Index stützt:

Zuerst ausrollen: Aufgaben mit einer nativen objektiven Erfolgsmetrik — Berichterstellung, bewertet gegen die Quelldaten, Code, bewertet per Test-and-Merge, Datenvalidierung, bewertet per Schemakonformität, Matching und Abgleich, bewertet gegen die Ground Truth. Das sind Ihre 80-plus-Aufgaben. Sie bauen Vertrauen auf, weil jeder Erfolg sichtbar ist.

Instrumentieren, dann ausrollen: Aufgaben, die wertvoll, aber derzeit nicht überprüfbar sind, bei denen Sie eine Metrik hinzufügen können — eine Abnahmeprüfung definieren, einen Ground-Truth-Vergleich protokollieren, den Umfang eingrenzen, bis ein Pass/Fail-Signal existiert. Hier liegt der Großteil des ungenutzten ROI, und er ist unsichtbar, wenn Sie nur nach scheinbarer Schwierigkeit sortieren.

Zurückhalten: kontextreiche, urteilsdichte Aufgaben, bei denen Überprüfung bedeutet, die Situation vollständig zu rekonstruieren — die Disaster-Recovery- und Service-Mesh-Entsprechungen in Ihrem eigenen Betrieb. Sie zuerst zu automatisieren ist der Weg, auf dem Sie die Rechenschafts-Angst erzeugen, die der Index gemessen hat.

Es gibt eine Targeting-Ebene, die die meisten Rollouts überspringen. Die Toleranz für unüberprüftes Agenten-Ergebnis ist in einem Team nicht einheitlich — manche Rollen und Verhaltensprofile werden einem Agenten mit geringer Überprüfbarkeit zu sehr vertrauen, und andere werden sich weigern, selbst einen Agenten mit hoher Überprüfbarkeit zu nutzen. Agenten nach Aufgaben-Überprüfbarkeit zu sequenzieren, ist die strukturelle Hälfte des Problems; abzugleichen, wer welche Agentenklasse betreibt, mit der Art, wie Menschen tatsächlich Vertrauen kalibrieren, ist die menschliche Hälfte. Beides richtig zu machen, ist der Unterschied zwischen einem Rollout, der Aufgabe für Aufgabe Vertrauen aufbaut, und einem, der seine ersten beiden Quartale damit verbringt, eine Aufsicht zu fabrizieren, die er nicht aufrechterhalten kann.

Die eine Sortierung dieses Quartals

Sie müssen nichts neu architektonieren, um hierauf zu reagieren. Sie müssen eine Liste neu sortieren. Nehmen Sie Ihre aktuelle Deployment-Reihenfolge für Agenten — die Abfolge von Workflows, die Sie in diesem Quartal automatisieren wollen — und ordnen Sie sie nach einer einzigen Frage an jede Aufgabe neu: Wenn der Agent fertig ist, gibt es eine einzige saubere Metrik, die mir sagt, dass er erfolgreich war, und kann ich sie lesen, ohne die Arbeit erneut zu machen? Jedes „Ja" steigt auf. Jedes „Nein" fällt ab, hinter explizite Arbeit, um diese Metrik zu bauen. Beobachten Sie dann, welche Agenten dauerhaftes Vertrauen erwerben und welche stillschweigend eine Warteschlange nicht prüfbarer Ergebnisse anhäufen, die irgendwann niemand mehr durchsieht.

Der MIT–Microsoft-Index hat es für Sie über 101 Aufgaben beziffert: Die Grenze dessen, was Sie sicher delegieren können, wird nicht von der Fähigkeit gezogen. Sie wird von der Überprüfbarkeit gezogen. Sortieren Sie Ihren Rollout nach der falschen Achse, und Sie automatisieren zuerst die Aufgaben, die Sie nicht prüfen können — und Sie entdecken die Kosten erst, wenn eine davon in der Produktion falsch ist. Sortieren Sie nach der richtigen, und jeder Agent, den Sie ausrollen, macht den nächsten leichter vertrauenswürdig.

Ready to go beyond the CV?

Scovai's AI-powered Talent Passport reveals what resumes can't: personality, potential, and true job fit.