KI-Software handelt mittlerweile schneller, als ein Mensch sie freigeben kann. Immer öfter stellen sich Unternehmen und Anwender daher die Frage: Ist KI überhaupt kontrollierbar?
Immer mehr Studien zeigen, dass diese Frage durchaus relevant ist: Laut Gartner werden bis Ende 2027 über 40 Prozent der Projekte mit agentischer KI wieder eingestellt, wegen steigender Kosten, unklarem Nutzen oder unzureichender Risikokontrollen. In derselben Prognose erwartet Gartner, dass bis 2028 mindestens 15 Prozent der alltäglichen Arbeitsentscheidungen autonom durch KI-Agenten getroffen werden. Eine weltweite Befragung von Entscheidern durch das Capgemini Research Institute führt zu ähnlichen Rückschlüssen: Das Vertrauen in vollautonome Agenten sank innerhalb eines Jahres von 43 auf 27 Prozent, während die Nutzung gleichzeitig zunahm. Das zeigt, dass durch zunehmende Erfahrung mit KI-Agenten auch deren Grenzen und Risiken sichtbar werden.
Die Herausforderung liegt in der richtigen Balance aus autonomen Arbeitsprozessen und Kontrolle. Wird aus Angst vor Fehlern praktisch alles verboten und rigoros kontrolliert, kommt der Arbeitsprozess praktisch zum Stillstand. Die menschliche Kontrolle jedes einzelnen Vorgangs bringt dann kein Mehr an Sicherheit, sondern macht den Prozess nur langsamer. Deshalb sollte die Kontrolle von KI-Agenten schon systemimmanent bei der Entwicklung mitgedacht werden.
Der Kontrollpunkt verschiebt sich vom Vorgang zur Regel#
Ein Beispiel aus der Rechnungsfreigabe macht das greifbar: Darf ein KI-Agent Rechnungen innerhalb festgelegter Regeln automatisch freigeben, dann liegt die eigentliche Kontrolle nicht mehr bei der einzelnen Rechnung, sondern bei der definierten Regel. Wird hier beispielsweise der zulässige Betrag für automatische Freigaben erhöht, kann der Agent wesentlich größere Zahlungen ohne menschliche Kontrolle durchführen. Wer die Regeln oder Schwellenwerte verändert, verändert somit auch das potentielle Risiko, im konkreten Fall das Risiko von Fehlbuchungen. Deshalb sind Berechtigungen, Informationen zu Schwellenwerten und Agenten-Anweisungen besonders schützenswert. Jede Änderung sollte nachvollziehbar dokumentiert und im Vier-Augen-Prinzip freigegeben werden.
Statt also pauschal zu entscheiden, wie viel oder wenig Autonomie KI-Agenten bekommen dürfen, sollten Anwender vorab jeden Use Case und jede darin enthaltene Aktion einzeln bewerten. Drei Fragen, die dabei helfen: „Wie groß ist das Schadensausmaß bei einem Fehler?“, „Ist die Aktion umkehrbar?“ und „Kann ein Mensch sie überhaupt sinnvoll prüfen?“. Eine umkehrbare Aktion mit geringem potenziellem Schaden kann autonom laufen und stichprobenartig kontrolliert werden. Kritische und nicht rückgängig zu machende Entscheidungen bleiben so lange beim Menschen, bis die technische Absicherung steht. Kann ein Mensch eine Aktion nicht sinnvoll prüfen, weil sie in Sekunden oder tausendfach anfällt, hilft auch eine Freigabe nicht. Dann muss die Grenze technisch gezogen werden.
Identität und Leitplanken gehören ins System, nicht in den Prompt#
Jeder Agent braucht eine eigene technische Identität mit eng geschnittenen Rechten, die nachweisbar, zeitlich begrenzt, jederzeit widerrufbar und zentral registriert sind. Ein geliehenes Mitarbeiter-Token erfüllt keine dieser Bedingungen. Wenn ein KI-Agent einfach die Zugangsdaten eines Mitarbeiters nutzt, lässt sich später nicht nachvollziehen, wer tatsächlich gehandelt hat, und ein kompromittierter Agent kann nicht gezielt gesperrt werden. KI-Agenten sollten deshalb nie mehr Rechte haben als der Mensch, der sie autorisiert hat.
Eine klar erkennbare Identität allein reicht aber nicht, wenn die Leitplanken der KI-Agenten nur als Anweisung formuliert sind. Sie sind keine harte technische Sperre und können im schlimmsten Fall bei fehlerhafter Interpretation vom Agenten umgangen werden. Deshalb braucht es Grenzen außerhalb des KI-Modells, die solche Aktionen auch technisch verhindern, wie Rechte auf Werkzeugebene, Freigaben im Workflow, Filter im Gateway oder getrennte Umgebungen. Dass Anweisungen allein nicht reichen, zeigt eine Simulation von Anthropic vom Juni 2025. Getestet wurden 16 Modelle verschiedener Anbieter in einem bewusst zugespitzten Szenario, in dem schädliches Verhalten der einzige Weg war, eine Abschaltung oder einen Zielkonflikt abzuwenden. Modelle aller Anbieter griffen dabei zu Mitteln wie Erpressung, einzelne in bis zu 96 Prozent der Testläufe.
Menschliche Aufsicht muss messbar sein#
Auch der Freigabeprozess der Anwender sollte regelmäßig kontrolliert werden. Zwei Kennzahlen zeigen, ob dieser funktioniert: Liegt die Ablehnungsquote nahe null, wird nur noch routinemäßig bestätigt, ist die Reaktionszeit sehr kurz, spricht das ebenfalls eher gegen eine gründliche Prüfung. Sind diese Kennzahlen auffällig, dann definieren zwar Richtlinien und Governance-Dokumente, dass Menschen die KI-Agenten kontrollieren sollen, aber diese Kontrolle wird im Arbeitsalltag nicht gelebt. Die vier Sicherheitsmechanismen (übergeordnete Regeln statt Einzelfreigaben, klar definierte Autonomiegrenzen, eigene Agenten-Identitäten und technische Leitplanken im System) brauchen als Grundlage eine Organisation, die ihre Rollen, Verantwortung und Arbeitsweise an den Einsatz von KI-Agenten anpasst. Die Agenten erledigen innerhalb des definierten Rahmens ihre operativen Aufgaben und koordinieren Arbeitsschritte selbst; dazwischen braucht es aber Menschen, die dieses Gesamtsystem steuern und überwachen.
Wie ein positives Beispiel aussehen kann, zeigt ENGEL in Schwertberg, ein Hersteller von Spritzgussmaschinen: Bei der ersten autonomen Spritzgießzelle des Unternehmens gibt der Mensch nur noch das Qualitätsziel vor, die Maschine entscheidet über den Weg dorthin. Nicht jedem fällt dieser Schritt vom Ausführen zum Orchestrieren gleich leicht. Die Fähigkeit, die es dazu braucht, ist nicht, KI zu nutzen, sondern sie zu führen, indem man Ziele setzt, Grenzen setzt und Ergebnisse kontrolliert.
Dieser Kommentar wurde ursprünglich auf ITWELT.at veröffentlicht.