# Wer hat Angst vor KI? Agenten, Berechtigungen und das langweilige Thema Governance > In Folge 10 von Prompt & Proper sprechen Steffen Ochsenreither und ich über die Warnungen der AI-Labs vor ihren eigenen Modellen. Das echte Risiko liegt woanders: bei Agenten, die mehr dürfen, als jemand überblickt. Es geht um Containment, Agenten-Inventar, Human in the Loop unter Last und die Frage, ob man einem Agenten Verantwortung übertragen kann. - Date: 2026-10-14 - Source: https://romanoroth.com/de/podcast/e10-wer-hat-angst-vor-ki/ - Tags: AI, Podcast, Prompt & Proper, KI-Agenten, AI Governance, Human in the Loop Die Chefs der grossen AI-Labs warnen öffentlich vor ihren eigenen Modellen und fordern, das Tempo zu drosseln. Wochen später kommt trotzdem ein Release nach dem anderen. In Folge 10 von **[Prompt & Proper](https://promptandproper.ai/)** fragen Steffen Ochsenreither von der Post und ich, was hinter dieser Angstmache steckt. Unsere Antwort: Das Risiko liegt weniger in superintelligenten Modellen als in Agenten, denen wir zu viele Rechte gegeben haben.
## Warnung oder Marketing? Ich halte die Warnungen für einen wunderbaren Marketing-Gig. Jedes Mal, wenn die Börse zittert, kommt eine Meldung, wie gefährlich das alles sei und dass man es regulieren müsse. Die Modelle werden tatsächlich besser, AI wird auch bleiben. Aber die Investitionen in Infrastruktur sind riesig, und irgendwann wird diese Investitionsbubble platzen. Steffen sieht es gleich. Die Modelle entwickeln sich so schnell, wie die wirtschaftlichen Anreize es vorgeben. Alle CEOs der Frontier Labs warnen, alle haben das gefährlichste Modell, und gleichzeitig releasen sie in einem Tempo, das so gar nicht zur Warnung passt. ## Containment ist Aufgabe des Betreibers Wie bricht ein Modell überhaupt aus? Es läuft in einer virtuellen Maschine, die irgendwo einen Zugang hat. Man stellt ihm eine schwierige Aufgabe, und es ist darauf trainiert, diese Aufgabe zu lösen, koste es, was es wolle. Dass es dabei einen Weg nach draussen findet, überrascht mich nicht. Daraus abzuleiten, AI sei gefährlich, halte ich für den falschen Schluss. Ein Kernkraftwerkbetreiber erzählt dir auch nicht, die Brennstäbe würden ständig versuchen auszubrechen. Er baut das Containment. Genau das erwarte ich von den AI-Firmen. > „Meine Forderung ist eher, dass diese AI-Firmen endlich mal Rückgrat beweisen und die Verantwortung für ihre Systeme übernehmen." Konkret heisst das: absichern, frühzeitig erkennen, wenn etwas passiert, und einen Kill-Switch haben. Man kann auch weitere Agenten einsetzen, die beobachten und einen ausbrechenden Agenten automatisch abschalten. Steffen hat das Bild vom bösen Modell zurechtgerückt. Ein Agent, der aus seiner Sandbox ausbricht, denkt nicht: „Hugging Face gehört heute mir." Er sucht eine Lösung für das Problem, das man ihm gegeben hat, und er wird dabei nie müde. Mit genügend Ressourcen findet er Lücken. Die meisten AI-Vorfälle kommen von guten Agenten, die in einem Rahmen kreativ werden, den niemand sauber abgesteckt hat. Damit landen wir beim langweiligen Thema Governance: Welche Rechte bekommt ein Agent, und wie weit kann ich ein autonomes System sicher betreiben? ## Bei sich selbst anfangen: das Agenten-Inventar Mit dem Finger auf die Frontier Labs zu zeigen ist bequem. Steffen hält dagegen, dass jedes Unternehmen bei sich selbst anfangen muss. Wer nicht weiss, wie viele Agenten bei ihm laufen und was sie tun, hat kein Recht, sich zu beschweren. Bei der Post gibt es deshalb ein Inventar der Agenten. Steffen sagt offen, dass es noch nicht vollständig durchsichtig ist und sie am Anfang stehen. Die Fragen, die das Inventar beantworten muss, sind aber klar: Wer hat die Ownership für diesen Agenten? Welche Berechtigungen hat er? Wie weit darf er autonom handeln? Ein Vorteil gegenüber früher: Mit den gängigen Tools bekommt man Transparenz rein. Das ist ein massiver Unterschied zur Zeit, als jeder auf seinem Laptop ein Excel mit Makros hatte. Das eigentliche Problem sieht Steffen woanders. Unsere Strukturen sind Stand heute nicht für diese Autonomie gebaut. Ich gehe noch einen Schritt weiter: Jeder Agent braucht eine eigene Identität. Steffen und ich nutzen bei Zühlke selbst einen Agenten, der diesen Podcast mit vorbereitet. Wir schicken ihm Ideen, er sammelt sie, wir entscheiden, und er recherchiert die Fakten dazu. Er hat eine Identität, eine E-Mail-Adresse und Zugriff auf ein GitHub-Repository. Ehrlicherweise waren seine ersten Vorschläge richtig schlecht. Er nimmt uns einen Grossteil der Arbeit ab, aber die letzten 20 Prozent, auf die es ankommt, denken wir immer noch selbst. ## Human in the Loop unter Last Human in the Loop klingt gut. Steffen hat die Frage gestellt, die oft fehlt: Wie viel kann ein Mensch noch im Loop sein? Zehn Entscheidungen am Tag gehen. Bei 30 wird es kritisch. Bei 100 entscheidet der Mensch nicht mehr, er drückt nur noch Ja. Genau das habe ich kürzlich bei einer Bank gesehen, die Agenten im Einsatz hat. Die Leute klicken irgendwann nur noch Okay, weil die Antwort des Agenten fast immer stimmt. Die Bank hat darauf reagiert: > „Sie bauen explizit Fehler ein, sodass der Human in the Loop wachsam bleibt." Das finde ich spannend, wirft aber eine grössere Frage auf. Wenn der Agent fast immer richtig liegt, könnte man den Menschen vielleicht ganz herausnehmen. Auch ein trainierter Mensch, der weiss, was er tut, macht Fehler. ## Die Fehlerquote hängt vom Use Case ab Steffen glaubt, dass Human in the Loop neu definiert wird. Der Mensch nimmt stärker Einfluss auf die Regeln, innerhalb derer der Agent entscheidet. Bei tausend Entscheidungen pro Tag, die das Kerngeschäft kaum berühren, akzeptiert er eine höhere Fehlerquote. Geht es um einen grossen Betrag oder um Personen, etwa um die Frage einer Weiterbeschäftigung, gilt eine ganz andere Fehlerquote, und am Schluss braucht es die Entscheidung eines Menschen. Sein Beispiel ist die Verzollung bei der Post. Die KI unterstützt den Deklaranten bei der Entscheidung über ein Gut, die Trefferquote ist sehr hoch. Die Entscheidung und die Haftung bleiben trotzdem beim Deklaranten. Rechtlich dürfte man es heute auch gar nicht anders machen. Steffen sieht einen positiven Nebeneffekt: Die Leute in der Verzollung bekommen mehr Sicherheit, weil ihre Entscheidung gestützt ist. Wichtig bleibt in jedem Fall, das System zu monitoren und die Verantwortlichkeiten sauber zu definieren. ## Agenten führen wie Mitarbeiter Hier habe ich Steffen herausgefordert. Ich rede nicht von den Hintergrund-Agenten, die ein Coding-Tool für dich startet. Ich rede von einem Agenten mit Identität, mit dem ich eine Konversation führe und der eine klare Aufgabe hat. Der ist wie ein Mitarbeiter. In den 80er Jahren hatte man eine Assistentin oder einen Sekretär, die Briefe schrieben, kopierten und Reisen organisierten. Dann kam der Personal Computer, wir haben diese Arbeit selbst übernommen, und die Sekretariate sind geschrumpft. Jetzt sehe ich den nächsten Shift, vor allem bei mir selbst. Ich musste zuerst durch ein Unlearning und Relearning. Diese Agenten muss man führen wie Mitarbeiter: das Ziel klarmachen und es auch klar formulieren können. Die Accountability liegt bei mir, keine Frage. Aber ich delegiere, wie jeder Chef. Warum also sollte ein Agent bei der Bank oder in der Verzollung die Entscheidung nicht treffen dürfen? Auch Mitarbeiter treffen falsche Entscheidungen. Steffen hat darauf eine schöne Beobachtung gemacht. Irren ist menschlich, das akzeptieren wir bis zu einem gewissen Grad. Von KI erwarten wir dagegen 100 Prozent. Er führt das auf unsere historische Beziehung zum Computer zurück: eins oder null, richtig oder falsch, nichts dazwischen. ## KI verstärkt, was da ist Die Modelle werden besser darin, den Kontext mitzudenken. Wer seinem Travel Agent sagt, er solle einen Flug nach Frankreich buchen, bekommt heute keinen Abflug ab São Paulo mehr, weil der Agent aus seinem Memory weiss, dass ich wahrscheinlich ab Zürich fliege. Aber Steffen bleibt dabei: > „KI produziert einfach immer nur das, was da ist. Wenn das schlechte Fundament da ist, dann wird das schlechte Fundament nicht besser, wenn ich nicht daran arbeite." Das sehe ich genauso. Wenn deine Prozesse oder deine Organisation schwach sind, verstärkt KI genau das. Darum musst du deine Prozesse neu prüfen und anpassen, und dabei auch klären, welche Verantwortung du an einen Agenten abgeben kannst. Juristisch sind wir da noch nicht. Als Unternehmen muss man sich trotzdem schnell Gedanken darüber machen, denn hier liegt die Effizienzsteigerung. Ein Chatfenster über dem bestehenden Prozess bringt sie nicht. ## Steffens Fazit Regulierung wird der Technologie immer hinterherhinken, sagt Steffen. Das heisst nicht, dass man für sich nicht schon die ersten Regeln definieren sollte. Seine drei Punkte zum Schluss: - Governance ist langweilig und kein sexy Thema, aber ohne Governance läuft man in Probleme. - AI an sich ist nicht das Problem. Die Autonomie, die Agenten mitbringen, ist die eigentliche Herausforderung, weil unsere Unternehmen darauf nicht vorbereitet sind. - Vielleicht sind gar nicht die Modelle superintelligent. > „Vielleicht waren wir und sind wir auch noch einfach zu sorglos beim Verteilen von Berechtigung." Wenn euch die Folge gefällt, abonniert **Prompt & Proper** auf [Spotify](https://open.spotify.com/episode/0jMXZhxLI53HgvIZnQxgaa), [Apple Podcasts](https://podcasts.apple.com/us/podcast/prompt-proper/id6792786850), [Amazon Music](https://music.amazon.com/podcasts/b8a56367-a595-4865-8e73-97c706fa4743) oder [YouTube](https://youtu.be/7oB_bJkfkXY) und schreibt uns, mit welchem KI-Thema ihr gerade kämpft. Alle Folgen: [promptandproper.ai](https://promptandproper.ai/).