Der Preis pro Token fällt seit Monaten. Die Rechnung steigt trotzdem. In Folge 9 von Prompt & Proper vergleichen Steffen Ochsenreither von der Post und ich, was wir in unseren Organisationen sehen, und auf beiden Seiten zeigt sich dasselbe Muster: Je mehr wir agentisch entwickeln, desto schneller wächst der Verbrauch, und zwar schneller, als die Modellpreise sinken.
Warum der Verbrauch exponentiell wächst#
Für alle Zuhörer ist das die Mechanik, auf die es ankommt. Wenn du agentisch Software entwickelst, arbeitet der Agent oft in mehreren Loops über ein Problem. Mit jedem Loop kommt der vorhergehende Kontext wieder mit rein. Der Tokenverbrauch folgt also einer exponentiellen Kurve.
Steffen hat die zweite Hälfte des Problems benannt. In der klassischen IT hast du eine Lizenz bestellt und wusstest, was sie kostet. Du wusstest, was eine virtuelle Maschine kostet, du wusstest, was ein Server kostet. Bei Tokens bestimmt dein Input nicht mehr, wie viel Verbrauch hinten rauskommt. Sobald ein Agent autonom arbeitet, verlierst du fast komplett die Kontrolle darüber, was er eigentlich tut.
Das sehe ich bei meinem eigenen Agenten, der autonom ein Spiel für mich entwickelt. An einem Wochenende verbraucht der locker eine Milliarde Tokens. Spätestens da schaust du auf die Kosten pro Ergebnis statt auf die Kosten pro Token.
Das richtige Modell für den richtigen Task#
Steffen hat überprüft, welche Modelle die Entwickler bei der Post zum Coden tatsächlich nutzen. Rund 70 Prozent entfallen auf Frontier-Modelle, also die teuersten. Faulheit will er niemandem unterstellen. Die Leute vergessen das Umschalten, oder sie denken sich: Wenn ich das beste Modell nehmen kann, will ich auch die beste Antwort. Für eine reine Dokumentation macht das keinen Sinn.
Bei Zühlke hinterlegen wir für jeden Task, welches Modell ihn ausführt. Die Faustformel, die sich herauskristallisiert hat:
- Für Analyse und Spezifikation nimmst du das Frontier-Modell, das stärkste, das du hast. Hier wird das Problem heruntergebrochen.
- Für die Planung der Umsetzung reicht oft ein kleineres Modell, auch wenn manche hier beim Frontier-Modell bleiben.
- Bei der Implementierung setzt du nur noch den Plan um, also reicht das kleinste und günstigste Modell.
Steffen hat das Gegengewicht geliefert. Ein teures Modell, das einmal durchläuft, kann günstiger sein als ein billiges, das für denselben Task drei oder vier Iterationen braucht. Messen musst du die Kosten pro erledigtem Task, nicht den Preis pro Million Tokens. Da haben wir laut Steffen alle noch eine ganz schöne Lernkurve vor uns.
Hängen geblieben ist mir auch sein Punkt zum Weltwissen. Um eine Dokumentation aus einer Spec zu erstellen, brauchst du weder die Problem-Solving-Fähigkeit eines Frontier-Modells noch sein Weltwissen. Du bezahlst für alles, was das Modell weiss, auch wenn der Task nichts davon nutzt.
Die Modellwahl automatisieren, sonst passiert sie nicht#
„Man sollte nicht alles mit dem besten Modell erschlagen wollen."
Steffens Schluss aus den Daten ist ernüchternd: Wenn du die Modellwahl nicht automatisierst, wird sie vergessen, ignoriert oder schlichtweg nicht gemacht. Und das führt direkt zu sehr hohen Kosten.
Meine Antwort darauf ist ein AI Gateway zwischen den Teams und den Anbietern. Er leistet drei Dinge. Er steuert, welche Modelle verwendet werden. Er entkoppelt uns von den einzelnen Anbietern. Und er erlaubt, den Tokenverbrauch auf das Projekt und die Unit herunterzubrechen. Ohne diesen letzten Teil bleibt AI FinOps eine Schätzung.
Aktuell läuft vieles davon noch über Schulungen. In unserer AI-Foundation-Schulung und der AI-Augmented-Software-Engineering-Schulung zeigen wir explizit, welches Modell zu welchem Schritt gehört. Als Nächstes erwarte ich, dass ein lokales Modell jeden eingehenden Task analysiert und entscheidet, welches Modell ihn bekommt. Das kann weiter gehen: Derselbe Schritt kann erkennen, ob eine Anfrage vertraulich ist, und sie auf lokale oder On-Premise-Infrastruktur leiten statt zu einem Frontier-Anbieter.
Der Spagat im Consulting#
Für ein Beratungsunternehmen entsteht daraus ein echtes Problem. Bei einem Fixpreisprojekt über ein Jahr: Wie schätzen wir die Tokenkosten? Das in eine Offerte oder einen Business Case zu bringen, ist extrem schwierig, weil es so variabel ist.
Bei Time and Material ist es nicht einfacher. Verrechnen wir den Stundensatz des Entwicklers als Basispreis und schlagen einen Zusatz für Tokens obendrauf? Oder stellen wir die Tokenkosten direkt in Rechnung? Eine abschliessende Antwort habe ich darauf noch nicht, und ich vermute, vielen in unserer Branche geht es gleich.
Kosten allein sind kein KPI#
Steffen hat den Punkt gemacht, der aus der Kostendiskussion eine Führungsdiskussion macht. Man schaut immer auf die Kosten, gegenüberstellen müsstest du aber den Nutzen. Und der ist noch schwerer zu messen, weil du denselben Job nicht mehr ohne AI machst. Es gibt keine direkte Vergleichbarkeit mehr, nur noch eine historische.
Seine Sicht: Der nächste Wettbewerbsvorteil für Firmen, die AI nutzen, entsteht durch die bessere AI-Ökonomie. Wie tracke ich das, und wo setze ich es im bestmöglichen Fall ein?
„Sonst statte ich einfach nur ganz viele Leute aus mit Lizenzen oder in dem Fall Token und habe keinen Gegenwert."
Da bin ich voll bei ihm. Am Ende des Tages musst du nicht auf den Output achten, also die Anzahl Lines of Code oder die verbrauchten Tokens, sondern auf den Outcome. Haben wir ein Problem gelöst, kommt es zu einer Verhaltensänderung? Das erzeugt den Impact, den Revenue oder die Marge. Und es wirft eine Frage auf, die viele überspringen: Macht es überhaupt Sinn, in diesen Prozess ein nicht-deterministisches System zu bringen? Die meisten nehmen ihren Prozess, den sie seit zehn Jahren machen, streuen AI oben drüber und warten auf die Magie. Eigentlich musst du den Prozess komplett neu denken.
Tokens einkaufen wie Strom#
Meine Erwartung für die nächsten Jahre: Tokenkosten, oder AI-Kosten allgemein, werden gemanagt wie Stromkosten. Firmen werden ein AI-FinOps-Team haben, das täglich schaut, wo es die günstigsten Tokens einkaufen kann, und die Verträge macht.
Wenn ich das etwas weiterdenke, entsteht ein Markt, ähnlich einer Börse, auf dem du dir Tokens zu einem vergünstigten Preis für ein ganzes Jahr sicherst.
„Dann kaufst du dir schon für ein ganzes Jahr die Token, wie du den Strom heutzutage einkaufst."
Steffen hat den Strom-Vergleich einen Schritt weitergezogen. Energie ist günstiger zu Zeiten, in denen mehr davon da ist und wenig nachgefragt wird. Rechenzentren könnten am Abend und in den Morgenstunden günstigere Tokens anbieten, und dann verlagerst du die nicht zeitkritischen Tasks in diese Fenster. Nicht jeder Request muss sofort beantwortet werden.
Open-Weight- und lokale Modelle#
Im letzten Teil der Folge ging es um das günstige Ende des Spektrums. Steffen sieht da draussen eine Misconception: Ein Modell, das mit extrem viel Daten trainiert wurde, ist für einen bestimmten Task nicht automatisch besser. Gerade für viele Coding-Tasks funktionieren Open-Source- oder Open-Weight-Modelle gut.
Ich habe kürzlich ein Qwen-Modell lokal getestet und war fasziniert. Es ist nahezu so gut wie ein Sonnet oder ein Opus. Man hat Layers herausgenommen, damit es in deinen Speicher passt. Es ist lange nicht so schnell wie die Frontier-Modelle, weil du auf deinem Mac oder PC weniger Tokens pro Sekunde Durchsatz hast, aber die Antwort war gut. Für ganz viele Tasks reicht das bereits. Und der nächste Schritt zeichnet sich ab: die ersten in Silizium gegossenen Modelle, mit denen kleine Anfragen direkt auf deiner eigenen Hardware laufen.
Das Fazit#
Steffens Zusammenfassung am Ende der Folge, und ich teile jeden Punkt davon:
- Man braucht FinOps für AI. Wer nicht misst, weiss nicht, was passiert, und die böse Überraschung kommt mit der Rechnung.
- Tracken, schauen, was passiert, die Leute sensibilisieren.
- Der wichtigste Hebel: das richtige Modell für den richtigen Task.
- Und wer es sauber aufsetzt, schaut über die Kosten hinaus auf den Nutzen und den effektiven Business Value.
Wenn euch die Folge gefällt, abonniert Prompt & Proper auf Spotify, Apple Podcasts, Amazon Music oder YouTube und schreibt uns, mit welchem KI-Thema ihr gerade kämpft. Alle Folgen: promptandproper.ai.