Ein Proof of Concept ist heute schnell gebaut, und genau darin liegt das Problem. Klassisch blieben rund 70 Prozent aller PoCs in der PoC-Phase stecken. Mit KI liegt die Quote nach den Studien, die Steffen verfolgt, jenseits von 90 Prozent.
In Folge 5 von Prompt & Proper reden Steffen Ochsenreither von der Post und ich darüber, woran diese Piloten wirklich sterben. Mit der Technologie hat es am wenigsten zu tun.
Warum es plötzlich so viel mehr Piloten gibt#
Die 70 Prozent hat Steffen aus seiner Digitalisierungszeit mitgebracht, dort waren sie die magische Zahl. Mit der KI-Adoption ist die Quote gestiegen, die Studien landen unterschiedlich hoch, die Richtung ist eindeutig.
Zwei Gründe dafür. Die Einstiegshürde ist massiv gesunken. Früher brauchtest du Wissen, um etwas zu digitalisieren, heute nimmst du ein Tool, das out of the box schon viel kann, und legst los. Dazu kommt der Hype: Die Leute sind darauf geschärft und wollen etwas machen. Also wird viel mehr gestartet.
Die Kernproblematik ist dieselbe geblieben, und das ist die unbequeme Wahrheit. Jeder PoC ist erst mal cool, und wenn etwas funktioniert, freut man sich tierisch. Danach kommen die immer gleichen Fragen. Gibt es einen konkreten Business Case? Sind die Leute abgeholt? Ich sehe PoCs auch ständig scheitern, und das hat nichts mit KI zu tun. Beim Cloud Computing war es gleich, und beim Internet davor auch.
Ein PoC ohne strategisches Ziel geht nicht in Produktion#
Mit einem Proof of Concept validierst du einen Business Case. Ein Unternehmen hat strategische Ziele, es will Umsatz machen, es will Marge machen. Wenn dein PoC auf keines dieser Ziele einzahlt, kann ich dir fast zu 100 Prozent garantieren, dass er nicht in die Produktion geht.
Steffen hat den Satz dazu geliefert: “Ich will KI haben” ist keine Strategie. Die brauchbare Formulierung lautet, ich möchte diese Sache besser machen, und dafür nutze ich KI. Hätte früher jemand “wir wollen digitalisieren” ins Strategiepapier geschrieben, hätte das genauso wenig funktioniert.
Technologie, Strategie, Kultur#
Steffen zerlegt das Thema in drei Elemente. Du brauchst eine Technologie, die es kann. Du brauchst eine Strategie, die es hergibt. Und du brauchst eine Kultur, die die veränderte Arbeitsweise trägt.
Um die Technologie muss sich heute niemand mehr Sorgen machen. Für praktisch jeden Use Case gibt es ein Tool, und wenn nicht, baust du es dir relativ einfach zusammen. Die Modelle werden dazu laufend besser. Steffen erwähnte eine Anthropic-Studie, in der Opus fast 90 Prozent der komplexeren Tasks gelöst hat. Alle paar Monate kann ein neues Modell etwas, das wir vorher als sehr komplex empfunden haben.
Schwierig sind Strategie und Kultur. Und dort liegen die Dinge, die PoCs schon lange vor der KI haben scheitern lassen. Wie betreibe ich das Ding? Wie führe ich den Change ein? Wie schule ich die Leute? Wer macht First, Second und Third Level Support? Das kommt alles trotzdem. Allzu oft lassen wir uns von Präsentationen blenden, in denen ein ChatGPT-Cowboy zeigt, wie er sich in kurzer Zeit selber ein CRM baut. Beeindruckend ist das. Es ist aber dasselbe, wie wenn wir früher in Microsoft-Konferenzen gesessen sind und uns jemand vorgeführt hat, wie man mit ein paar Klicks eine Access-Datenbank hochzieht. Der Aufwand, der hinter dem strategischen Ziel steckt, wird in solchen Demos verniedlicht.
Beim Kulturteil kam der Satz, den ich mir gemerkt habe:
„Usage ist nicht gleich Adoption."
Vertrauen in die Entscheidungen der KI, Guardrails und Guidelines, digitale Ethik. Und am Ende die Frage, wie die Mitarbeitenden damit tatsächlich arbeiten. Genau dort hängen viele Unternehmen.
Das LLM wird dich immer anlügen#
„Ein LLM ist nur eine Token Prediction Engine. Das heisst, das Teil wird dich immer anlügen. Es wird immer halluzinieren."
Du kommst da nicht raus. Du kannst noch so gut prompten und in grossen Lettern “don’t hallucinate” hinschreiben, es passiert trotzdem. Was hilft, ist ein Harness drumherum, mit Checks und Loops, die das Ganze reduzieren. Das verbrennt zusätzliche Tokens, und auf 100 Prozent kommst du damit auch nicht.
Steffen sieht es gleich: Mit LLMs sind die 100 Prozent heute faktisch nicht möglich. Für geschäftskritische Prozesse ist das ein echtes Problem, entsprechend brauchst du Guardrails, damit am Ende nicht eine Vertriebsstätte in einem Land entsteht, in das du nie wolltest, nur weil das Modell es so vorgeschlagen hat. Sein Satz dazu war, man dürfe immer noch nachdenken. Da habe ich widersprochen: Man muss. Das Gehirn einzuschalten ist bei diesen Systemen geschäftskritisch.
Eine Präzisierung dazu: Steffen meint mit KI im PoC mehr als LLMs. Das klassischere Machine Learning und sehr ausgefeilte Algorithmen zählen dazu. Darauf kommen wir später zurück.
Datenqualität, der unsexieste PoC-Killer#
Durch die Digitalisierung haben wir alle grosse Datenmengen angehäuft. Sauber ist davon längst nicht alles. Für einen PoC musst du also zuerst die Daten bereinigen oder ein brauchbares Datenset bereitstellen.
Der beliebteste Einstiegs-PoC ist der Unternehmens-Chatbot auf den eigenen Daten. Ein No-Brainer, entsprechend machen ihn viele. Und viele machen denselben Fehler: Sie lassen ihn auf den SharePoint los, auf dem der ganze Datenmüll liegt. Dann passieren interessante Dinge.
Steffen nennt Datenqualität und den Bau von Datenprodukten das unsexieste Thema überhaupt, ohne das es aber nicht geht. Wenn Daten nicht demokratisiert sind und nicht alle den gleichen Zugriff haben, bekommst du je nach Aufbau unterschiedliche Ergebnisse. Dieselbe Abfrage liefert bei zwei Personen zwei Antworten. Ein LLM auf eine schlechte Datenhaltung zu setzen, hilft vielleicht beim schnelleren Finden, das Problem darunter löst es nicht.
Ohne Fundament baust du auf Sand#
Bei den Daten sind wir schon fast beim Fundament. Kürzlich war ich in einer Firma, die einen PoC machen wollte, der in eine produktive Umgebung muss. Diese Firma baut ihr Cloud-Environment gerade erst auf, produktiv läuft dort noch nichts. Für den PoC wäre es notwendig.
Das sehe ich häufiger. Unternehmen versuchen im KI-Zeitalter einen Sprung über alles zu machen, was vorher dran gewesen wäre. Agilität, Digitalisierung, ein sauberer Betrieb. Bauen kannst du den PoC trotzdem, es wird nur schwieriger, und oft verhindert genau das den Livegang.
Steffen sieht darin den Hauptunterschied zwischen Start-ups und gewachsenen Unternehmen in Europa. Ein Start-up von vor drei Jahren hat alles in der Cloud, deutlich weniger Daten und damit automatisch bessere Datenqualität, und keine analogen Prozesse. Bei einer Firma, die 50 oder 100 Jahre alt ist, sieht das anders aus. Der Fokus liegt dort auf dem Kernprozess des Geschäfts. Jetzt soll KI hinein, weil alle irgendwie KI machen, und heraus kommen isolierte PoCs für einen kleinen Zweck. Die Fälle, in denen KI wirklich stark wäre, Backend-Prozesse, komplette Supply Chains, Decision Support, bleiben liegen.
Dieses Fear of missing out regiert gerade ziemlich krass. Mit KI bauen wir jetzt alles schneller und besser, heisst es, und dabei vergisst man, was darunter erst aufgebaut werden muss. Cloud machst du, wenn sie auf ein strategisches Ziel einzahlt. Wenn du on-prem schnell und gut genug bist, ist das eine legitime Antwort. Der Aufbau drumherum killt sonst den Business Case. Ein Kollege von mir hat es bei einer Bank so formuliert:
„Wenn er eigentlich nur den Hotdog-Stand am Bahnhof hinstellen will, aber den gesamten Bahnhof rundherum auch noch bauen muss, dann ist der Business Case dieses Hotdog-Stands schlichtweg nicht gegeben."
Steffens Kommentar dazu: ganz schön teure Hotdogs.
Der Ausweg liegt im kleinen Business Case, den du oft kopieren kannst. Wenn du etwas vielen Leuten zur Verfügung stellst und die arbeiten damit, hast du am Ende einen hohen Impact, den du beim ersten Mal gar nicht siehst.
KI ist viel mehr als generative KI#
Künstliche Intelligenz ist ein Riesenbegriff. Das geht in den 1950ern los, mit rule-based Systemen und einfachen If-Then-Else-Abfragen, und ist auch schon KI. Darauf baut Machine Learning auf, dein Spamfilter funktioniert so. Danach kommen Deep Learning und Computer Vision, damit wir Katzen von Hunden unterscheiden können.
Es gibt erste Studien, nach denen rund 90 Prozent der Wertgenerierung in Unternehmen weltweit aus genau diesen Bereichen kommt. Etwa 10 Prozent entstehen bei den Large Language Models. Der ganze Hype liegt bei diesen 10 Prozent. Deshalb sage ich vielen Unternehmen, schaut euch die anderen Dinge an. In Industrieunternehmen stehen die Kameras längst, und für die Abläufe dort ist Machine Learning oder Deep Learning oft die passendere Wahl.
Steffen zweifelt die 10 Prozent sogar an. Er hatte eine Umfrage im Kopf, deren Quelle er noch nachliefert: Weniger als 10 Prozent der KI-Nutzer haben ihr Modell je länger als eine Minute denken lassen. Wir haben Modelle, die offene Fragen mit Deep Thinking bearbeiten, und fragen sie nach dem Wetter von morgen. Für solche Aufgaben brauchst du null generative KI.
Für mich ist die Konsequenz einfach. Ich schaue mir den Geschäftsprozess an und frage, ob er zu 100 Prozent korrekt durchlaufen muss. Wenn ja, ist generative KI wahrscheinlich der falsche Ansatz. KI setzt du trotzdem ein, dann eben rule-based, Machine Learning oder Deep Learning. Danach ist es klassisches Engineering: aufzeigen, was wir erreichen wollen und wie wir dort hinkommen.
Das Take-away#
Steffens Empfehlung für alle, die weniger PoCs sterben lassen wollen:
„Experimentiere mit Purpose."
Experimentieren ist gut, man soll sich mit der Technologie auseinandersetzen. Der Unterschied liegt zwischen einem Experiment mit Zweck und dem Herumspielen. Wenn du die Leute einfach frei laufen lässt, findet vielleicht einer von 100 Fällen etwas, das dem Unternehmen etwas bringt.
Dazu kommen drei Dinge, die Steffen jedem mitgeben würde. Starte nicht mit dem riesigen Use Case, sondern mach fokussiert einen PoC. Wähl die richtige Technologie für deinen Use Case, statt alles mit dem GenAI-Hammer zu erschlagen. Und bau eine Change-Kultur auf: Leute mit einem Tool auszustatten ist kein Enablement, du musst ihnen den Umgang damit beibringen. Sonst bleibt es bei einem kurzfristigen Effekt.
Wer das beachtet, killt am Ende deutlich weniger als 90 Prozent seiner PoCs.
Wenn euch die Folge gefällt, abonniert Prompt & Proper auf Spotify, Apple Podcasts, Amazon Music oder YouTube und schreibt uns, mit welchem KI-Thema ihr gerade kämpft. Alle Folgen: promptandproper.ai.