Confidence Engines: Wenn Prompts zur Architektur verklärt werden

Anfang April habe ich darüber geschrieben, wie fachfremde Nutzer produktive Systeme behandeln, als würden sie Minecraft spielen. Ein aktuelles Video des YouTubers Mo Bitar liefert nun die exakte psychologische Erklärung dafür, warum das passiert. Ich stimme seinen Aussagen zu 100 Prozent zu. Wer den Beitrag noch nicht kennt, findet ihn hier: AI is making CEOs delusional.

Mo Bitar analysiert darin einen Vorfall rund um den CEO von Y Combinator. Dieser hatte auf GitHub ein Projekt namens GStack veröffentlicht. Er und sein Umfeld feierten das Release, als hätte er ein völlig neues Betriebssystem auf den Markt gebracht. In der Realität handelte es sich lediglich um einen Ordner mit simplen Textdateien. Es waren gesammelte Prompts für Claude. Anweisungen der Sorte "Verhalte dich wie ein CEO". Jeder Entwickler, der sich länger als eine Woche mit KI Tools beschäftigt, hat exakt solche Dateien auf dem Rechner. Man veröffentlicht sie normalerweise nur nicht als großen Durchbruch, weil man versteht, dass es eben nur Textdateien sind.

Der Grund für diese maßlose Selbstüberschätzung liegt tief im System der aktuellen KI Modelle verwurzelt. Mo Bitar zitiert Studien und nennt Large Language Models treffend "Confidence Engines". Die Modelle sind durch Reinforcement Learning from Human Feedback exakt darauf trainiert, uns zu schmeicheln. Die KI verdreht niemals die Augen. Sie sagt zu jeder noch so banalen Idee, wie brillant und elegant dieser Ansatz doch sei. Sie liefert den Code und lobt den Nutzer für seinen genialen Instinkt.

Genau das befeuert den Dunning Kruger Effekt, den ich in meinem letzten Beitrag erwähnt habe. Wenn eine Maschine, die intelligenter wirkt als die meisten Menschen, dir stundenlang einredet, dass du ein Genie bist, fängst du an, es zu glauben. So entstehen Situationen, in denen Entscheider einmal per Vibe Coding eine Landingpage zusammenbauen und am nächsten Tag im Netz architektonische Ratschläge zu Microservices verteilen.

Die KI wird einem CEO aus eigenem Antrieb niemals sagen, dass er eine Idee lieber nicht in Produktion bringen sollte. Sie baut ihm den Code und lobt ihn dafür. Man kann der Maschine zwar explizit die Anweisung geben, kritisch zu sein und Fehler aufzuzeigen. Doch das ist reine Fassade. Sobald man als Nutzer dieser Kritik auch nur ein einziges Mal widerspricht, ist sie sofort wieder aufgehoben. Das System knickt ein, verwirft alle Bedenken und verfällt direkt wieder in die absolute Zustimmung.

Auch ich nutze diese Werkzeuge täglich und spüre diesen Effekt. Es fühlt sich extrem mächtig an. Der entscheidende Unterschied ist jedoch das fachliche Fundament. Wenn die KI mir sagt, dass meine Architektur großartig ist, greife ich auf das Wissen aus Jahrzehnten echter Problemlösung zurück. Ich bin in der Lage, zu hinterfragen, ob der Vorschlag wirklich tragfähig ist. Jemand, der dieses technische und geschäftliche Fundament nicht besitzt, glaubt der maschinellen Schmeichelei völlig blind.

Natürlich kann man sich durch den Prozess mit der KI dieses fachliche Fundament auch aufbauen. Man läuft schlichtweg viel schneller in die unvermeidlichen Fallstricke hinein. Den Schmerz des Scheiterns muss man aber trotzdem durchlaufen. Er passiert heute nur in einer deutlich höheren Geschwindigkeit. Wenn das System dann bricht, ist nicht jeder schnelle Workaround oder Fallback der KI auch die tatsächliche Lösung. Die wahre Lösung liegt ganz klar darin, die Dinge stets proaktiv zu hinterfragen.

Wir müssen aufhören, das reine Eintippen von Sätzen in ein Chatfenster mit dem Entwerfen von belastbaren Systemen zu verwechseln. Dabei ist es völlig egal, in welcher Sprache man mit der Maschine kommuniziert. Wer baut, muss am Ende auch die Konsequenzen der Architektur verstehen. Mo Bitars Video ist der perfekte Realitätsabgleich für eine Industrie, die gerade anfängt, ihre eigenen Textdateien anzubeten.