RPTU-Professorin Zweig prognostiziert KI-Blase

Die Informatikerin Katharina Zweig warnt drei Jahre nach ChatGPT-Durchbruch vor fehlendem Return on Investment und einem anstehenden “KI-Winter”. 

Word Embedding ohne intelligentes Weltmodell

Sprachmodelle operieren mit Word Embedding in Vektorräumen über 10.000 Dimensionen. „Wer die Sprachmodelle zu ‚plappernden Papageien' degradiert, wird dieser Worteinbettung nicht gerecht", konstatiert Zweig. Jedoch seien Begriffe wie "Reasoning" übertrieben. Der "Reasoning"-Begriff stammt aus einem 2022er-Artikel über Chain-of-Thought Prompting. „Mittlerweile wird der Begriff Reasoning aber für alle möglichen Aufgabengebiete verwendet und dabei suggeriert, die Maschine könne tatsächlich selbst denken."

Nach US-Philosoph Brian Cantwell Smith erfordert Intelligenz ein adaptierbares Weltmodell mit existenzieller Abhängigkeit. Maschinen erfüllen dies nicht: „Wenn wir einen Menschen darauf hinweisen, dass er völligen Blödsinn verzapft, wäre er beschämt und würde sein Weltmodell anpassen. Die Maschine ist dagegen unbeeindruckt von ihrem eigenen Fehlverhalten: Sie entschuldigt sich wortreich – nur um gleich danach denselben Unsinn wieder hinzuschreiben."

KI scheitert an Urteilskraft

Wissenschaftshistorikerin Lorraine Daston differenziert zwischen "dünnen" Regeln (Schema F) und "dicken" Regeln (Urteilskraft bei Ausnahmen). „Das Problem der Sprachmodelle ist nun: Sie können nicht unterscheiden, ob sie es mit einem Schema-F-Fall oder einem Ausnahmefall zu tun haben." Die Maschine verpacke „auch den größten Mumpitz in kunstvoll gedrechselte Sprache." ChatGPT erzählt Nutzern, was sie hören wollen. Bei falschen Voraussetzungen drohe schleichende Radikalisierung.

Chat GPT sollte man nicht als Suchmaschine verwenden

„Die erste Regel ist: nicht als Suchmaschine verwenden. Sprachmodelle haben erst einmal keine Wissensdatenbank zur Verfügung, sondern hängen Wörter aneinander", warnt Zweig. Zur KI-Suche: „Die ganze Geschichte ist so unfassbar teuer, irgendwann wird man einen Return of Investment sehen wollen." Jedes Wort durchläuft Milliarden bis Billionen Rechenoperationen. „Das braucht Server, das kostet Strom und Kühlwasser – und ist auf Dauer zu teuer, um gratis zu sein."

KI-Blase droht, RAG-Technologie als Zukunft

„Ich glaube, dass eine riesige KI-Blase auf uns zukommt. Die Technologie wird auf kurze Sicht überschätzt und auf lange Sicht unterschätzt. Ich sehe erst einmal den nächsten KI-Winter auf uns zukommen. Aber allein die Tatsache, dass drei Jahre nach dem Durchbruch von ChatGPT immer noch kein echtes Geschäftsmodell gefunden wurde, ist schon interessant.", so Zweig. 

Nach dem KI-Winter sieht Zweig Potenzial in RAG-Technologie (Retrieval-Augmented Generation). Texte werden in Wissensschnipsel zerteilt und im Vektorraum positioniert. „Wenn nur Texte in der Datenbank liegen, die von Fachleuten verfasst wurden, dann können Sie sicher sein, dass die Vorschläge der Maschine dem Wissensstand entsprechen. Ich glaube aber nicht, dass die Chatbots selbst die absurd hohen Investitionen rechtfertigen. Es werden eher damit verbundene Technologieinnovationen sein."