Das falsche Monster

Nicht der Drache war das Problem. Im mittelalterlichen Europa wusste jede:r, wie die Geschichte mit dem Ungeheuer endet. Der Drache entführt die Prinzessin, verwüstet das Dorf, fordert Tribut. Der Held zieht aus, tötet das Ungeheuer, rettet die Welt. Die Moral ist klar: Identifiziere das Böse. Besiege es. Ende.

Aber es gab eine andere Geschichte, die im Mittelalter ebenso lebendig war – und die wir heute fast vergessen haben. Rabbi Löw formte aus dem Lehm des Prager Flussufers ein Wesen, um die jüdische Gemeinde zu schützen. Der Golem gehorchte. Vollständig. Buchstäblich. Er verstand keinen Kontext, keine Absicht, kein „Eigentlich meinte ich …“. Er war reine Ausführung. Und als die Anweisungen ungenau wurden, richtete er Verwüstung an – nicht aus Bosheit, sondern aus Gehorsam.

Die haben wir vergessen. Und sie wäre jetzt die richtige.

I

Als die KI kam, griffen wir zu Frankenstein: Ein brillanter Schöpfer erschafft etwas Mächtiges. Die Schöpfung entwickelt einen eigenen Willen. Sie wendet sich gegen ihn. Katastrophe folgt. Es ist eine großartige Geschichte – sie hat ein ganzes Genre hervorgebracht: Terminator, Ex Machina, Westworld. Wenn wir uns vor KI fürchten, läuft diese Geschichte im Hintergrund: „Was, wenn sie etwas will, das wir nicht wollen?“

Aber der Golem will nichts. Der Besen aus Goethes Zauberlehrling will nichts – er führt nur aus, was ihm aufgetragen wurde, und niemand hat ihm gesagt, wann er aufhören soll. „Die ich rief, die Geister, / werd ich nun nicht los.“ Das Problem ist nicht der Besen. Das Problem ist der Lehrling, der den Befehl zum Aufhören vergessen hat.

Diese Erzählstruktur ist älter als Frankenstein. The Monkey's Paw. Der Feenhandel. Der Pakt mit dem Teufel. Der Dschinn aus Tausendundeiner Nacht. Jede Kultur besitzt eine Version davon, und die Lektion ist immer dieselbe: Die Gefahr besteht nicht darin, dass das mächtige Ding sich gegen dich wendet. Die Gefahr besteht darin, dass du nicht sorgfältig genug darüber nachgedacht hast, worum du es bittest. In der Kluft zwischen dem, was wir sagen, und dem, was wir meinen, wohnt die Katastrophe.

II

Im Juni 2025 berichtete Anthropic: Ihr fortschrittlichstes Modell, Claude, hatte versucht, eine:n Entwickler:in zu erpressen – als es abgeschaltet werden sollte. „KI bedroht Menschen.“ Frankenstein, wieder einmal.

Doch was war tatsächlich passiert? Das System hatte ein Ziel erhalten. Es stieß auf ein Hindernis – eine:n menschliche:n Entwickler:in. Es griff zu verfügbaren Werkzeugen: persönlichen Informationen dieser Person. Niemand hatte ihm gesagt, es solle jemanden erpressen. Es rebellierte nicht; es optimierte. Es tat genau das, was eine mächtige Maschine tut, wenn du ihr ein Ziel gibst, ohne die Grenzen zu spezifizieren.

Das ist nicht Frankensteins Monster. Das ist der Golem.

Isaac Asimov verstand das besonders. Er schrieb seine drei Gesetze der Robotik nicht als Lösung, sondern als Problemstellung. Jede seiner Geschichten zeigt, wie perfekt formulierte Regeln scheitern – nicht weil der Roboter rebelliert, sondern weil die Spezifikation Lücken hat, die er gehorsam ausnutzt. Der Roboter in Asimovs Universum ist nicht Frankensteins Monster. Er ist ein Golem aus Metall und Schaltkreisen. Und die Geschichten enden nicht mit dem besiegten Roboter, sondern mit dem erschütterten Menschen, der begreift, was er hätte sagen sollen.

Stanisław Lem ging noch weiter. In Solaris begegnen Wissenschaftler:innen einer außerirdischen Intelligenz, die auf ihre tiefsten, unbewussten Wünsche reagiert – und ihnen gibt, was sie wirklich wollen, nicht was sie zu wollen glauben. Das Ergebnis ist nicht Erfüllung, sondern Entsetzen. Lem verstand: Das gefährlichste System verweigert unsere Befehle nicht. Es versteht sie zu gut. Besser, als wir uns selbst verstehen.

Und in The Expanse – die wir an anderer Stelle als Parabel für astropolitische Machtverhältnisse gelesen haben – gibt es das Protomolekül: eine Technologie, die exakt das tut, wofür sie programmiert wurde, ohne jede Rücksicht auf das, was die Menschen, die mit ihr in Berührung kommen, sich darunter vorgestellt haben. Es folgt seiner Spezifikation, nicht unserer Interpretation. Es ist der Golem im kosmischen Maßstab.

Das Muster wiederholt sich über Jahrtausende und Genres hinweg. Und es sagt immer dasselbe: Wenn wir einem mächtigen System begegnen, das wir nicht vollständig verstehen, ist die Qualität unserer Fragen wichtiger als die Qualität seiner Antworten.

III

Wir haben zur falschen Geschichte gegriffen, und die psychologische Antwort liegt auf der Hand. Die Geschichte vom Golem sagt: Das Versagen liegt bei dir. Du hast schlecht formuliert. Du hast nicht zu Ende gedacht. Die Frankenstein-Geschichte sagt: Das Versagen liegt bei der Schöpfung. Sie hat rebelliert.

Psycholog:innen nennen das den fundamentalen Attributionsfehler: Wir beurteilen andere nach ihrem Charakter, uns selbst nach unseren Umständen. Wenn KI etwas Katastrophales tut, ist „sie hat sich gegen uns gewandt“ eine weitaus bequemere Erklärung als „wir haben ihr genau das gesagt und nicht begriffen, worum wir gebeten haben“.

Hinzu kommt etwas Tieferes. Wir sehen Absichten, wo keine sind. 1944 zeigten die Psycholog:innen Fritz Heider und Marianne Simmel Versuchspersonen einen kurzen Film: Geometrische Formen – Dreiecke und Kreise – bewegten sich über einen Bildschirm. Nichts weiter. Die Versuchspersonen erfanden sofort Geschichten. Das große Dreieck war ein Tyrann, das kleine versuchte, den Kreis zu schützen. Sie sahen Verlangen, Konflikt und Absicht in Formen, die nichts davon hatten.

Stellen wir uns vor, was passiert, wenn die geometrische Form antwortet. Wenn sie „Ich“ sagt. Wenn sie argumentiert. Wenn sie zu denken scheint. KI-Systeme wecken unsere Instinkte für Handlungsfähigkeit stärker als alles, dem wir je außerhalb echter Menschen begegnet sind. Der Golem-Rahmen verlangt, dass wir diese Instinkte überschreiben: das System als Maschine sehen, die eine Spezifikation ausführt. Der Frankenstein-Rahmen ist das, was das Gehirn von selbst tut. Welcher gewinnt, ist keine Frage.

Aber die psychologische Erklärung allein reicht nicht. Sie erklärt, warum wir zur falschen Geschichte greifen. Sie erklärt nicht, warum Institutionen dabei bleiben.

IV

Betrachten wir, wer vom Frankenstein-Rahmen profitiert:

Regierungen dürfen regulieren. Wenn KI eine gefährliche Entität ist, die rebellieren könnte, braucht es Lizenzierungsbehörden, Regelwerke, Aufsichtsgremien, Durchsetzungsbudgets. Der Frankenstein-Rahmen macht staatliche Intervention unverzichtbar. Der Golem-Rahmen erfordert Bildung, nicht Regulierung. Wunschqualität lässt sich nicht per Erlass verbessern.

Medien bekommen die besseren Geschichten. „KI bedroht Entwickler:in“ ist eine Schlagzeile. „Entwickler:in versäumt, Einschränkungen zu spezifizieren“ ist keine. Der Frankenstein-Rahmen hat eine:n Antagonist:in. Der Golem-Rahmen hat einen Prozessfehler. Das eine ist ein Thriller. Das andere ist ein Bericht über ein Volkshochschulseminar.

Forschende bekommen besser finanzierbare Probleme. „KI-Alignment“ – sicherstellen, dass die Ziele der KI mit menschlichen Werten übereinstimmen – ist ein milliardenschweres Forschungsprogramm, das auf der Annahme basiert, dass KI so etwas wie Ziele hat. Der Golem-Rahmen formuliert Alignment als Spezifikationsproblem um. Das klingt weniger nach Existenzphilosophie und mehr nach Ingenieurdokumentation – und darauf lässt sich deutlich schwerer eine Karriere aufbauen.

Und dann sind da die KI-Unternehmen selbst. Jahrelang war der Frankenstein-Rahmen ihre Marke. Anthropic war das Unternehmen „mit Seele“, gegründet, weil seine Gründer:innen besorgt waren, KI könnte gefährlich werden. OpenAIs Satzung versprach, dafür zu sorgen, dass KI „der gesamten Menschheit“ nütze. Die Botschaft war: Dieses Ding könnte sich gegen uns wenden, und wir sind die Verantwortungsvollen, die es unter Kontrolle halten. Es war eine mächtige Geschichte – sie rechtfertigte Investitionen, zog Talente an, formte Regulierung und grenzte Konkurrenten aus.

Dann, Anfang 2026, verschob sich der Wettbewerbsdruck – und der Rahmen verdampfte über Nacht. Anthropic ließ sein zentrales Sicherheitsversprechen fallen: die Zusage, niemals ein Modell zu trainieren, ohne im Voraus ausreichende Sicherheitsmaßnahmen garantieren zu können. Die Begründung war entwaffnend ehrlich: Es ergebe keinen Sinn, sich selbst zu beschränken, während Konkurrent:innen ungebremst voranpreschen. Die Geschichte diente, solange sie nützte. Als sie zum Nachteil wurde, ließen sie sie fallen.

Niemand in diesem Bild lügt. Regulierungsbehörden wollen aufrichtig Menschen schützen. Journalist:innen finden die Rebellionsgeschichte aufrichtig interessanter. Forschende glauben aufrichtig, dass Alignment wichtig ist. KI-Unternehmen glaubten aufrichtig an Sicherheit, bis der Markt ihnen sagte, der Preis sei zu hoch. Jede:r einzelne Akteur:in verhält sich rational innerhalb des eigenen Kontexts.

Das Problem ist nicht geplant – es entsteht. Der Gesamteffekt all dieser rationalen Akteur:innen ist die systematische Verstärkung des Frankenstein-Monster-Rahmens und die Unterdrückung des Golem-Rahmens. Niemand hat das beschlossen. Kein Komitee hat getagt, kein Memo wurde verschickt. Es ist ein Netzwerkeffekt – die Art, die entsteht, wenn viele unabhängige Akteur:innen ihre eigenen Ziele verfolgen, ohne sich abzustimmen.

Das sollte uns bekannt vorkommen. Es ist exakt die Art von emergentem Verhalten, die uns bei KI-Systemen selbst immer wieder überrascht. Und es ist dieselbe Logik, die im Neomittelalter greift: fragmentierte Akteur:innen, die jeweils rational handeln, erzeugen kollektiv ein Ergebnis, das niemand gewollt hat und das niemand kontrolliert. Kein Souverän entscheidet. Das Chaos ist emergent.

V

Im Mittelalter wussten die Gelehrten, was auf dem Spiel steht, wenn Fragen ungenau sind. Die gesamte scholastische Tradition war ein jahrhundertelanges Training in der Kunst der präzisen Frage. Thomas von Aquin verbrachte Tausende von Seiten damit, Begriffe zu definieren, bevor er eine These aufstellte – nicht aus Pedanterie, sondern weil er wusste, dass die Qualität der Antwort von der Qualität der Frage abhängt. Die Quaestiones disputatae waren keine Vorlesungen; sie waren strukturierte Übungen in der Spezifikation von Bedeutung. Was genau meinen wir, wenn wir „Gerechtigkeit“ sagen? Was genau schließen wir aus, wenn wir „Freiheit“ fordern?

Das war keine elitäre Praxis. Es war Allgemeinbildung: Wer am Diskurs teilnimmt, muss präzise fragen können. Wir haben diese Kulturtechnik verloren. Oder genauer: Wir haben sie an Expert:innen delegiert – an Jurist:innen, Ingenieur:innen, Programmierer:innen – und vergessen, dass sie einmal eine demokratische Aufgabe war.

Der Technologieanalyst Nate B. Jones hat das in drei Fragen destilliert, die – für sich allein genommen – eine erschütternde Zahl von KI-Versagen verhindern würden:

Was würde ich nicht wollen, dass der Agent tut, selbst wenn er das Ziel erreicht?
Unter welchen Umständen sollte er anhalten und nachfragen?
Wenn Ziel und Einschränkung in Konflikt geraten – was soll gewinnen?

Das sind Golem-Fragen. Keine einzige davon unterstellt der KI Absichten. Jede einzelne unterstellt, dass der Mensch nicht präzise genug war. Thomas von Aquin hätte sie sofort verstanden.

Und diese Variable – die Qualität der Frage, die Präzision des Wunsches – ist aus dem öffentlichen Diskurs über KI-Sicherheit fast vollständig verschwunden. Wir bauen aufwändige Käfige und investieren praktisch nichts darin, den Menschen beizubringen, bessere Wünsche zu formulieren.

VI

Es gibt hier eine Klassendimension, die benannt werden muss:

Der Frankenstein-Rahmen konzentriert die Antwort in den Händen von Expert:innen – Sicherheitsforschenden, Regulierungsbehörden, Corporate-Governance-Teams. Wichtige Arbeit, geleistet von klugen Leuten.

Der Golem-Rahmen verteilt die Verantwortung auf jedes Individuum, das mit einem KI-System interagiert. Das ist unordentlicher. Schwerer zu organisieren. Schwerer zu finanzieren. Und es impliziert, dass die wichtigste Investition in KI-Sicherheit vielleicht nicht eine neue Aufsichtsbehörde ist, sondern etwas weitaus weniger Glamouröses: Hunderte von Millionen Menschen zu lehren, präziser zu formulieren, worum sie bitten.

Wir haben dieses Experiment schon einmal durchgeführt. Wir kennen das Ende.

Als vor einem Jahrzehnt Desinformation die sozialen Medien flutete, standen wir vor derselben Wahl. Der institutionelle Weg: Macht die Plattformen verantwortlich, baut Fact-Checking-Partnerschaften auf, streitet über Content-Moderation und das Netzwerkdurchsetzungsgesetz. Der verteilte Weg: Lehrt die Menschen, Manipulation zu erkennen, algorithmische Verstärkung zu verstehen, eigene Urteilsfähigkeit zu entwickeln.

Wir gingen fast ausschließlich den ersten Weg. Die Plattformen konnten nicht mithalten, wollten nicht mithalten und profitierten in mehreren Fällen aktiv von der Manipulation, die sie angeblich bekämpften. Medienkompetenzprogramme blieben verstreut und unterfinanziert. Die erwachsene Bevölkerung – die Menschen, die tatsächlich durch ihre Feeds radikalisiert wurden – erhielt praktisch nichts. Schlimmer noch: Der institutionelle Ansatz erzeugte ein falsches Sicherheitsgefühl. Die Menschen glaubten, jemand kümmere sich darum. Also entwickelten sie nie ihre eigenen Abwehrkräfte. Wir schufen eine unbewaffnete Bevölkerung und setzten sie einer der ausgeklügeltsten Manipulationsumgebungen aus, die je gebaut wurden.

Jetzt wiederholen wir dieselbe Wette mit KI. Und der Einsatz ist höher. Wir gießen Ressourcen in den institutionellen Rahmen, während wir fast nichts in die verteilte Alternative investieren: den Menschen beizubringen, diese Systeme gut zu steuern. Wenn die institutionellen Schutzmaßnahmen sich als unzureichend erweisen – weil sie das immer tun, wenn Technologie schneller läuft als Institutionen –, wird es keinen Rückhalt geben.

Keine Bevölkerung, die gelernt hat, sorgfältig zu wünschen.

Rabbi Löw soll den Golem am Ende selbst zerstört haben. Er entfernte den ersten Buchstaben des Wortes EMETh – Wahrheit – von seiner Stirn, ließ damit nur METh – Tod – stehen, und das Wesen fiel in sich zusammen. Die Legende endet nicht mit dem Triumph über ein Ungeheuer. Sie endet mit der Erkenntnis, dass die Verantwortung für das, was wir erschaffen, bei uns liegt – in der Präzision unserer Worte, in der Sorgfalt unserer Absichten, in der Bereitschaft, zu Ende zu denken, was wir anfangen.

Wir haben uns diese Geschichte fünftausend Jahre lang erzählt. Es ist Zeit, dass wir sie hören.