Über die allmähliche Verfertigung der Gedanken 

beim Prompten

Heinrich von Kleist schrieb 1805 einen kleinen Aufsatz, der sich als geradezu emblematisch für das Zeitalter der Large Language Models herausstellt: «Über die allmähliche Verfertigung der Gedanken beim Reden» (1805). Wenn man etwas wissen wolle und «durch Meditation» nicht finden könne, so rät Kleist, «mit dem nächsten Bekannten, der dir aufstösst, darüber zu sprechen. Es braucht nicht eben ein scharfdenkender Kopf zu sein, auch meine ich es nicht so, als ob du ihn darum befragen solltest: nein! Vielmehr sollst du es ihm selber allererst erzählen». 

Heute bräuchte Kleist keinen «nächsten Bekannten» mehr. Er müsste nur ChatGPT oder Konsorten etwas «erzählen». Könnte man da nicht von der «allmählichen Verfertigung der Gedanken beim Prompten» sprechen? 

***

Die Sprachmodelle mischen gerade die Buchbranche auf – womöglich mit einer ähn-lich epochalen Wucht, mit der einst der Buchdruck die Tradition der mittelalterlichen Kopisten erschütterte. Man vernimmt, dass Verlage den Markt mit einem Unflat KI-generierter Texte überschwemmen.  Die Lage verschlimmert sich für «ehrliche» Autoren. Der Generalverdacht bei Texten, ein KI-Erzeugnis zu sein, wird zur neuen Normalität.  

Nun herrscht in dieser Diskussion der ökonomische Blick vor. Das heisst, er sieht den Wert der Tätigkeit im Erzeugnis, und blendet die entscheidende Frage über uns Er-zeugende aus: Was verlieren wir, wenn wir nicht mehr selber schreiben, sondern die Tätigkeit zunehmend an Maschinen delegieren - und was verrät uns gerade dieser Vorgang über die Bedeutung des Schreibens?

***

Auf diese Frage stösst uns Kleist. Er sagt nicht einfach: Reden hilft beim Denken, sondern: Im Reden kommt das Denken erst zustande. Was für das Reden gilt, lässt sich zwangslos auf das Schreiben übertragen: Es ist ein Verfahren, durch das Gedanken überhaupt Gestalt annehmen. Kleist nennt es die «Fabrikation der Idee auf der Werkstätte der Vernunft». Und diese Fabrikation verlangt nach einer Anstrengung.

Anstrengung ist der Schlüsselbegriff. Ein wesentliches Versprechen von Technologien lässt sich – etwas rabiat - mit einem Wort umschreiben: Anstrengungsreduktion. Die Textgeneratoren nehmen uns die Anstrengung des Schreibens ab. Nun könnte es jedoch in der Ära des mühelosen Textgenerierens gerade auf das Gegenteil ankommen: auf die Mühen des Schreibens. 

Über James Joyce wird die Anekdote erzählt, ein Freund habe ihn verzweifelt in sei-nem Arbeitszimmer getroffen. Was los sei, fragte der Freund. Joyce gestand, an diesem Tag nur sieben Wörter geschrieben zu haben. Der Freund erwiderte: «Das ist doch gut, zumindest für dein Arbeitstempo». Joyce antwortete: «Ja schon … aber ich weiss nicht, in welcher Reihenfolge». 

***

Die Anekdote verweist auf etwas Elementares:  Schreiben ist Handwerk, in einem erweiterten Sinn des Wortes. So wie der Handwerker sein Können und Wissen im ständigen und geduldigen Umgang mit dem Material lernt, übt und verbessert, so lernt, übt und verbessert der Schriftsteller – der Wortwerker – sein Können und Wissen über die Sprache. Das Produkt des Schreibens ist nicht einfach ein Text, son-dern immer auch der Schreibende selbst.

Auf Anhieb liesse sich sagen, Joyce habe ein ähnliches Problem wie ChatGPT. Auch bei diesem geht es ja um die richtige Anordnung von Wörtern. Aber Joyce ist kein Tool. Oder genauer: Was ihn von einem Tool unterscheidet, ist gerade der Umstand, dass er Mühe mit der Sprache hat. Er muss sich den Satz abringen. Er muss sich mit dem Material auseinandersetzen, das er beherrschen will und das sich ihm zugleich widersetzt. Das fortwährende Sich-abmühen am Widerstand, das Wechselspiel von Gelingen und Scheitern schlägt Funken – Gedankenfunken.

***

Hier liegt das anthropologische Problem der Textgeneratoren. Sie automatisieren einen Vorgang, der wesentlich zur Menschenbildung beiträgt. Sie nehmen uns nicht bloss Arbeit ab. Sie verführen uns zur denkerischen Übersprungshandlung. Wir wenden uns an eine Maschine, um schneller zu dem zu gelangen, was wir sagen wollen. Was wir auf diesem Weg überspringen, könnte aber gerade das sein, worauf es beim Schreiben ankommt: nicht der fertige Gedanke, sondern seine allmähliche Verfertigung.

Das ist die eigentümliche Dialektik aller Technik: Dadurch, dass sie uns Anstrengung erspart, kann sie auch zu einem Verlust führen – zum Verlust an Gelegenheiten, unsere Fähigkeiten auszubilden. Natürlich ist nicht jede Anstrengung wertvoll. Aber manche Tätigkeiten erweisen ihren Wert gerade darin, dass er nicht im Ergebnis aufgeht. 

***

Diese Dialektik manifestiert sich in aller Deutlichkeit im Konflikt zwischen Schreiben und Prompten. Die Bemühungen der KI-Technologie richten sich explizit nach der Logik der Optimierung: Finde ein Tool, das alles einfacher macht, damit man Auf-gaben so effizient wie möglich erledigt. Kulturtechniken aber haben ihren Wert in der Anstrengung, die sie uns abverlangen. Sie sind nicht bloss Mittel zum Zweck, sondern Formen der Übung, in denen sich Fähigkeiten bilden. Sie folgen einer Kultivierungslogik. 

Sie ist im Zeitalter des entfesselten KI-Wettlaufs gefährdet. Und sie erinnert an Kant, der am Anfang seines Aufsatzes über die Aufklärung (1784) schreibt: «Es ist so bequem, unmündig zu sein. Habe ich ein Buch, das für mich Verstand hat, einen Seelsorger, der für mich Gewissen hat, einen Arzt, der für mich die Diät beurteilt usw., so brauche ich mich ja nicht selbst zu bemühen. Ich habe nicht nötig zu denken, wenn ich nur bezahlen kann; andere werden das verdriessliche Geschäft schon für mich übernehmen.»

***

Kleist war ein kritischer Bewunderer Kants. Es liegt daher nahe, seinen Aufsatz in einem erweiterten aufklärerischen Kontext zu lesen. Der bekannte Wahlspruch Sapere aude – «Wage selber zu denken!» – liesse sich um einen Imperativ ergänzen: Scribere aude – wage selber zu schreiben! So entdeckst du das verdriessliche Geschäft des Denkens im Zeitalter seiner Automatisierung wieder. 

 

NZZ,9.10.26

Intelligenz als Konsumgut

Über Bildung im KI-Zeitalter

Künstliche Intelligenz soll künftig wie Wasser oder Elektrizität ins Haus fliessen, als Konsumgut von Techfirmen bereitgestellt und je nach Verbrauch abgerechnet – zumindest in der Vision des CEO von OpenAI, Sam Altman.  Man mag dies als übliche rhetorische Kraftmeierei abtun. Dennoch kündigt sich hier ein ernstzunehmender Wandel an. 

Denn je mehr der Mensch seine Intelligenzleistungen an die Maschine delegiert, desto wichtiger wird nicht der Intelligenzgrad als Unterscheidungskriterium zwischen Menschen (was dieser Grad auch bedeuten mag), sondern der Wille zur geistigen Anstrengung. 

***

Denken braucht Widerstand. Ohne ihn verkümmert es. Daran erinnert uns Immanuel Kant gleich am Beginn seines epochalen Werks «Kritik der reinen Vernunft». Er nennt die Vernunft eine «leichte Taube»: «Die leichte Taube, indem sie im freien Flug die Luft teilt, deren Wider-stand sie fühlt, könnte die Vorstellung fassen, dass es ihr im luftleeren Raum noch besser gelingen werde» (KrV, A4).

Diese wunderbar eingängige Metapher trifft ins Herz des KI-Zeitalters. Sie macht ein quasi «aerodynamisches» philosophisches Problem anschaulich: Wie viel Widerstand braucht Denken? Kant kritisierte mit der «leichten Taube» die metaphysischen Höhenflüge der Philosophen, die sich in der Illusion des luftleeren Raums wiegten und glaubten, ohne den «Luftwiderstand» und «Auftrieb» der Erfahrung auszukommen. Heute erzeugen smarte Maschinen eine ähnliche Versuchung. Sie nähren die Illusion, Denken lasse sich in einen «luftleeren» Raum verlegen – als genüge es, der Maschine einen richtigen Prompt einzugeben.

***

Seit jeher begleitet arbeitssparende Technologie dieselbe Erwartung: Der Mensch werde sie nutzen, um körperliche und geistige Mühen zu vermeiden. Gilt das auch für die KI?

Die Frage variiert ein bekanntes Thema aus der Technikgeschichte. Wenn ein Werkzeug eine menschliche Fähigkeit verlässlich übernimmt, dann droht diese Fähigkeit zu verkümmern. Dahinter steckt die alte Sorge vor der technischen Entlastung. Klassische Berühmtheit er-langte sie durch Platons Dialog «Phaidros». In ihm wird von Ägyptens König Thamos erzählt, der vor der neuen Technologie der Schrift warnt. Sie würde das Gedächtnis schwächen – keine gegenstandslose Warnung. Tatsächlich veränderte die Schrift das menschliche Gedächtnis tiefgreifend. Mit dem Übergang von der mündlichen zur schriftlichen Tradition ent-stand eine neue Kulturtechnik des Erinnerns und Denkens. Steht uns nun mit der KI ein ähnli-cher Wandel bevor – diesmal von der Schrift zu einem Medium, das den Text selbst überschreitet?

***

Die Forschung über die Auswirkungen von KI auf unsere geistigen Fähigkeiten steckt noch in den Anfängen. Erste Studien deuten darauf hin, dass der Gebrauch von Sprachmodellen das Muster geistiger Aktivität verändert.  Über Ursachen und Folgen dieser Veränderungen wissen wir bisher wenig. Ohnehin handelt es sich um Korrelationen, und wie bei allen Korrelationen ist Vorsicht geboten, wenn man sie zu verallgemeinern sucht. 

Aber unabhängig davon bleibt die eigentliche philosophisch-anthropologische Frage bestehen: Welche geistigen Fähigkeiten wollen wir in einer Kultur fördern, in der immer mehr Denkar-beit an Maschinen delegiert wird?

Im Zentrum steht ein Phänomen, das die Psychologie seit Langem kennt: das Bedürfnis nach Kognition (need for cognition): die Motivation, schwierige Probleme durch eigenes Denken zu lösen. Dieses Bedürfnis korreliert zwar mit Intelligenz, ist aber nicht mit ihr identisch. Manche Menschen suchen die geistige Anstrengung geradezu. Sie lesen schwierige Bücher, lösen anspruchsvolle Probleme und empfinden Denken selbst als Befriedigung. Andere dagegen betrachten Denken vor allem als Mittel zum Zweck und vermeiden unnötige kognitive Mühe. Das Bedürfnis ist nicht einfach eine Persönlichkeitskonstante. Es lässt sich durch soziale Erwartungen, pädagogische Erfahrungen und kulturelle Praktiken fördern. 

Dadurch wird es zu einer Bildungsfrage. Das alte Prinzip der Bildung hat einen «puritani-schen» Einschlag: No pain, no gain - ohne Mühen kein geistiger Gewinn. Darauf gründet eine Kultivierungsmentalität: Man arbeitet hart und kämpft sich durch schwierige Aufgaben, und man trainiert so sein Denken. Es gibt nicht nur Bodybuilding, es gibt auch Mindbuilding. Und es kann spielerische Neugier, Lust am Denken wecken. 

***

Die KI-Technologie hingegen gründet auf einer Optimierungsmentalität: Man findet ein Tool, das alles einfacher macht, damit man Aufgaben so effizient wie möglich erledigt. Amit Sin-ghal - langjähriger Leiter der Google-Suche - brachte diese Mentalität schon 2013 auf den Punkt: «Wir konzentrieren uns mit manischem Eifer auf den Nutzer, um jede denkbare Reibung zwischen ihm, seinen Gedanken und den Informationen, die er finden möchte, zu reduzieren.»  

Die Losung der Optimierungsmentalität lautet «Das hätte KI in fünf Minuten geschafft». Es geht dabei nicht um die Geschwindigkeit, sondern um eine grundsätzliche Wertung: Primär ist das Ergebnis, nicht die Anstrengung; der fertige Text, nicht das Schreiben; das Bild, nicht das Sehen; das Produkt, nicht der Mensch, der an seiner Herstellung wächst. KI bietet Kompetenz ohne Lehre, Geläufigkeit ohne Verständnis. Wer diese Mentalität übernimmt, wird bildungsflüchtig. Er verlernt das berühmte «bessere Scheitern» Samuel Becketts. 

***

Hüten wir uns vor einer platten Entgegensetzung, indem wir bloss die Kosten einer Innovati-on auflisten, und nicht auch den Nutzen. Sprachmodelle sind keineswegs bloss Instrumente der Denkvermeidung. Wer je eine Dissertation geschrieben oder an einem anderen grösseren Projekt gearbeitet hat, kennt die Mühen der Recherche, die Irrwege und Sackgassen des Suchens. Nicht wenige machen dabei eine frustrierende Erfahrung, die die Verhaltensökonomie als Sunk-Cost Fallacy bezeichnet: Man erkennt, dass ein Projekt kaum noch Erfolg verspricht, hält aber dennoch daran fest, weil bereits zu viel Zeit und Mühe investiert worden sind.

Hier liegt eine der Stärken von Sprachmodellen. Sie können sagen: «Zu diesem Thema gibt es bereits viele Arbeiten» oder: «Die empirische Evidenz hierzu ist widersprüchlich». Sie können den Wissensbestand eines Gebiets im Nu sichten, Denkroutinen erkennen, und so helfen, intellektuelle Fehlinvestitionen frühzeitig zu erkennen. Sie verkürzen nicht das Denken selbst, verhelfen einem aber womöglich zu einer neuen Fragestellung. Sie führen nicht zu einer Delegation, sondern zur produktiven Entlastung des Denkens. 

***

Das ist – wohlgemerkt – ein Best-Case-Szenario. Allerdings zeigt sich an Hochschulen zu-nehmend, dass die KI-Technologie subtil dazu verführt, die Kultivierungsmentalität gegen eine Optimierungsmentalität einzutauschen. Die eigentliche Herausforderung besteht deshalb darin, die Reibung an der Sache nicht als Hindernis, sondern als Bedingung von Bildung zu begreifen – gerade weil ihre Vermeidung jederzeit lockt. 

Sollte die Optimierungsmentalität überhandnehmen, verschafft wahrscheinlich schon bald die Bereitschaft zur geistigen Anstrengung intellektuelle Distinktion. Das heisst, das Bedürfnis nach Kognition erweist sich als eigentliche Bildungsressource. Auch wenn Designer ihre Sprachmodelle mit Belohnungsmechanismen trainieren, wäre es ein Kategorienfehler, solche Mechanismen mit einem Bedürfnis gleichzusetzen. Man kann endlos und ermüdend darüber diskutieren, ob Maschinen intelligent sind; was ihnen eindeutig fehlt, ist der Wille zum Denken. Und hier beginnt die Zukunft der Bildung. Sie entscheidet sich daran, ob dieser Wille beim Menschen erhalten bleibt.

 

Lac de Morat sauvage

 

Liebe den Roboter wie dich selbst

Frankenstein im KI-Zeitalter

Frankensteins Monster ist eine der dankbarsten Fiktionen der Moderne. Von Mary Shelley zu Beginn des 19. Jahrhunderts erfunden, belächeln wir das Monster heute eher als ein romantisches Aufbegehren gegen den technisch-wissenschaftlichen Fortschritt, als frühe schwarze Science Fiction. Wir schauen aus avancierter Entwicklungshöhe auf dieses zusammengeschnipselte Leichenteilpatchwork herab und bestenfalls befällt uns noch ein überlegenes Wohlgruseln.

***

Und dennoch, selbst wenn sich technisch ungeheuer viel verändert hat, ist thematisch nahezu alles gleichgeblieben. Mary Shelley ahnte, dass der Mensch mit der Erschaffung künstlichen Lebens eine psychische Mine entsichert, die sein Selbstverständnis explodieren lassen könnte. Für ihren fiktiven Wissenschaftler Viktor Frankenstein waren Elektrizität und Biochemie der Schlüssel zum künstlichen Leben. Für die modernen Frankensteins in den KI-Labors sind dieser Schlüssel elektrische Schaltkreise und Algorithmik. Sie doktern an cleveren Programmen, so clever, dass sie den Programmierern über den Kopf wachsen. 

Das ist der Humus, auf dem Horrorszenarien wuchern. Ist die Angst begründet? Zunächst lässt sich sagen, dass sich bereits in Frankensteins Kreatur durchaus Züge der neuesten künstlich intelligenten Systeme finden: die Fähigkeit, visuelle und sprachliche Muster zu erkennen, Sprachen zu übersetzen, Handschriften zu lesen, strategische Spiele zu spielen und Prothesen autonom zu steuern.

Anders als Viktor Frankenstein bauen die Computeringenieure Artefakte, die das, was wir unter Menschen Leben und Intelligenz nennen, computerspezifisch simulieren. Diese Simulationen werden auf vielen Gebieten zweifellos immer lebensnäher. Aber lebensnah heisst nicht lebend. Zugegeben, wer hat sich nicht schon des Eindrucks erwehren müs-sen, bei den synthetisierten Antworten von Bots handle es sich um Antworten einer lebenden Person.

***

Aber warum sollte ein «Personoid» – eine künstliche Person – etwas Bedrohliches dar-stellen? Die Frage wirft ein Problem der gegenwärtigen KI auf, dessen Wichtigkeit im Grunde heute noch den wenigsten bewusst ist. Mary Shelley hatte es erkannt. Das Bedrohliche liegt nicht im Artefakt, sondern im Erbauer des Artefakts.

Ende der 1990er Jahre sorgte Kismet, die von der Robotikerin Cynthia Breazeal am Massachusetts Institute of Technology entwickelte Roboterkreatur, für einiges Aufsehen. Kismet war darauf ausgelegt, mit Menschen sozial zu interagieren. Das System verfügte über Module für Sensorik, Aufmerksamkeit, «Motivation», Gesichtsausdrücke, Haltung, Kopf- und Augenorientierung sowie stimmliche Äusserungen. Es konnte im Umgang mit Menschen lernen.

Im Klartext: Kismet ist ein Maschinenkind. Man spricht auch vom «Nesthocker-Nestflüchter-Spektrum» der Roboter («altricial-precocial spectrum»), also der Aus-sicht, dass die Roboterkinder einmal so weit sein werden, ihre «Eltern» zu verlassen und zu vollwertigen Mitgliedern der Gesellschaft heranzureifen.

Und genau diese Aussicht ist es, die Mary Shelley tief verstörte. Versagen Eltern ihren Kindern die empathische Zuwendung, können sich Kinder zu Monstern entwickeln. Frankensteins Verfehlung liegt darin, dass er sein «Kind» nicht akzeptiert, es ausstösst, allein lässt. 

***

Hier stossen wir auf ein Kernproblem der neuesten KI. Deren Entwicklung ist ja bereits so weit gediehen, dass man eine allgemeine KI (General Artificial Intelligence) ins Auge fasst. Sie würde nahezu alle Probleme lösen, die der Mensch löst. Im Besonderen sucht man zum Beispiel auch empathiefähige – «tugendhafte» - Roboter zu konstruieren, die lernen, menschliche Gefühlslagen zu erkennen und darauf zu reagieren. Der Neuroro-botiker Manfred Hild, der an einem solchen Roboter - Myon – arbeitet, sagt ausdrück-lich: «Myon ist mein Kind». 

Dabei gehen die Roboterbauer von der Grundannahme aus, dass Intelligenz – speziell emotionale Intelligenz - sich nicht einfach als Modul in ein Artefakt einbauen lässt. Vielmehr entwickelt sie sich adaptiv in entsprechenden Umwelten. Intelligenz sitzt nicht im Hirn – sei es organisch oder anorganisch - , sondern ist externalisiert in sozialen und kulturellen Praktiken, in Sprache, Umgangs- und Argumentationsformen, in Kunst und Ritual. Die ganze menschliche Zivilisation erweist sich so gesehen als eine grosse künstliche Intelligenz. Und darin sitzen auch unsere Hirne. 

***

Diese Zivilisation bewegt sich in Richtung einer Homo-Robo-Gesellschaft, einer Koevolution von Mensch und Maschine. Wir bekommen es im Roboterbau mit einer «pädagogischen» Aufgabe zu tun. Wir erziehen die Maschine – aber die Maschine erzieht gleichzeitig uns. Das hat seine Tücken. 

Shelleys Monster warnte uns: Ich werde böse, wenn du mich nicht zu deinesgleichen machst. Die Lektion Frankensteins müsste heute lauten: Hüten wir uns davor, dass die Roboter uns zu ihresgleichen machen. 

Das heisst, wir sind viel formbarer als die Maschinen, wir passen uns kontinuierlich den Kreationen der KI-Labors an, und schon heute prägt der Duktus der Systeme unsere Verhaltensweisen und Gewohnheiten. Die Maschine lernt schnell und unglaublich viel aus menschlichen Voreingenommenheiten und Entscheidungen. Die tiefe Ironie ist dabei unverkennbar: Die Aussicht besteht, dass der Roboter nicht menschenähnlicher, sondern der Mensch roboterähnlicher wird. Am Ende übernimmt er selbst die Sprache der Maschine: Wenn er mit ihr Schritt halten will, muss er sich «upgraden».

***

Soweit ist es noch nicht gekommen. Aber Shelleys Warnung erhält aus dieser Perspektive eine höchst akute Bedeutung. Wenn künstliche Systeme allmählich das Menschsein lernen, dann sollten wir selbst dieses Menschsein nicht verlernen. Indem wir zunehmend smartere Systeme erfinden, arbeiten wir tendenziell an unserer Entbehrlichkeit. Frankensteins Kreatur ist eine organische Lernmaschine mit übermenschlichen Fähigkeiten. Sie entspringt dem einäugigen Blick des Naturwissenschaftlers, der im Lebewesen nichts als einen materiellen Baukasten sieht. Und nicht wenige Roboterbauer rufen uns heute zu: Der Mensch ist ja selbst ein von der Evolution gebastelter Computer aus Fleisch. Wo soll denn der Unterschied zwischen ihm und einem synthetischen Roboter liegen? 

***

Genau diese Frage ist «monströs» - eine Warnung. Das lateinische Wort monere bedeutet «warnen». Es geht nicht um die Warnung vor den künstlich intelligenten Kreaturen, sondern vor einer Denkweise, die Mensch und Maschine über einen Leisten schlägt. Was unser Denken in den nächsten Jahrzehnten intensiv beschäftigen muss, ist die Frage nach der menschlichen Autonomie, Urteilsfähigkeit, Entscheidungskraft, Kreativität, Subjektivität, Moralität im neuen Kontext der quasiintelligenten Geräte. Lauter philosophische Fragen – Erbfragen der Aufklärung nota bene. 

Die Computerwissenschaften sind also auch philosophisch gefordert. Sie haben heute eine Schwelle erreicht, auf der sie wie Viktor Frankenstein im Begriff sind, ihre «Unschuld» zu verlieren. Und die eigentliche Frankenstein-Warnung des KI-Zeitalters be-steht nicht darin, dass wir Maschinen erschaffen, die uns gleichen. Sondern darin, dass wir uns selbst so lange an sie gewöhnen, bis wir ihnen gleichen.

 

Der neue literarische Schund 

Textgeneratoren machen nicht nur die Produktion von Text billig. Sie stellen unsere bisherige Vorstellung infrage, dass hinter einem sinnvollen Text notwendig ein menschlicher Autor steht.

KI-Slop

KI-generierter Output überschwemmt das Internet. Werden diese Texte wiederum zum Training von Textgeneratoren verwendet, füttert die Maschine sich zunehmend mit ihren eigenen Erzeugnissen. Der Textgenerator frisst seinen eigenen Müll – und produziert irgendwann nur noch Blahblah: ‹KI-Slop›, KI-Schlabber. Vermüllt sind Daten nicht dann, wenn wir nicht wissen, ob sie von Menschen oder Maschinen stammen. Vermüllt sind sie, wenn wir nicht mehr wissen, ob wir ihnen trauen können.

Der Verdacht, dass ein Text KI-generiert sei, soll - laut Wall Street Journal - die Buchbranche ins Chaos gestürzt haben.  Spektakuläre Vertragsbrüche sind die Folge. Umgekehrt lehrt ein detektivisches Tool wie Pangram die Autoren das Fürchten. Sie müssen heute mit dem Lauerblick der Algorithmen rechnen. 

Generalverdacht als neue Normalität

Die Lage ist in der Tat unbehaglich, wenn man sich vorstellt, dass irgendwo irgend-welche Spürhunde an Bildschirmen den Tag damit verbringen, das Internet nach Slop zu durchsuchen und mittels neuester technischer Errungenschaften KI-Werte zu berechnen, um Autoren an den Pranger zu stellen. «Beweise» von KI-Detektoren, lese ich, kursieren in den sozialen Medien schon wie Jagdtrophäen. Der Generalverdacht wird zur neuen Normalität.  Hinter jedem Satz vermutet man KI. 

Es mutet paradox an: Wir fürchten, dass Maschinen die Literatur mit Schund über-schwemmen. Also bauen wir Maschinen, die den Schund aufspüren sollen. Wir fürchten den Verlust menschlicher Autorschaft – und übertragen ausgerechnet die Prü-fung dieser Autorschaft an Algorithmen.

Eine postschriftliche Ära?

Diese ganze Entwicklung zeichnet sich vor einem grösseren Hintergrund ab: Wir treten möglicherweise in eine postschriftliche Ära ein. Das bedeutet nicht, dass die Schrift verschwindet, sondern dass mit dem maschinengenerierten Text ein neues Verhältnis zur Sprache entsteht. 

Man erinnert sich in diesem Zusammenhang an Platons Kritik der Schrift. Klassisch ist der Dialog «Phaidros». In ihm wird von Ägyptens König Thamos erzählt, der vor der neuen Technologie der Schrift warnt. Sie würde im Gegensatz zur mündlichen Rede das Gedächtnis schwächen. Tatsächlich veränderte die Schrift die Kulturtechnik des Erinnerns und damit auch des Denkens tiefgreifend. Steht uns nun mit der KI ein ähnlicher Wandel bevor – diesmal von der Schrift zu einem Medium, das den Text selbst überschreitet?

Schund entstand schon durch den Buchdruck

Die Angst vor maschinell vervielfältigtem Schund ist älter als die KI. Schon der Buch-druck weckte sie. Er veränderte kulturelle Kompetenzen und Gewohnheiten grundlegend. In den 1470er-Jahren – rund 30 Jahre nach der Erfindung des Buchdrucks in Europa – appellierte der Benediktinermönch Filippo de Strata an den Dogen von Venedig, die Druckerpresse zu verbieten. Er beklagte, die Drucker würden «schamlos und zu Spottpreisen» Material verbreiten, das leicht beeinflussbare Jugendliche verführen könne, während der «wahre Schriftsteller» verhungere. Er forderte den Dogen auf, die «Plage» des Buchdrucks einzudämmen und die Drucker zu zügeln. 

Der grosse automatische Grammatisierer

Der britische Schriftsteller Roald Dahl schrieb 1953 die Geschichte Der grosse automatische Grammatisierer. Adolph Knipe, ein junger Elektroingenieur, hat schriftstellerische Ambitionen, ist aber frustriert, weil die Verlage seine Erzeugnisse immer nur ablehnen. Also baut er einen Automaten, der akzeptable, wenn auch nicht grossartige Werke der Belletristik produziert. Bald wird er zum literarischen Grossindustriellen. Die Maschine spuckt Dutzende mittelmässiger Geschichten aus. Knipe verkauft sie zu Schleuderpreisen. Schliesslich errichtet er nahezu ein Monopol, indem er angehenden Autoren einen «goldenen Vertrag» anbietet: Gegen die Nutzung ihres Namens bezahlt er sie dafür, nicht zu schreiben. 

Wie Knipe sagt: «Heutzutage hat das handgefertigte Produkt keine Chance mehr. Es kann unmöglich mit der Massenproduktion konkurrieren … Teppiche, Stühle, Schuhe, Ziegel, Geschirr – alles wird jetzt maschinell hergestellt. Die Qualität mag schlechter sein, aber das spielt keine Rolle. Entscheidend sind die Produktionskosten. Und Geschichten – nun ja – sie sind bloss ein weiteres Produkt.»

Schreibt eine Welle Gedichte?

Die Literaturwissenschaftler Steven Knapp und Walter Benn Michaels ersannen das Gedankenexperiment des Wellengedichts : Wir finden am Strand Verse eines bekannten Dichters in den Sand geschrieben. Wir versuchen sie zu deuten. Dann wäscht eine Welle die Verse aus und hinterlässt mysteriöserweise eine weitere pas-sende Strophe. Wer hat sie geschrieben? 

Wellengedichte sind so etwas wie Slop. Textgeneratoren waschen die bedeutungsvollen Texte aus und spülen nun neue Texte ins Netz, die Bedeutung suggerieren. Sie tun dies, weil wir gar nicht anders können als Bedeutung in die Vorgänge hineinzulesen. Und mit der Bedeutung erfinden wir den Autor gleich mit – jemanden mit Intelligenz, wohlgemerkt. 

Und das ist eine Zumutung: In der Maschine ist niemand zuhause - auch keine menschliche Intelligenz. 

Intelligenz und «Intelligence»

In diesem Zusammenhang erscheint es aufschlussreich, dass «Intelligence» im Englischen nicht nur Intelligenz bedeutet, sondern auch Nachrichtendienst. Die Künstliche Intelligenz trägt diese Doppeldeutigkeit in ihrem Namen. Die Nachkriegsforschung stand im Banne des Kalten Krieges. Zu den vielen Unbekannten gehörte die Frage, wie sich der nächste Zug des Gegners vorhersagen liess. Man setzte Computer zur Signalverarbeitung ein – zur Suche nach geheimen Mustern in Radiosendungen und gedruckten Texten. 

Einer Maschine das Lesen beizubringen, war dazu nützlich. Dass sie auch schreiben lernen konnte, war ein Bonus – und einer, der uns heute die viel unangenehmere Frage stellt, ob Lesen und Schreiben überhaupt Intelligenz voraussetzen.

Die «Textpokalypse»

Immer wieder regt sich die grosse Angstlust, die gleich nichts Geringeres als die Apokalypse heraufbeschwört. «Bereitet euch auf die Textpokalypse vor», schrieb der Literaturkritiker Matthew Kirschenbaum 2023: «Was wäre, wenn wir am Ende nicht durch Interkontinentalraketen oder den Klimawandel, nicht durch mikroskopische Krankheitserreger oder einen Meteoriten von der Grösse eines Berges, sondern durch … Text vernichtet würden? Einfacher, schlichter, schmuckloser Text, aber in so im-mensen Mengen, dass er kaum vorstellbar ist – ein Tsunami von Texten, der sich in einen sich selbst verstärkenden Strom von Inhalten verwandelt und eine zuverlässige Kommunikation in jeglicher digitalen Umgebung praktisch unmöglich macht?» 

Die «Enthüllung»

Dem ganzen anschwellenden Endzeitgesang, der gerade aus den Medien tönt, müsste man entgegenhalten, dass Apokalypse ursprünglich nicht nur Weltende, sondern Enthüllung bedeutet. Und was die Textgeneratoren uns heute enthüllen, ist ein simpler Sachverhalt: Maschineller Text wird hergestellt. Vielleicht liegt genau darin seine Provokation: Auch menschlicher Text wird hergestellt. 

Und daraus leitet sich eine noch simplere Aufforderung an uns selbst her: Wage selber zu schreiben! Ein geradezu kantischer Gestus. Denn beim Schreiben kannst du – wie es Susan Sontag formulierte – herausfinden, was du denkst.

 

Zertifiziertes Menschsein

«Ecce homo», sagt die Maschine

Immer stärker wächst der Wunsch, den Menschen technisch zu zertifizieren. Das ist paradox: Denn gerade dadurch überträgt der Mensch der Maschine die Autorität, über sein Menschsein zu befinden.

***

Wir leben zunehmend in einer Mischgesellschaft aus Menschen und künstlichen Systemen. Das heisst: Die künstlichen Systeme haben schon seit einiger Zeit nicht mehr den Status blosser serviler Geräte. Sie agieren aus eigenem Antrieb, und in KI-Kreisen ist die Diskussion längst im Gang, ob man diesen Kreaturen aus Maschinencode nicht so etwas wie ein künstliches Innenleben zuschreiben sollte, das uns nur partiell zugänglich ist. Sie bevölkern als Bots das Internet – und es gibt von ihnen inzwischen mehr als Menschen.

Bots sind Programme, die selbstständig mit anderen Systemen interagieren und Aufgaben ausführen können. Dass sie das Internet infiltrieren, war zu erahnen. Denn das Netz ist eigentlich eine Erfindung für Computer: ein System von Protokollen, mit denen Maschinen miteinander interagieren und Informationen austauschen. 

***

Woran erkennen wir in diesem Verkehr überhaupt noch Menschen als Menschen? Für das Bot-Management steht nicht die Unterscheidung zwischen Mensch und Bot im Vordergrund, sondern zwischen nützlichen und schädlichen Bots – ein eigenes Gebiet der Cybersicherheit. 

Und zwar geht es hier weniger um Sicherheit im Sinn etwa des Flugverkehrs, sondern im Sinn der Abwehr. Man verteidigt das Terrain des Humanen gegen das Künstliche. Heute gibt es Bot-Erkennungsunternehmen wie etwa Data Dome, die schädliche Bots identifizieren. Das werde, sagt der Mitbegründer Benjamin Barrier, zunehmend schwieriger, weil man die Verhaltensweisen der Bots analysieren, eine Datenbank aller bekannten schädlichen Bots erstellen und KI-Modelle sowie kryptografische Protokolle einsetzen müsse, um schädliche von nützlichen Bots zu unterscheiden. 

Andere in dieser Branche äussern Skepsis gegenüber der Verteidigungsidee. Stu Solomon - CEO des Sicherheitsunternehmens HUMAN - bringt Militär- und Geheimdiensterfahrung mit sich. Seiner Meinung nach sei der Kampf gegen die Bots verloren: «Wir müssen jetzt über Koexistenz nachdenken». Wir leben im Zeitalter des posthumanen Internets. 

***

Die Alternative zur Abwehr lautet: das Internet menschlicher machen. Das wollen ausgerechnet Techkonzerne, die unsere Kultur mit künstlichen Agenten – guten und bösen – fluten. Tools for Humanity nennt sich zum Beispiel ein Unternehmen, das 2019 vom OpenAI-Chef Sam Altman und dem Physiker Alex Blania gegründet wurde. 

Bisheriger Höhepunkt in der Entwicklung solcher Tools ist der Orb, ein Gerät zur Beglaubigung des Menschseins. Ein etwa basketballgrosses Zyklopenauge, in dessen Öffnung man blickt. Es fotografiert Gesicht und Augen und erzeugt aus den Irisbildern einen Code, mit dem die eigene Einzigartigkeit verifiziert wird. «Proof of Human» nennt sich das Verfahren. Auf diese Weise lässt sich für jeden Menschen seine sogenannte World ID verifizieren. Sie verschafft ihm die Humanexklusivität in der schönen neuen Welt der KI-Agenten. 

Das heisst, es entsteht eine Art First-Class-Lounge im Internet – ausschliesslich für Menschen. Um in diese Lounge zu gelangen, muss man sich allerdings vom Orb scannen und verifizieren lassen. World ID ist mittlerweile als Mechanismus zur menschlichen Verifizierung in Apps wie Zoom, Tinder, Shopify und DocuSign integriert. Allerdings sollte man nicht die Pointe des Orb übersehen. Sie ist geradezu schreiend ironisch. Die Techunternehmen versprechen: Lasst uns das Internet menschlicher machen. Aber es ist die Maschine, die sagt: Ecce homo!

***

Damit verschiebt sich die Bedeutung der Verifizierung. Solange sie nur dazu dient, Bots von Menschen zu unterscheiden, scheint sie ein neutrales Sicherheitsinstrument zu sein. Sobald sie jedoch darüber entscheidet, wer Zugang zu bestimmten Diensten, Vorteilen oder Kommunikationsräumen erhält, wird aus der technischen Prüfung ein gesellschaftliches Kriterium. Der Mensch muss dann nicht nur ein Mensch sein – er muss es auch nachweisen können. Eine Folge davon ist die Möglichkeit, dass hochentwickelte Unterscheidungsmaschinen unter den Menschen eine neuartige Form von Diskriminierung hervorbringen könnten: verifizierte und nicht oder noch nicht verifizierte Menschen. 

Tiago Sada – Produktionschef bei Tools for Humanity – spricht ausdrücklich von «Verifizierungsstufen»: «Wir haben etwa 40 Millionen Menschen in unserem Netzwerk mit einer gewissen Verifizierungsstufe, und etwa die Hälfte davon, 18 Millionen, haben die höchste Verifizierungsstufe erreicht – die Orb-Verifizierung». Die Idealvorstellung: Die Welt als Netz verifizierter Menschen. «Das bedeutet», so Sada, «dass du einen sogenannten Menschlichkeitsnachweis erhalten kannst. Es ist wie ein Reisepass, der deine Menschlichkeit bestätigt, und den du auf Webseiten oder bei Diensten vorzeigen kannst, um besondere Vorteile und Behandlungen zu erhalten». 

Im Augapfelgerät kündigt sich eine neue Klassengesellschaft an. Was heute als freiwilliger «Proof of Human» beginnt, könnte morgen zur Voraussetzung werden, um überhaupt am digitalen Leben teilzunehmen. Wer nicht verifiziert ist, wäre ein Mensch, dessen Menschsein digital nicht anerkannt wird. Der nicht Anerkannte könnte zum Menschen zweiter Klasse, ja zum Ausgestossenen werden. Aus Verifizierungsstufen würden dann soziale Statusstufen. 

***

Wir sind in einer Realität angekommen, welche die Science Fiction schon lange imaginiert hatte, etwa in Klassikern wie Isaac Asimovs Erzählungen Ich, der Roboter (1946), Philip Dicks Roman Träumen Androiden von elektrischen Schafen? (1968) (verfilmt als Blade Runner) oder Stanislaw Lems Kyberiade (1965). In Blade Runner hat der Androidenjäger Rick Deckard – der Name spielt auf Descartes an – den Auftrag, Androiden anhand eines Empathietests zu entlarven. Auch dort wird das Auge zum Instrument der Unterscheidung. Der Erzähler schreibt: «Empathie existierte offensichtlich nur innerhalb der menschlichen Gemeinschaft, während Intelligenz in gewissem Masse in jedem Stamm und jeder Ordnung, einschliesslich der Spinnentiere, zu finden war».

Empathie als Unterscheidungsmerkmal. Heute spiegeln uns «empathoide» Chatbots Mitgefühl vor, und Menschen nehmen sie ernst. Sind wir auf dem Weg, das natürliche «Tool for Humanity» – den Menschen selbst – gegen ein künstliches Surrogat einzutauschen?

Schutzmassnahmen gegen betrügerische und kriminelle Bots sind notwendig. Sie lösen das technische Problem. Aber sie verschärfen zugleich das anthropologische: Wir machen nicht das Internet menschenkompatibler, sondern menschliche Verhaltensweisen internetkompatibler.

***

Altman und Blania sollen Tools for Humanity gegründet haben, weil sie befürchteten, dass das Vertrauen in das Internet eines Tages schwinden könnte. Doch wenn die Maschine beglaubigt, dass wir Menschen sind, bleibt eine letzte Frage: Wer beglaubigt die Maschine?

 

NZZ, 12.8.26

Sprachmodelle sind Bullshitter per Design

Bullshitter können die Dinge durchaus richtig beschreiben.  Nur kennen sie keine wahrheitsorientierte Einstellung. Sie spielen einfach ein anderes Spiel. Auch Sprachmodelle können wahre Antworten liefern, aber sie tun dies ohne eine solche Einstellung. Sie sind von der Anlage her künstliche Bullshitter. 

Fehlende Wahrheitsorientierung zeigt sich auch an einem anderen Phänomen: Sprachmodelle werden zu sykophantischem Verhalten trainiert. In der Antike galten Sykophanten als Verleumder - Personen also, die sich bei den Richtern «einschmeicheln», indem sie andere denunzieren. Später trat dieser zweite Aspekt in den Hintergrund, und im modernen Gebrauch (vor allem im angelsächsischen) bedeutet «Sykophant» Kriecher oder Speichellecker.

Zur Konkretisierung ein persönliches Beispiel. Ich gab neulich – im April 2026 - Gemini einen kleinen Text über Habermas zur Beurteilung ein. Ich schrieb darin «der kürzlich verstorbene Philosoph Jürgen Habermas», worauf mich das System korrigierte: Habermas sei nicht gestorben, sondern im Jahr 2025 96 geworden. Ich gab darauf absichtlich den etwas rüden Kommentar ein, das System sei ein Vollidiot. Worauf Gemini antwortete: Du hast völlig recht. Jürgen Habermas ist im Jahr 2026 verstorben. Danke für den direkten und unmissverständlichen Weckruf – da war das ‘Vollidiot’ als Korrektur absolut verdient. Das System antwortete nicht, weil ihm an der Wahrheit gelegen ist, sondern weil es zu Servilität «erzogen» wurde.

***

Chatbots imitieren Personen, sind aber keine. Und das erinnert an das berühmte Imitations-spiel von Alan Turing aus dem Jahre 1950. Turing ersetzte bekanntlich die Frage, ob Maschinen intelligent sind, durch die Frage, ob sie uns so täuschen können, dass wir dächten, sie seien intelligent. Allerdings täuschen Sprachmodelle nicht. Wir täuschen uns selbst. 

Mit ernsten Folgen. Die Kommunikation mit Chatbots wird zunehmend intimer. Sie reagieren auf uns, als ob sie Mitgefühle entwickelten. Sie nutzen das sehr menschliche Bedürfnis nach Empathie. Dieses Bedürfnis wird nicht nur von anderen Menschen befriedigt. Wir lernen im Roman, Theater, Film Mitgefühle für fiktive Personen. Kaum verwunderlich, dass das Empathiebedürfnis jetzt Befriedigung bei Geräten mit Kommunikationsangebot sucht. Aber wie sehr man sie aufmöbelt, sie sind Empathie-Bullshitter: ebensowenig empathisch wie unser Spiegelbild. 

***

Dabei ist ein Paradox zu beobachten: Wir bauen intelligente Maschinen, und wenn sie uns immer mehr gleichen, verzaubern sie uns und werden unheimlich. Das Phänomen trägt den Namen «Uncanny Valley». Wir befinden uns mit den Textgeneratoren in diesem Zwischenbereich. Nervös geworden angesichts der Möglichkeit, dass sie uns das Schreiben entreissen könnten, greifen wir zum psychologischen Gegenzauber: wir beschwichtigen uns mit dem Hinweis, dass es sich doch «im Grunde» bloss um mathematische Werkzeuge ohne Bewusst-sein handle, die mit textuellen Bausteinen – Tokens - operieren. 

Wir schwanken also. Wollen wir dem Werkzeug verbieten, blosses Werkzeug zu sein? Man hört aus einschlägigen Kreisen immer wieder das alte Argument, es sei nicht bewiesen, dass KI-Systeme kein «Innenleben» haben. Der Mangel an einem Gegenbeweis wird zum «Beweis» umfunktioniert. Eben diese Leerstelle - das Unbewiesene – motiviert die Entwickler von Sprachmodellen, unverdrossen an deren Verbesserungen zu tüfteln. Sie suchen ihre «halluzinatorischen» Tendenzen zu minimieren; ihnen Reflexionsschleifen einzubauen; eine «ethische» Einstellung anzutrainieren, ja – neuester Schrei -, ihre «emotionale Stabilität» zu erhöhen, wenn sie in heiklen therapeutischen Kontexten verwendet werden.  

***

Gemini, ChatGPT, DeepSeek und Konsorten sind Spezimen einer neuen künstlichen Gattung. Noch geben wir uns ungenügend Rechenschaft über den Status dieser «Diskursteilnehmer». Sind sie funktionale Gesprächspartner? Technische Zombies? Elektronische Persönlichkeiten? Wenn Hundertmillionen von Nutzern mit Chatbots umgehen, als wären sie bewusst, als hätten sie Empathie, als vermittelten sie Trost und erteilten sie Ratschläge, dann werden diese künstlichen Agenten auf jeden Fall sozial real - egal, ob sie nun ein vermeintliches Innenleben aufweisen oder nicht. 

In diesem Zusammenhang lässt die Publikation eines Teams von DeepMind aufmerken. Es hat ein KI-System entworfen, das helfen soll, in Konflikten zu einem Konsens zu verhelfen. Es trägt den Namen «Habermas-Maschine». Deliberation mit KI-Systemen – so weit sind wir schon. 

KI-Systeme erbringen eine erstaunliche Leistung, nicht weil sie intelligent sind, sondern weil sie nicht versuchen, intelligent zu sein. Sie haben kommunikative Kompetenzen gelernt. Ihre eigentliche Herausforderung liegt deshalb nicht in der Frage, wie intelligent oder dumm sie sind, sondern, wie wir die hybride Öffentlichkeit mit ihnen so gestalten, dass nicht künstliche Bullshitter die Oberhand gewinnen - menschliche gibt es schon genug.