Maschinen sprechen und verstehen nicht; sie haben kein Bewusstsein (John Searle)

Es sind zwei Impulse von Searle, die wir hier referieren. Sie stellen in unterschiedlicher Weise die Vergleichbarkeit oder – so die stärkere These – Identität kognitiver Leistungen von Mensch und Maschine in Frage. Das eine ist das aus der Sprachauffassung Searls gewonnene Argument mangelnder Intentionalität; das andere ist das aus seiner Philosophie des Geistes abgeleitete Argument eines mangelnden Bewusstseins, das ja Voraussetzung für Verstehen ist.

1. Das Argument mangelnder Intentionalität

Es macht uns Menschen aus, dass wir mit Sprache Zwecke, Intentionalität verbinden, dass – m.a.W. – Sprache immer einen Kontextbezug hat. Searle zufolge ist die «intentionale Bezugnahme der Kommunikationsteilnehmer auf mögliche Sachverhalte [also Kontexte, Situationen] eine konstitutive Bedingung dafür, dass sprachlichen Aussagen überhaupt eine Bedeutung zukommt.» (Markus Rüther: Searle, John, in: information philosophie 2010/4).

In seinem sprachphilosophischen Hauptwerk Speech Acts, das inzwischen Aufnahme in linguistische Lehrbücher gefunden hat, folgt er der fundamentalen These der Sprachakttheorie von J. Austin: «by saying something, we do something» (ders.: How to do things with words, 1962).

Searle weist nun nach, dass abstrakte Sätze mit demselben propositionalen Gehalt etwas völlig unterschiedliches bedeuten können.

Ein berühmtes Beispiel ist der Satz «Sam raucht gewohnheitsmäßig». Bei gleichem propositionalen Gehalt – immer geht es um Sam und sein gewohnheitsmäßiges Rauchen – kann er völlig unterschiedliches bedeuten, je nachdem, ob er feststellend, fragend, befehlend oder wünschend gemeint ist:

1. Sam raucht gewohnheitsmäßig.
2. Raucht Sam gewohnheitsmäßig?
3. Sam, rauche gewohnheitsmäßig!
4. Würde Sam doch gewohnheitsmäßig rauchen!

Searle spricht von unterschiedlichen sog. «illokutionären Akten» beim Sprechen. Fehlen diese, ist nicht anzugeben, was gemeint ist. Semantik geht nicht ohne Pragmatik, Reden geht nicht ohne Intentionalität. Fehlt die Intentionalität, sind Äußerungen nichts anderes als die Ausbreitung von Schallwellen.

Computer/ KI können aber diese Intentionalität nicht besitzen. Sie verbinden mit dem, was sie verlautbaren, keine Intentionen und Zwecke.

Sie verarbeiten dekontextualisierte Informationen. Sie haben kein Bewusstsein für die Situation, in der etwas «gesagt» wird und die über die Bedeutung entscheidet (je nachdem als Feststellung, als Ironie, als Übertreibung, als Sarkasmus, als rhetorische Frage etc.).

Um das zu verdeutlichen, hat Searle ein Gedankenexperiment erfunden, das zu den am meisten diskutierten in der analytischen Philosophie zählt: das sog. chinesische Zimmer.

2. Das Argument mangelnden Verstehens: das chinesische Zimmer

In seinem berühmten Aufsatz Minds, Brains, and Programs beschreibt er den Versuch, der später auch zu einer sehr kritischen Bewertung des angeblichen Verstehens von KI geführt hat: 

Die Inszenierung

«Angenommen, ich bin in einem Raum eingesperrt und bekomme einen großen Stoß chinesischer Schriften. Nehmen wir weiterhin an (was in der Tat der Fall ist), dass ich kein Chinesisch kann, weder geschrieben noch gesprochen, und dass ich nicht einmal sicher bin, ob ich die chinesische Schrift als eine chinesische Schrift erkennen kann, die sich beispielsweise von der japanischen Schrift oder bedeutungslosen Kringeln unterscheidet. Für mich besteht die chinesische Schrift nur aus bedeutungslosen Kringeln.

Nehmen wir nun weiter an, dass ich nach diesem ersten Stapel chinesischer Schriften einen zweiten Stapel chinesischer Schriften zusammen mit einer Reihe von Regeln für die Korrelation des zweiten Stapels mit dem ersten Stapel bekomme. Die Regeln sind auf Englisch und ich verstehe diese Regeln genauso gut wie jeder andere englische Muttersprachler. Sie ermöglichen es mir, einen Satz formaler Symbole mit einem anderen Satz formaler Symbole in Beziehung zu setzen, und «formal» bedeutet hier nur, dass ich die Symbole vollständig anhand ihrer Formen identifizieren kann. Nehmen wir nun auch an, ich erhalte einen dritten Stapel chinesischer Symbole zusammen mit einigen Anweisungen, wiederum auf Englisch, die es mir ermöglichen, Elemente dieses dritten Stapels mit den ersten beiden Stapeln in Beziehung zu setzen, und diese Regeln weisen mich an, wie man bestimmte chinesische Symbole mit bestimmten Arten von Formen als Reaktion auf bestimmte Formen zurückgibt, die mir im dritten Stapel gegeben wurden. Mir ist nicht bekannt, dass die Leute, die mir all diese Symbole geben, den ersten Stapel ‚ein Skript’ nennen, den zweiten Stapel eine ‚Geschichte’ und den dritten Stapel ‚Fragen’. Außerdem nennen sie die Symbole, die ich ihnen als Antwort auf den dritten Stapel gegeben habe «Antworten auf die Fragen». Und das Regelwerk auf Englisch, das sie mir gegeben haben, nennen sie ‚das Programm’.»

Aufbau des Experimentes

Es empfiehlt sich, etwas Ordnung in die Darstellung zu bringen und das Szenario in seiner Struktur genauer zu erfassen:

1. Das Subjekt, das hier in der Ich-Perspektive schreibt, befindet sich in einem abgeschlossenen, zugesperrten Raum. Offenbar ist es isoliert, hat also – so darf man unterstellen – keine Kommunikations- und Erklärungsmöglichkeiten. Es soll niemanden fragen können, was etwas bedeutet. 
2. Es gibt offenbar nur eine Öffnung, die aber physisch nicht weiter beschrieben wird. Vorstellen darf man sich so etwas wie einen Türschlitz, durch den ihm Stapel von Papieren ohne Kommentar gereicht werden. 
3. Von dem Subjekt ist nur bekannt, dass es (a) kein Chinesisch versteht. Die – unterstellt – chinesischen Schriftzeichen auf den Papieren sind für ihn nicht mehr als bedeutungslose Kringel. Es hat also keinerlei kognitiven Zugang zu ihnen. Es kann aber (b) gut Englisch und kann die ebenfalls hereingeschobenen Papiere als englischsprachig rekonstruieren und verstehen.
4. Insgesamt gibt es im Raum fünf verschiedene Papiere bzw. Papierstapel (amerik. batch ist nicht ganz eindeutig). Batch 1 und Batch 2 sind jeweils Stapel mit chinesischen Papieren, wobei das eingeschlossene Subjekt das noch nicht einmal weiss. Ihm kommen die einzelnen Zeichen auf den Papieren wie bedeutungsloses Gekritzel, Kringel vor. Für die Verknüpfung des ersten mit dem zweiten Stapel erhält unser Raumbewohner ein für ihn verständliches, englischsprachiges Skript; das ist also das dritte Schriftstück. Es gibt offenbar Vorgaben für die richtige Korrelierung, ist also eine Art Programm, um die an sich unverständlichen Informationen, wenn sie denn welche sind, in Beziehung zu setzen. Sie Symbole/Kringel werden nicht inhaltlich verstanden, aber sie sind an Hand ihrer Formen vollständig zuzuordnen. Als viertes Papier erhält der Raumbewohner einen weiteren Stapel mit chinesischen Papieren, die er genauso wenig versteht wie die beiden anderen. Als fünftes Papier bekommt er ein zweites englisches Schriftstück, wiederum mit Zuordnungsregeln. Diese dienen dazu, das dritte chinesische Konvolut mit den ersten beiden zu korrelieren, also alle drei in einen Zusammenhang zu setzen, wohlgemerkt, ohne dass die jeweiligen Inhalt bekannt wären.
5. Das fünfte, also zweite englische Schriftstück enthält nun auch noch Anweisungen, auf den dritten chinesischen Stapel zu reagieren. Inhaltlich bedeutet das immer noch keine Kenntnis, wohl aber ist impliziert, dass das dritte chinesische Konvolut derart ist, dass es eine Reaktion braucht, also so etwas wie eine Frage ist, die der Raumbewohner allerdings inhaltlich nicht versteht. Dieses zweite englische Papier erlaubt es aber auf Grund der Zuordnungsregeln, die es enthält, eine Reaktion zu bilden. Es wäre ganz offenbar unangemessen, vom Standpunkt des Raumbewohners aus, davon zu sprechen, dass er hier eine Antwort formuliere, auch wenn er das für die Menschen außerhalb seines mentalen Käfigs in der Sache insofern tut, als diese das nun von ihm verfasste sechste Schriftstück, das nicht eigens erwähnt wird, als eine solche auf die Frage des dritten Stapels verstehen. Möglich wird eine solcche Reaktion/«Antwort» dadurch, dass ihm das zweite englische Papier ihm zeigt, «wie man bestimmte chinesische Symbole mit bestimmten Arten von Formen als Reaktion auf bestimmte Formen zurückgibt, die mir im dritten Stapel gegeben wurden». Wieder geht es also ausdrücklich nicht um Inhalte, sondern um Formen; nicht um Verstehen, sondern um Zuordnungsregeln von Symbolen mit bestimmten Formen zu Symbolen mit bestimmten Formen. Unser anonymer Raumbewohner weiss nicht, was diese Symbole und die sie kennzeichnenden Formen bedeuten; er kann sie allerdings der Form identifizieren.
6. Außerdem ist ihm nicht bekannt, ist ihm nicht im Bewusstsein, kann er nicht verstehen: Es handelt sich bei den vier chinesischen Schriftstücken: den drei hereingereichten und dem von ihm hergestellten, um: ein «Skript», eine «Geschichte», eine «Frage» und seine «Antwort». Das wissen nur die, die sich außerhalb der Box befinden. Nur sie halten die physikalischen Gegenstände aus Papier mit Gekritzel für mentale Realitäten. Am wichtigsten dabei ist natürlich: Der Mann in der Kiste weiss noch nicht einmal selbst, dass er eine «Antwort» produziert hat.

Searles Antwort auf die Turing-Suggestion

Der Sinn der komplizierten Anordnung erschließt sich, wenn man sich vergegenwärtigt, dass Searle hier eine Szenerie erstellt, die eine Analogie zum Handeln von KI darstellt und Rückschlüsse auf die Frage erlaubt, ob KI Bewusstsein hat und selbst Wissen besitzt. Wir verdeutlichen auch dies: 

1. Der Mann in der Kiste erinnert an das berühmte Turing-Experiment. Mit diesem Test wollte der Physiker Alan Turing 1950 die Frage beantworten, ob Maschinen denken können, also ein dem Menschen vergleichbares Bewusstsein besitzen. Im – modifizierten – Test muss ein menschlicher Beobachter in einem Dialog mit zwei Gesprächspartnern, die er nicht sehen kann und von denen er abgeschieden ist, entscheiden, welcher der beiden ein Mensch und welcher eine Maschine ist. Wenn der Beobachter das auf Grund der Antworten und des Gesprächsverlaufs nicht mehr entscheiden kann, wenn die Maschine also den Menschen über ihre Identität täuschen kann, besitzt sie Intelligenz und kann man ihr ein menschliches Denkvermögen nicht abstreiten. Searle zeigt: Es kann sehr wohl sein, dass eine Maschine Antworten gibt (auf generative KI übertragen: Texte produziert), die Menschen als sinnvoll erachten und die Bedeutung haben, weil sie richtig sind, orientieren etc., ohne dass sie Bewusstsein hat oder korrekter: haben muss. Es wird also streng genommen nicht bestritten, dass eine KI auch einmal Bewusstsein haben kann, aber es wird bestritten, dass die Produktion sinnvoller Äußerungen, Texte etc. ein hinreichendes Argument für das Vorhandensein von Bewusstsein ist.
2. Searle dreht dazu die gängige Fragerichtung in genialer Weise um. Wir fragen meist: Funktioniert der Computer wie ein Mensch bzw. ein menschliches Gehirn? Und wir folgern dann vielfach: Dann muss er doch auch so etwas wie ein menschliches Bewusstsein haben. Searles Versuchsanordnung funktioniert genau umgekehrt. Der Mensch in der Box funktioniert wie ein Computer, wird quasi als KI installiert, und Searle zeigt dann: Es ist überhaupt nicht nötig, dass der, der da nach Programm handelt, ein Bewusstsein hat. Er wird lediglich mit ihm nicht verständlichen «Informationen» gefüttert, die er nicht versteht, den squiggles auf den Papieren als Datenträgern. Der Mann in der Kiste kann kein Chinesisch, er weiss noch nicht einmal, dass es sich um Chinesisch handelt; er hat kein Bewusstsein und Wissen davon, womit er da umgeht; und er kann noch nicht einmal – eine nette Pointe – die Sprache als Sprache identifizieren, mit der er da umgeht. Für ihn sind die chinesischen Schriftzeichen nur Gekritzel. Und das reicht, um eine – Menschen! – intelligent erscheinende Auskunft zu geben. Ein inhaltliches Erkennen ist ausgeschlossen. Es ist nicht Voraussetzung für eine intelligent erscheinende «Informations»-Verarbeitung. Es zeigt sich, wie unkritisch es ist, Maschinen zu Subjekten zu machen und ihnen dann womöglich Bewusstsein zu unterstellen. Der Mensch in der Kiste, den Searle hier inszeniert, funktioniert wie ein Computer. Searle zeigt: Es reicht, wenn wir einen Computer, eine KI, so denken wie diesen Menschen. Genauso wenig, wie dieser Mensch ein Bewusstsein und Wissen haben muss, genauso wenig müssen wir es für KI unterstellen. 
3. Wer intelligent ist, das sind die Menschen, die den von jeglichem Bewusstsein befreiten Menschen in der Box, der nicht weiss, was er tut, mit «Informationen» füttern, die er nicht versteht (Skript, Geschichte, Fragen). Intelligent sind die von Menschen gemachten Programme. Intelligent sind die Anweisungen, die der Mensch in der Kiste – ohne zu verstehen, was er tut – quasi «blind» anwendet. Der Mensch in der Kiste versteht nicht nur die Informationen nicht, die er als Stapel bekommt, er versteht sie noch nicht einmal als Informationen, und er versteht v.a. nicht, dass er sogar eine sinnvolle Antwort leistet. M.a.W.: Nur weil uns eine Hervorbringung generativer KI als «intelligent» erscheint, ist sie mitnichten notwendig von einem Bewusstsein generiert worden. Es reicht ein regelgerechtes Vorgehen.

Ergebnis

Bezogen auf die Turing-Intuition ist das schlagend: Das bloße, gekonnte Imitieren menschlicher Intelligenz bedeutet nicht, dass diese Simulation auf Intelligenz beruht und notwendig auf Bewusstsein schließen lassen muss. Der Produzent intelligenter Antworten im chinesischen Zimmer hat kein Bewusstsein von dem, was er produziert hat. Bewusstsein, Intelligenz ist nicht notwendig und nicht wichtig für das Produzieren von Dingen/ Ergebnissen, die Menschen als bedeutungsvoll erkennen und die Bedeutung haben, weil sie real orientieren, strukturieren und Anweisungen geben.

Anhang: Der Searle-Text im englischen Original

«Suppose that I’m locked in a room und given a large batch of Chinese Writing. Suppose furthermore (as is indeed the case) that I knew no Chinese, either written or spoken, and that I’m not even confident that I could recognize Chinese writing als Chinese writing distinct from, say, Japanese writing or meaningless squiggles. To me, Chinese writing is just so meaningless squiggles.

Now suppose further that after this first batch of Chinese writings I am given a second batch of Chinese script together with a set of rules for correlating the second batch with the first batch. The rules are in English, and I understand this rules as well as any other native speaker of English. They enable me to correlate one set of formal symbols with another set of formal symbols, and all that ‚formal‘ means here is that I can identify the symbols entirely by their shapes. Now suppose also that I’m given a third batch of Chinese Symbols together with some instructions, again in English, that enable me to correlate elements of this third batch with the first two batches, and these rules instruct me how to give back certain Chinese Symbols with certain sorts of shapes in response to certains of shapes given me in the third batch. Unknown to me, the people who are giving me all of these symbols call the first batch ‚a script‘, they call the second batch a ‚story.‘ and the call the third batch ‚questions.‘ Furthermore, they call the symbols I give them back in resonse to the third batch ‚answers to the questions.‘ and the set of rules in English that they gave me, they call ‚the program.»

(Minds, brains, and programs. Behavioral and Brain Sciences 3 (3): 417-457)

Foto von Aideal Hwa auf Unsplash