# taz.de -- IT-Ethik-Professorin über KI: „Was die Leute wollen, ist nicht das, was ihnen guttut“
       
       > Wie gefährlich ist künstliche Intelligenz wirklich? Und wie könnte sie
       > sicherer werden? Die IT-Ethikprofessorin Judith Simon gibt Antworten.
       
 (IMG) Bild: Hat die Maschine ein Bewusstsein? Und wenn ja, wie viele?
       
       taz: Frau Simon, führende Vertreter von KI-Unternehmen haben vor ernsten
       Gefahren für die Menschheit durch ihre Technologie gewarnt. In Zeiten von
       Klimakrise und Kriegen – müssen wir KI als ähnlich große Gefahr sehen? 
       
       Judith Simon: Es fällt mir schwer, das zu quantifizieren. Klar ist: KI ist
       eine Gefahr. Wenn auch in anderer Weise, als es üblicherweise dargestellt
       wird.
       
       taz: Wie meinen Sie das? 
       
       Simon: Wenn wir über die Gefahren von KI sprechen, dann geht es derzeit in
       der öffentlichen Diskussion vor allem um die sogenannten Frontier-Modelle,
       das sind die derzeit leistungsfähigsten KI-Systeme. Diese sind auf riesigen
       Datenmengen trainiert worden. Sie können, ähnlich wie ChatGPT und Co,
       Bilder und Texte generieren, sie können aber auch komplexere Aufgaben
       übernehmen.
       
       taz: Zum Beispiel KI-Agenten, die etwa mit dem Auftrag eines Reiseziels
       selbständig Flüge und Unterkunft organisieren sollen – aber gerade vor
       allem Schlagzeilen damit machen, andere Systeme anzugreifen. 
       
       Simon: Genau. Die Erzählung einer KI, die irgendwie ausbricht und die
       Menschheit ausrotten will – das halte ich gerade nicht für ein
       realistisches Szenario. Diese Systeme haben Aufgaben bekommen und bei der
       Suche nach Lösungen Sicherheitslücken gefunden und ausgenutzt, sie haben
       keine Absichten. Das heißt aber nicht, dass diese Systeme keine Gefahr
       wären. Kürzlich war das US-Militär in großer Alarmbereitschaft, weil China
       angeblich ein Schiff mit Atomwaffen losgeschickt hatte. Das war falsch, den
       entsprechenden Geheimdienstbericht hatten Menschen mithilfe von KI erstellt
       und dann anscheinend nicht überprüft.
       
       taz: Das Problem ist also nicht die Technik, sondern der Mensch? 
       
       Simon: Das Problem war die Interaktion. Und dass Menschen sich zu stark auf
       die Ergebnisse von KI verlassen, ohne sie zu prüfen.
       
       taz: Die KI-Unternehmen fordern eine Verlangsamung bei der Entwicklung. Was
       halten Sie davon? 
       
       Simon: Leider sind diese Unternehmer wenig glaubwürdig: Einerseits pushen
       sie die Entwicklung permanent weiter ohne Rücksicht auf Konsequenzen,
       andererseits warnen sie – als wären sie nicht selbst verantwortlich. Zudem
       reicht eine Verlangsamung nicht. Die Rahmenbedingungen müssen sich
       grundlegend ändern. Wir haben in der Datenethikkommission der
       Bundesregierung schon 2019 vorgeschlagen, dass es je nach Art des
       KI-Systems effektive Ex-ante-, Ex-post- und Real-Time-Kontrollen geben
       sollte. Das wurde allerdings nicht umgesetzt.
       
       taz: Also etwa eine Zulassung wie bei Medikamenten, die erst auf den Markt
       kommen dürfen, wenn sie geprüft und für sicher befunden wurden? 
       
       Simon: Genau, das wäre Ex-ante-Kontrolle. Im Moment haben wir bei den
       großen KI-Systemen eine Ex-post-Regulierung. Also: Die Systeme kommen auf
       den Markt, und wir gucken hinterher, dass sie keine größeren Schäden
       anrichten. Wenn die Systeme live agieren, bräuchte man zusätzlich
       Real-Time-Kontrollen wie etwa beim algorithmischen Handeln an der Börse.
       
       taz: Die Branche hofft auf Selbstregulierung. 
       
       Simon: Das wird nicht funktionieren. Alleine schon deshalb nicht, weil
       diese Unternehmen sich im Wettbewerb miteinander, aber auch mit China
       sehen. In dieser Situation ist eine Selbstbeschränkung illusorisch.
       
       taz: Wer also sollte für eine Kontrolle zuständig sein? 
       
       Simon: Es müssen unabhängige Institutionen sein, die auch Zugriff auf
       interne Daten der Unternehmen bekommen.
       
       taz: Also so etwas wie eine weltweite KI-Aufsicht, wie sie gerade von
       vielen Seiten gefordert wird? 
       
       Simon: Ja, eine globale Aufsicht wäre gut – die Frage ist, wie schnell sich
       so etwas etablieren lässt. In der EU gibt es das AI Office der
       EU-Kommission, das Vorfälle untersuchen kann. Ein großes Hindernis sind die
       USA, wo viele von den großen Playern sitzen. Die haben kein Interesse an
       konsequenter Regulierung und Donald Trump offensichtlich ebenso wenig.
       
       taz: Für KI-Modelle fehlt es nicht nur an externer Aufsicht – auch die
       Unternehmen selbst wissen nicht, warum ihr Modell zu einem bestimmten
       Ergebnis kommt: das Black-Box-Problem. Wie sollte man damit umgehen? 
       
       Simon: Diese mangelnde Nachvollziehbarkeit ist Kern der
       Sicherheitsprobleme, die wir gerade sehen. Und das Black-Box-Problem ist
       bei diesen hochgradig komplexen Systemen auch nicht komplett lösbar. Es
       gibt zwar Forschung zu „Explainable AI“. Dabei sollen die Modelle unter
       anderem dokumentieren, wie sie zu einem Ergebnis gekommen sind. Aber das
       sind maximal Annäherungen, ein kleiner Lichtstrahl ins Dunkel.
       
       taz: Was folgt daraus? 
       
       Simon: Mindestens bräuchten wir bessere Sicherheits- und
       Qualitätskontrollen, Zulassungsverfahren und Real-Time-Kontrollen. Aber wir
       müssen uns auch fragen, ob wir zulassen wollen, dass KI-Agenten, deren
       Vorgehen nicht nachvollziehbar ist, Handlungen in der Welt ausführen. Daher
       glaube ich, dass die Akteure, die diese Systeme auf den Markt bringen, als
       Unternehmen und auch persönlich für Schäden haften müssen. Dann überlegen
       sie sich sehr gut, ob ihre Software wirklich sicher genug ist.
       
       taz: Jeder Autohersteller ist für Fehler in seiner Technik verantwortlich.
       Warum ist das bei KI anders? 
       
       Simon: Weil hier mit zweierlei Maß gemessen wird. Was in anderen Bereichen
       streng reguliert und geahndet wird, interessiert bei KI anscheinend kaum
       jemanden. Urheberrechte, Datenschutz oder auch Hacking – wenn man
       vergleicht, mit welch horrenden Haftstrafen Hackern gedroht wurde, wenn sie
       Systeme angegriffen haben, wird der Unterschied deutlich.
       
       taz: Nicht alle Probleme von KI-Chatbots sind so offensichtlich. 
       
       Simon: Ja, wir reden im Moment vor allem über die Sicherheit von
       Frontier-Modellen, und die Folgen anderer KI-Systeme geraten dabei häufig
       in den Hintergrund. Etwa die Folgen für den Arbeitsmarkt und die Bildung –
       oder das Problem, dass Chatbots als Freund- oder Therapeutenersatz genutzt
       werden. Die große Verführungskraft dieser Technologie liegt darin
       begründet, dass sie gleichzeitig Zugang zu vielfältigen Informationen
       liefert und man mit ihr sprechen kann. Wir Menschen funktionieren mit
       Sprache – und diese Software ist unserem Sprechen so nah wie sonst nur
       andere Menschen. Daher können wir leicht der Illusion erliegen, ein
       KI-Chatbot wäre ein Freund, hätte ein Bewusstsein. Die Personalisierung der
       Antworten auf Basis der gesammelten persönlichen Daten trägt ihr Übriges
       dazu bei, dass diese Kombination aus vermeintlich allwissender Maschine mit
       menschlichem Touch so verführerisch wirkt. Klar kann sie hilfreich sein,
       aber eben auch wahnsinnig gefährlich.
       
       taz: Die meisten Modelle sind zudem so designt, dass sie die Nutzenden in
       ihrer Position bestätigen. 
       
       Simon: Das ist ein weiteres Riesenproblem. Die ständige Bestätigung durch
       die KI-Chatbots hat ja einen Zweck: Die Nutzenden sollen möglichst lange
       mit ihnen interagieren, möglichst viele Daten hinterlassen. In Fällen, wo
       jemand Wahnvorstellungen oder suizidale Tendenzen hat, haben wir bereits
       gesehen, wie fatal das enden kann. Aber auch für psychisch unauffällige
       Menschen gilt: Es tut uns nicht gut, wenn unser Gegenüber uns die ganze
       Zeit erzählt, wie toll wir sind.
       
       taz: Lässt sich das durch Regulierung ändern? 
       
       Simon: Es ist jedenfalls nicht leicht. Als Reaktion auf einen Suizid in
       Kanada haben die Hersteller ihre KI-Chatbots so verändert, dass sie weniger
       affirmativ waren. Das Problem: Dann waren die Nutzerinnen und Nutzer
       genervt. Wir finden es nämlich durchaus prima, positiv bestärkt zu werden.
       Die Unternehmen entwickeln also das, was die Nutzenden wollen. Aber was die
       Leute wollen, ist nicht unbedingt das, was ihnen guttut.
       
       taz: Hängt das Problem vielleicht auch damit zusammen, dass die meisten
       Nutzenden gar nicht wissen, dass KI-Chatbots einfach nur wahnsinnig gute
       Wortvorhersagemaschinen sind? 
       
       Simon: Es wäre sicher gut, wenn alle Menschen wüssten, dass es statistische
       Maschinen sind, die super in sprachlicher Form sind, aber keine
       Datenbanken. Vielleicht hilft ein Vergleich mit der Wettervorhersage: Wird
       ein wolkenfreier Tag vorhergesagt, stimmt das wahrscheinlich, aber es kann
       eben auch regnen.
       
       taz: Also einfach mehr Bildung? 
       
       Simon: Bildung ist wichtig, aber sie löst nicht alle Probleme. Das sehen
       wir daran, dass selbst Leute, die genau wissen, wie diese Systeme
       funktionieren, dem Gefühl erliegen, die KI würde sie verstehen oder hätte
       gar Bewusstsein. Einfach, weil sie so überzeugend Sprache generiert. Und
       wir Menschen schreiben ihr deshalb Verständnis, Bewusstsein, Empfindungen,
       Gefühle zu. KI-Modelle können zwar in bestimmter Hinsicht „verstehen“, was
       eine Linde ist, etwa weil sie die Worte Baum, Linde, Pflanze, Blatt in
       sinnvolle Zusammenhänge stellen können oder den Begriff dem Bild einer
       Linde zuordnen. Aber sie haben kein Verständnis etwa für Schmerz oder für
       Glück.
       
       12 Oct 2026
       
       ## AUTOREN
       
 (DIR) Svenja Bergt
       
       ## TAGS
       
 (DIR) wochentaz
 (DIR) Schwerpunkt Künstliche Intelligenz
 (DIR) Digitalisierung
 (DIR) Ethikrat
 (DIR) Regulierung
 (DIR) GNS
 (DIR) Social-Auswahl
 (DIR) Social-Auswahl
 (DIR) Kolumne Starke Gefühle
       
       ## ARTIKEL ZUM THEMA
       
 (DIR) KI im Alltag: Chatty, danke für die Hilfe, ab jetzt lieber ohne dich
       
       Unsere Autorin nutzt Künstliche Intelligenz seit einiger Zeit für die Uni.
       Und fragt sich inzwischen: Werde ich durch den Chatbot faul?
       
 (DIR) Anthropics Ablenkungsmanöver: Ja, KI wird uns alle töten. Aber anders, als ihr denkt
       
       Die Tech Bros behaupten, dass die KI die Menschheit auslöschen könnte. So
       eine lächerliche Behauptung! Die Bedrohung ist viel unmittelbarer.
       
 (DIR) Alternativer Nobelpreis: Kämpferin für eine bessere Technologie
       
       Künstliche Intelligenz muss nicht konzernorientiert sein, findet die
       Informatikerin Timnit Gebru. Die Preisträgerin will die Technologie
       alternativ denken.
       
 (DIR) Künstliche Intelligenz: Denken wie das verbreitete Mittelmaß
       
       KI ist unvereinbar mit emanzipierten und freiheitlichen Gesellschaften.
       Dabei handelt sich nicht um einen Designfehler, sondern sie ist so gedacht.