# taz.de -- Einfluss auf den Algorithmus: Das System spinnt
       
       > Menschen und Algorithmen beeinflussen sich gegenseitig.
       > Ausnahmesituationen wie die Coronapandemie bringen die Systeme an ihre
       > Grenzen.
       
 (IMG) Bild: Durch das neue Konsumverhalten ist der Algorithmus überfordert
       
       Wer vor wenigen Wochen auf Amazon nach Handseife, Desinfektionsmittel oder
       Toilettenpapier suchte, traute seinen Augen nicht. Da wurden von Händlern
       Mondpreise für Hygieneartikel aufgerufen, die im Drogeriegeschäft für
       gewöhnlich nur ein paar Euro kosten. Doch Coronazeiten sind eben keine
       normalen Zeiten.
       
       Weil die Supermarkt- und Drogeriemarktregale leergefegt waren und die
       Produzenten mit der Lieferung kaum hinterherkamen, suchten die Leute im
       Onlinehandel fieberhaft nach Toilettenpapier und Atemschutzmasken. Und das
       ließen sich die Händler entsprechend bezahlen. Doch möglicherweise sind
       diese sprunghaft gestiegenen Preise nicht allein auf den gewöhnlichen
       Marktmechanismus von Angebot und Nachfrage zurückzuführen, sondern auf
       Algorithmen.
       
       Beim „Dynamic Pricing“, einer Preisbestimmungsstrategie, die schon länger
       bei Online-Buchungsplattformen angewandt wird, ermitteln Algorithmen anhand
       von Faktoren wie Wochentag, Tageszeit oder Wetter die Nachfrage und
       berechnen daran angepasst die Preise. Machine-Learning-Algorithmen lernen
       anhand historischer Daten, wann besonders viele Spielzeuge bestellt werden,
       welche Produkte Menschen vor einem Hurrikan ordern usw.
       
       Wenn beispielsweise im Sommer nach Badehosen gesucht wird, merkt sich der
       Algorithmus: Aha, jetzt steigt die Nachfrage, jetzt muss ich die Preise
       erhöhen! Das Problem dabei: Jedes Modell ist nur so gut wie seine
       Datengrundlage. Garbage in, garbage out, lautet ein alter Spruch in der
       Informatik. Wer Müll hineinwirft, bekommt Müll heraus. Wenn Menschen zu
       stark von ihren Konsumgewohnheiten und Routinen abweichen, geraten die
       lernenden Systeme ins Schlingern. In der Folge produzieren sie erratische
       Daten, die dann zum Beispiel zu Mondpreisen führen können.
       
       ## Fehlendes Datenmaterial
       
       Genau das war offenbar im April der Fall: Statt wie gewöhnlich nach
       iPhone-Hüllen oder Ladekabeln suchten die Verbraucher plötzlich nach
       Toilettenpapier und Masken – Produkten, die sonst kaum nachgefragt werden.
       Dieses ungewöhnliche Verhalten irritierte die Vorhersage-Algorithmen
       offenbar derart, dass sie Angebot und Nachfrage kaum noch sinnvoll
       quantifizieren konnten.
       
       Für das Konsumverhalten in den 48 Stunden vor einem Hurrikan gibt es recht
       genaue Daten. So konnten Datenwissenschaftler von Walmart bereits vor
       einigen Jahren in ihren Modellen sehen, dass die Verkaufszahlen von
       Erdbeer-Pop-Tarts unmittelbar vor Wirbelstürmen um das Siebenfache höher
       waren als normal. Die Logistiker können sich darauf einstellen, indem sie
       den Lagerbestand erhöhen. Für eine globale Pandemie gibt es jedoch keine
       historischen Daten, mit denen man eine Maschine trainieren könnte. Und das
       hat Folgen. In Indien, so berichtet die Fachzeitschrift Technology Review,
       brach ein automatisiertes Lagerhaltungssystem zusammen, weil die
       Bestellmengen die Prognosealgorithmen verwirrten. So schnell, wie sich die
       Kauflaunen manisch-panischer Verbraucher änderten, konnten
       Softwareingenieure die Modelle nicht nachjustieren.
       
       Die Fälle werfen ein Schlaglicht auf die Mensch-Maschine-Interaktion, die
       in den nächsten Jahren zur zentralen Schnittstelle sozialer Systeme werden
       wird. Bei der Diskussion um intelligente Algorithmen wird oft verkannt, wie
       abhängig diese Systeme von ihrer Umwelt sind. Das Verhalten des Menschen
       beeinflusst die Maschine – und umgekehrt.
       
       ## Zu viel zum Verarbeiten
       
       Die entscheidende Frage ist deshalb, in welche Richtung die Kausalkette
       jeweils wirkt, ob also die Maschine rotiert, weil der Mensch durchdreht,
       oder ob der Mensch auch deshalb irrational handelt, weil ihn erratische
       Systeme bei seinen Entscheidungen beeinflussen – und sich die
       Wirkungszusammenhänge über automatisierte Feedbackloops wechselseitig
       verstärken. Wurden die Panikkäufe etwa durch die Algorithmen von
       News-Aggregatoren befeuert, die alarmistisch-katastrophistische Meldungen
       über Engpässe priorisierten, weil sie so oft geklickt wurden? Die
       Volatilität der Preise könnte ein Indiz für die Schwächen eines immer
       börsenähnlicheren Informationssystems sein, wo (etwa bei Google oder
       Amazon) in Millisekunden Auktionen um die besten Anzeigenplätze
       stattfinden.
       
       Am 6. Mai 2010 brach der Dow Jones binnen weniger Minuten um 1.000 Punkte
       ein, um sich kurz darauf zu erholen. Über die Ursache des plötzlichen
       Kurseinbruchs herrscht bis heute Unklarheit. Eine Hypothese: Der Flash
       Crash wurde durch Trading-Bots, hochleistungsfähige Algorithmen, ausgelöst,
       die beim Unterschreiten eines Aktienkurses automatisch eine Verkaufsorder
       ausführten – eine Art programmierter Panikverkauf. In den darauffolgenden
       Jahren kam es immer wieder zu solchen rätselhaften Einbrüchen, die zum Teil
       auch durch bloße Tippfehler induziert wurden.
       
       An Börsen werden seit einigen Jahren „nachrichtenlesende Algorithmen“
       (news-reading algos) eingesetzt, die Überschriften von Meldungen oder
       Tweets scannen, um daraus Marktsignale abzuleiten. Rund um die
       Brexit-Abstimmung im britischen Parlament 2019 produzierten
       Nachrichtenagenturen so viele Headlines, dass die Computer diese Datenmenge
       nicht mehr verarbeiten konnten. Befeuert durch den Schlingerkurs des
       Parlaments und der Regierung erzeugten Nachrichtenagenturen irreführende
       Marktsignale, ein statistisches Rauschen, das zu verzerrten
       Marktentscheidungen führte und Rückkopplungen auf das politische System
       erzeugte. Und womöglich auch dort irrationale Entscheidungen produzierte.
       
       ## Stabilisierung von Systemen
       
       Der frühere FAZ-Herausgeber Frank Schirrmacher hat in seinem letzten Buch,
       „Ego – Spiel des Lebens“ (2013), genau ausbuchstabiert, wie beinahe
       identische Modelle in Börsenalgorithmen, Auktions- und Werbealgorithmen
       sowie in sozialen Netzwerken Eingang fanden.
       
       Schirrmacher schrieb in dem ihm eigenen, raunenden und zu Verschwörung
       neigenden Duktus von einer „mathematischen Weltformel“. Was, fragte
       Schirrmacher, wenn die Welt zum Automaten würde? „Das Problem sind nicht
       die simplifizierten Modelle. Das Problem ist, dass wir Zeugen eines
       Umbruchs werden, in dem diese Modelle die Wirklichkeit codieren und dadurch
       selbst wirklich werden. Und nicht nur das: sie entscheiden darüber, was
       rational ist und was nicht.“ Die Börsen- oder Auktionsalgorithmen, so seine
       düstere Vorahnung, schaffen eine Wirklichkeit, die sie selbst modellieren.
       
       Algorithmen sind, wie Bürokratien im Allgemeinen, strukturkonservative
       Apparate, das heißt, sie stabilisieren zunächst bestimmte Werte- und
       Verhaltenssysteme in der Gesellschaft. Nach der Lehre der Kybernetik ist
       ein System umso stabiler, je deterministischer und prognostizierbarer das
       Verhalten seiner Elemente ist – sprich, wenn der Nutzer sich so verhält,
       wie er es gestern auch getan hat, bleibt alles beim Alten.
       
       ## Lernfähige Algorithmen
       
       Was aber passiert, wenn plötzlich Milliarden Nutzer von einem auf den
       anderen Tag ihr Verhalten ändern und nicht mehr nach Pornos und Fußball
       googeln, lässt sich nicht nur an plötzlichen Preissprüngen in
       Pandemiezeiten, sondern schon länger bei sogenannten „Google-Bomben“
       beobachten.
       
       So riefen Aktivisten dazu auf, auf Reddit ein Foto von Donald Trump mit der
       Ergänzung „idiot“ zu liken, damit bei der Google-Bildersuche nach eben
       jenem Begriff das Konterfei des US-Präsidenten ganz oben aufpoppt. Mit
       Erfolg: Der Google-Algorithmus wurde überlistet. Zwar werden die Modelle
       der Suchmaschine ständig gewartet und verfeinert.
       
       Wenn aber Algorithmen von ihren Nutzern und Programmierern lernen,
       verzerrte Ergebnisse zu produzieren – bei der Google-Suche nach „CEO“
       wurden bis vor kurzer Zeit nur Männer und eine Barbie angezeigt –,
       zementieren sie genau jene Zerrbilder und Stereotype, mit denen sie dann
       wieder trainiert werden. Solange die Nachfrage nach Vorurteilen und
       Toilettenpapier stabil ist, sind es auch die zugrunde liegenden Modelle.
       
       11 Jun 2020
       
       ## AUTOREN
       
 (DIR) Adrian Lobe
       
       ## TAGS
       
 (DIR) Schwerpunkt Künstliche Intelligenz
 (DIR) Algorithmus
 (DIR) Schwerpunkt Rassismus
 (DIR) Schwerpunkt Rassismus
 (DIR) Amazon
 (DIR) Schwerpunkt Meta
 (DIR) Black Lives Matter
 (DIR) Datenschutz
 (DIR) Bundesregierung
 (DIR) China
       
       ## ARTIKEL ZUM THEMA
       
 (DIR) Dekolonialisierung von Algorithmen: Programmierter Rassismus
       
       In KI-Systemen schlummern immer noch rassistische Vorurteile. Der Grund:
       Auch künstliche Intelligenz wird von Menschen gemacht.
       
 (DIR) Facebooks Algorithmen werden geprüft: Diskriminierung im System
       
       Der Internetkonzern Facebook will untersuchen, ob seine Algorithmen
       rassistisch diskriminieren. Dabei ist längst bekannt, dass sie das tun.
       
 (DIR) Kampf um bessere Arbeitsbedingungen: Streiks bei Amazon
       
       An mehreren Standorten haben Beschäftigte des Versandhändlers die Arbeit
       niedergelegt. Sie fordern einen Tarifvertrag und besseren Schutz vor dem
       Coronavirus.
       
 (DIR) Filter bei Facebook und Microsoft: Beim Livetest versagt
       
       Algorithmische Verfahren können mit humaner Wahrnehmung nicht mithalten –
       zeigen zwei im „Guardian“ dokumentierte Fälle.
       
 (DIR) Amazon beendet Kooperation: Polizei vorläufig ohne Amazon
       
       Amazon erlaubt der US-Polizei nicht mehr, eine Software zur
       Gesichtserkennung zu verwenden. Lukrativ aber war der Geschäftszweig eh
       nicht.
       
 (DIR) Neue Strategie vorgestellt: Europa träumt digital
       
       Die EU will künstliche Intelligenz fördern und die Menschen vor ihren
       Auswirkungen schützen. Beides gleichzeitig ist aber schwer machbar.
       
 (DIR) Bayerische KI-Strategie: Pack ma's
       
       Bayern richtet 100 neue Lehrstühle für künstliche Intelligenz ein – und
       sorgt damit für Euphorie an bayerischen Hochschulen.
       
 (DIR) Regeln für Tech-Firmen: Kapitalismus mit Streuseln
       
       Was Europa im Wettbewerb um Software und KI-Lösungen braucht, ist: Profil.
       Es braucht Regeln, die den Datenschutz und die Menschenrechte hochhalten.