# taz.de -- Dekolonialisierung von Algorithmen: Programmierter Rassismus
       
       > In KI-Systemen schlummern immer noch rassistische Vorurteile. Der Grund:
       > Auch künstliche Intelligenz wird von Menschen gemacht.
       
 (IMG) Bild: Geflüchtete werden in Europa mit Fingerabdrücken registriert, als wären sie Kriminelle
       
       Wer in Großbritannien ein Visum beantragt, dessen Daten wurden bis vor
       Kurzem von einem Algorithmus gescreent. Die Software weist jedem
       Antragsteller, der für einen Studien- oder touristischen Aufenthalt in das
       Land einreisen will, ein grünes, gelbes oder rotes Risiko-Rating zu. Das
       automatisierte Verfahren wurde vom [1][zuständigen Home Office Anfang
       August ausgesetzt].
       
       Der Grund: Der Algorithmus war rassistisch. Die Behörde soll eine geheime
       Liste mit „verdächtigen Nationalitäten“ geführt haben, die automatisch ein
       rotes Risiko-Rating erhielten. Von einem „speedy boarding for white
       people“, einem Schnellverfahren für weiße Leute, sprach hinterher die
       Bürgerrechtsorganisation Foxglove. Während Weiße vom algorithmischen
       Grenzer durchgewinkt wurden, mussten sich Schwarze offenbar noch einer
       Sicherheitskontrolle unterziehen. Eine brutale Selektion.
       
       Es ist nicht das erste Mal, dass Algorithmen Schwarze Menschen
       diskriminieren. So hat Googles Foto-App 2015 einen Afroamerikaner und seine
       Freundin als „Gorillas“ getaggt. Als wären Menschen Affen. Algorithmen
       haben nach wie vor Probleme damit, Gesichter von Afroamerikanern zu
       erkennen – die Fehlerrate ist bis zu zehn Mal höher als bei Weißen, [2][wie
       zahlreiche Studien belegen]. Doch anstatt seine Modelle zu optimieren, hat
       Google einfach die Kategorien „Gorilla“, „Schimpanse“ und „Affe“ entfernt –
       und das Problem damit „gelöst“. Die Technik ist noch nicht weit genug, um
       vorurteilsfrei zu sein, also macht man sie blind. Ein epistemologischer
       Taschenspielertrick.
       
       Das Problem ist damit freilich nicht gelöst – es ist struktureller Art.
       Denn Maschinen, die mit rassistisch verzerrten Daten von Menschen trainiert
       werden, reproduzieren Stereotype. Wenn von Vorurteilen geleitete Polizisten
       Afroamerikaner in bestimmten Vierteln kontrollieren, schickt eine
       Predictive-Policing-Software die Einsatzkräfte immer wieder in diese
       Quartiere und perpetuiert damit das Racial Profiling, weil die Modelle mit
       verzerrten Daten gefüttert werden. So werden Stereotype durch
       automatisierte Systeme zementiert. Ein Teufelskreis.
       
       ## Dekolonialisierung der KI
       
       Der südafrikanische KI-Forscher Shakir Mohamed, der bei der Google-Tochter
       DeepMind arbeitet, kritisiert, dass in der westlichen
       Wissenschaftstradition noch immer das koloniale Erbe der Vergangenheit
       schlummert. In einem aktuellen Aufsatz ruft er daher zu einer
       „Dekolonialisierung der KI“ auf: Die Modelle sollen vielfältiger werden und
       auch andere philosophische Traditionen als die des Westens oder Chinas
       berücksichtigen.
       
       Nun hat man bei solchen Thesen, die von einem Google-Entwickler in die
       Diskussion gebracht werden, ja zunächst den Verdacht, dass es sich hierbei
       um eine in Gesellschaftskritik gehüllte Produktwerbung handelt. Nach dem
       Motto: Wir bei Google arbeiten die Geschichte auf! Trotzdem hat die
       Diagnose etwas Triftiges. Denn KI ist ja im Kern ein westliches Konstrukt,
       das auf bestimmten abendländischen Moral- und Wertvorstellungen (wie etwa
       Individualismus) fußt und auch ein Weltbild mit all seinen Unschärfen
       transportiert.
       
       Die Organisation [3][Algorithm Watch, die regelmäßig automatisierte
       Systeme] auf den Prüfstand hebt, hat in einem Experiment nachgewiesen, dass
       der Objekterkennungsalgorithmus von Google Vision Cloud ein
       Fieberthermometer in einer weißen Hand als Monokular labelt, in einer
       Schwarzen Hand dagegen als Waffe. Das erratische neuronale Netz hält dem
       Menschen den Spiegel vor: Denn oftmals sieht man ja zunächst Dinge, die man
       sehen will. Die Kombination „Schwarz und Waffe“ ist offenbar ein geistiger
       Kurzschluss, der in KI-Systemen codiert wird.
       
       Wenn man in der Google-Bildersuche nach „Männer“ sucht, erscheinen
       ausschließlich weiße Männer, was natürlich nicht repräsentativ ist – die
       Wirklichkeit ist wesentlich bunter und heterogener –, aber letztlich
       Ausfluss unserer Vorstellungen, die dann wiederum das Bewusstsein
       bestimmen.
       
       ## Zählen alle Menschenleben gleich viel?
       
       Zugegeben: Die Kritik ist nicht neu. Schon die Fotohersteller Fuji und
       Kodak sahen sich mit Vorwürfen konfrontiert, auf ihren Fotos würden die
       Kontraste von Schwarzen Menschen und People of Color nicht so gut
       herauskommen wie die von „kaukasischen“ Gesichtern. Angesichts des
       Siegeszugs der Digitalfotografie und zahlreicher Filtertechnologien mag die
       Kritik mittlerweile überholt sein. Trotzdem offenbaren sich gerade im
       Bereich des maschinellen Sehens noch zahlreiche Defizite.
       
       So kam eine Studie des Georgia Institute of Technology im vergangenen Jahr
       zu dem Ergebnis, dass die Sensoren autonomer Fahrzeuge Fußgänger mit
       hellerer Hautfarbe besser erkennen als mit dunkleren Hauttönen. Wo die
       Technik auf der einen Seite genau hinsieht, schaut sie an der
       entscheidenden Stelle weg. Für die Praxis im Verkehr bedeutet das, dass ein
       Schwarzer ein größeres Risiko hat, von einem Roboterfahrzeug angefahren zu
       werden als ein Weißer. Zählen Schwarze Menschenleben für Maschinen gleich
       viel?
       
       Maschinenethiker behaupten ja gerne, man müsse nur die Trainingsdaten
       bereinigen, sprich die Algorithmen mit genügend Fotos von Schwarzen
       „füttern“, dann würden die Modelle valide Ergebnisse produzieren. [4][Doch
       das Problem ist nicht die Datengrundlage], sondern das Design an sich. Das
       Mustern, Klassifizieren und Sortieren menschlicher Merkmale ist eine
       tradierte, anthropometrische Technik, die durch vermeintlich objektive
       Verfahren wie Gesichts- oder Fingererkennung in neuem Gewand zurückkehrt.
       
       In Indien begann die Kolonialverwaltung in den 1860er Jahren damit,
       Soldaten mit Fingerabdrücken zu identifizieren, um Betrug bei der
       Auszahlung von Pensionen zu vermeiden. Wenn man heute sein iPhone per
       Fingerscan entsperrt, schwingt diese koloniale Praktik noch immer mit –
       [5][auch wenn man sich vielleicht nicht unterdrückt, sondern überlegen
       dabei fühlt]. Auch die Gesichtserkennung, die ihren Ursprung in der
       erkennungsdienstlichen Behandlung der Bertillonage hat – der Kriminologe
       Alphonse Bertillon ließ Ende des 19. Jahrhunderts Körperteile von
       Kriminellen vermessen –, ist eine im Kern rassistische Registratur.
       
       ## Biometrische Verfahren kolonisieren den Körper
       
       Noch heute werden diese Technologien vor allem an schwächeren Gruppen der
       Gesellschaft erprobt. So wurden Flüchtlinge bei ihrer Ankunft in Europa mit
       Fingerabdrücken registriert, als wären sie Kriminelle. Und in
       Flüchtlingscamps des UNHCR müssen sich Menschen mit Iris- und Gesichtsscans
       für Essensrationen authentifizieren. An dem kolonialen Framing dieser
       Technik würde sich selbst dann nichts ändern, wenn die Fehlerrate bei null
       läge. Biometrische Verfahren kolonisieren den Körper und machen das
       Datensubjekt untertan.
       
       Die Medientheoretikerin Ariana Dongus argumentiert, die Camps seien
       „Versuchslabore für biometrische Datenerfassung“: Neue Technologien würden
       im globalen Süden getestet, bevor sie in der westlichen Welt als sicher und
       verkäuflich gelten. Wer argumentiert, man bräuchte bloß eine breitere
       Datengrundlage, reduziert Rassismus nicht nur auf ein technisches Problem,
       sondern verkennt auch die zugrundeliegenden Machtstrukturen.
       
       Jacob Levy Moreno, der Ahnherr der sozialen Netzwerkanalyse, die heute von
       Geheimdiensten und Polizeibehörden verwendet wird, schrieb in seinem Werk
       „Die Grundlagen der Soziometrie“, dass „Rasse“ ein determinierender Faktor
       des Gruppenverhaltens von Menschen sei. Die Vertreter der Sozialphysik
       gehen auch heute noch von der kruden Prämisse aus, dass das „Aggregat“ der
       Gesellschaft aus sozialen Atomen besteht, die sich wie Moleküle zueinander
       verhalten – als wäre es ein naturwissenschaftliches Gesetz, dass ein
       Schwarzer Verbrechen begeht.
       
       Wenn diese Werkzeuge rassistische Ergebnisse produzieren, muss man sich
       nicht wundern. Vielleicht braucht es in Zukunft nicht nur diversere
       Entwicklerteams, sondern auch flexiblere Modelle, die der Komplexität der
       Wirklichkeit Rechnung tragen. Denn am Ende sind es nicht Maschinen, die
       Menschen stigmatisieren und kriminalisieren, sondern der Mensch selbst.
       
       1 Sep 2020
       
       ## LINKS
       
 (DIR) [1] https://www.bbc.com/news/technology-53650758
 (DIR) [2] https://www.wired.com/story/best-algorithms-struggle-recognize-black-faces-equally/
 (DIR) [3] https://algorithmwatch.org/en/story/google-vision-racism/
 (DIR) [4] https://uxdesign.cc/is-ai-doomed-to-be-racist-and-sexist-97ee4024e39d
 (DIR) [5] /Datensammlung-und-Corona-Apps/!5678601
       
       ## AUTOREN
       
 (DIR) Adrian Lobe
       
       ## TAGS
       
 (DIR) Schwerpunkt Rassismus
 (DIR) Kolonialismus
 (DIR) Schwerpunkt Künstliche Intelligenz
 (DIR) People of Color
 (DIR) Digitalisierung
 (DIR) Schwerpunkt Überwachung
 (DIR) Schwerpunkt Rassismus
 (DIR) Schwerpunkt #metoo
 (DIR) Black Lives Matter
 (DIR) Schwerpunkt Künstliche Intelligenz
       
       ## ARTIKEL ZUM THEMA
       
 (DIR) Künstliche Intelligenz: KI außer Kontrolle
       
       Enquetekommission streitet über die Regulierung selbstlernender Maschinen:
       Braucht man eine Behörde oder nur mehr Transparenz?
       
 (DIR) Überwachung vor der Haustür: Jeder ist verdächtig
       
       Überwachung geht jetzt auch egalitär: über die App Neighbors, Amazons
       smarte Türklingel Ring und das Phänomen der Coveillance.
       
 (DIR) Unfälle mit künstlicher Intelligenz: Ein rechtlicher Flickenteppich
       
       Künstliche Intelligenz ist nicht perfekt. Der tödliche Unfall durch ein
       Roboterauto oder rassistische Diskriminierung erfordern strengere
       Regulierung.
       
 (DIR) Protest-Trends auf Instagram: Die Dialektik des Digitalen
       
       Botschaften des Widerstands lassen sich mit dem Foto- und Video-Netzwerk
       Instagram schnell verbreiten. Doch zu oft wird Protest dort selbst zur
       Ware.
       
 (DIR) Amazon beendet Kooperation: Polizei vorläufig ohne Amazon
       
       Amazon erlaubt der US-Polizei nicht mehr, eine Software zur
       Gesichtserkennung zu verwenden. Lukrativ aber war der Geschäftszweig eh
       nicht.
       
 (DIR) Einfluss auf den Algorithmus: Das System spinnt
       
       Menschen und Algorithmen beeinflussen sich gegenseitig. Ausnahmesituationen
       wie die Coronapandemie bringen die Systeme an ihre Grenzen.