# taz.de -- Algorithmen und Diskriminierung: Maschinelle Sittenwächter
       
       > Plattformen wie Instagram und Tiktok löschen Fotos von dicken Menschen,
       > die „zu viel“ nackte Haut zeigen. Das befeuert die Diskriminierung.
       
 (IMG) Bild: Der Algorithmus sah beim Model Nicholas-Williams „zu viel Haut“
       
       Vergangenes Jahr veröffentlichte das Model Nyome Nicholas-Williams eine
       sinnliche Aufnahme: die Augen geschlossen, der Kopf in den Nacken gelegt,
       die Arme um die Brust verschlungen. Die UserInnen waren begeistert.
       
       Doch Instagram gefiel diese Pose nicht: Das Netzwerk löschte dieses und
       weitere Fotos und drohte Nicholas-Williams mit der Schließung ihres
       Accounts. Der Grund: Ein Verstoß gegen die „Gemeinschaftsrichtlinien“.
       Darstellungen von Nacktheit sind auf der Fotoplattform nicht erwünscht.
       
       Nicholas-Williams machte das wütend. „Jeden Tag findet man auf Instagram
       Millionen von Bildern sehr nackter, dürrer weißer Frauen. Aber eine dicke
       schwarze Frau, die ihren Körper feiert, wird verbannt? Es war schockierend
       für mich“, sagte sie. „Ich fühle mich, als wäre ich zum Schweigen gebracht
       worden.“
       
       Ein Aufschrei ging durchs Netz. Unter dem Hashtag „[1][#IwanttoseeNyome]“
       riefen NutzerInnen Instagram dazu auf, das Foto wieder zu zeigen. Von
       Zensur und Rassismus war die Rede. Instagram entschuldigte sich für den
       Vorfall und änderte daraufhin seine Richtlinien.
       
       ## Erst der Algorithmus, dann ModeratorInnen
       
       Bei der Moderation seiner Inhalte setzt Instagram – wie auch der
       Mutterkonzern Facebook und andere Plattformen – auf eine Mischung aus
       künstlicher und menschlicher Intelligenz. Zunächst filtern Algorithmen den
       gröbsten Müll, dann sieben ModeratorInnen den Rest aus.
       
       Zwar hat [2][Facebook-Chef Mark Zuckerberg] bei der Anhörung im US-Kongress
       2018 vollmundig verkündet, ein KI-System könne problemlos Brustwarzen
       erkennen. Doch noch immer machen Computer haarsträubende Fehler. So wurden
       Zwiebeln als anstößig markiert, weil der Algorithmus die in einem Körbchen
       platzierten Knollen für die Rundungen eines Körperteils hielt.
       
       Nach Angaben der Adult Performers Actors Guild, einer Gewerkschaft, die
       unter anderen SchauspielerInnen, Webcam-DarstellerInnen und StreamerInnen
       vertritt, meldet der Instagram-Algorithmus Fotos, auf denen über 60 Prozent
       Haut zu sehen ist – was in der Praxis dicke Menschen diskriminiert. Denn
       ein dicker Mensch hat eine größere Körperoberfläche als eine dünne Person
       und zeigt damit – bei gleicher Bekleidung – vergleichsweise mehr Haut. Die
       KI von Instagram hält das für obszön und schlägt Alarm.
       
       Dass die Plattform Menschen mit anderen Proportionen diskriminiert, zeigt
       auch das Beispiel Celeste Barber. Die australische Comedian parodiert auf
       ihrem Instagram-Account regelmäßig die lasziven Posen von Topmodels.
       
       Als Barber das Supermodel Candice Swanepoel imitierte und ihre Brust mit
       der Hand bedeckte, wurde das Foto mit dem Hinweis zensiert, dass der Post
       gegen die Richtlinien verstoße. [3][Swanepoels Vorlage wurden von den
       algorithmischen Sittenwächtern dagegen durchgewinkt] – obwohl das
       südafrikanische Topmodel noch viel spärlicher bekleidet war und nicht mal
       einen Stringtanga trug.
       
       Misst Instagram hier mit zweierlei Maß? Sind Menschen, die nicht die
       Körpermaße von dünnen Models haben, nicht präsentabel? Auch hier könnte
       wieder der erratische Objekterkennungsalgorithmus eine Rolle gespielt
       haben. Barbers Brüste sind im Vergleich zu Swanepoels deutlich größer, also
       „sieht“ der Algorithmus mehr nackte Haut und daher einen möglichen Verstoß.
       
       Doch anders als es uns die Softwareentwickler weismachen wollen, geht es
       hier nicht um statistische oder technische Details, sondern um die
       gesellschaftspolitisch relevante Frage, was wir sehen wollen und was nicht.
       
       ## Instagrams Doppelmoral
       
       Zur Nacktheit haben Techkonzerne ein zwiespältiges Verhältnis. Auf der
       einen Seite wirkt Instagram wie eine Modestrecke, wo sogar Protest zur Pose
       verkommt. Auf der anderen Seite fühlt man sich zuweilen wie in einem
       puritanischen Regime, wo ständig die Moralpolizei patrouilliert und
       Kleidungsvorschriften kontrolliert.
       
       So hat Facebook Fotos von Gustave Courbets berühmtem Gemälde „Der Ursprung
       der Welt“ und Abbildungen der „Venus von Willendorf“ verschämt aus seinen
       Galerien verbannt. Auch Fotos von nackten, in Ketten gelegten Aborigines
       wurden von Facebook mit Verweis auf die Nacktheitsgrundsätze gelöscht, was
       einen bizarren Fall von Cancel Culture markiert: Historische Dokumente der
       Sklaverei verschwinden kommentarlos von der Bildfläche.
       
       Einmal programmiert, machen Algorithmen Tabula rasa. Das zeigt einmal mehr,
       dass der Rigorismus, der Algorithmen innewohnt und das binär codierte
       Weltbild, das keine Graustufen zulässt, mit den Werten einer offenen
       Gesellschaft nicht vereinbar sind.
       
       Es sind aber nicht nur Maschinen, die unsere Werteordnung attackieren,
       sondern auch Menschen. So wurden ModeratorInnen der populären App Tiktok
       angewiesen, Videos von Menschen mit Behinderung zu verbergen. Wie
       [4][Recherchen von netzpolitik.org] zeigen, wurden in den Richtlinien als
       Beispiele Merkmale wie „entstelltes Gesicht“, Autismus oder Downsyndrom
       genannt. Auch queere und dicke Menschen sollten von der Bühne verschwinden.
       Begründet wurde die Reichweitenbegrenzung mit Mobbingschutz.
       
       Für die Bewertung hatten die ModeratorInnen 15 Sekunden Zeit. Die
       berechtigte Frage ist natürlich, ob man in einer so kurzen Zeitspanne
       ferndiagnostisch Autismus erkennen kann. Und ob man Diskriminierung mit
       Diskriminierung bekämpft. Denn natürlich ist es diskriminierend, wenn
       Menschen aufgrund ihres Aussehens oder einer Behinderung benachteiligt
       werden. Sind dicke Menschen oder Menschen mit Behinderung nicht vorzeigbar?
       Wer definiert, was „normal“ ist?
       
       Mit den Vorwürfen konfrontiert, räumte das Unternehmen ein, Fehler gemacht
       zu haben. Auf Anfrage von netzpolitik.org erklärte eine Sprecherin: „Dieser
       Ansatz war nie als langfristige Lösung gedacht und obwohl wir damit eine
       gute Absicht verfolgt haben, wurde uns klar, dass es sich dabei nicht um
       den richtigen Ansatz handelt.“
       
       Die Regelungen seien inzwischen durch neue, nuancierte Regeln ersetzt
       worden. Man habe die Technologie zur Identifikation von Mobbing
       weiterentwickelt und ermutige die Nutzer zum positiven Umgang miteinander.
       Ein repräsentatives Bild unserer Gesellschaft lässt Tiktok allerdings
       weiterhin vermissen.
       
       Solche kruden Selektionskriterien wecken böse Erinnerungen. Die
       paternalistische Annahme, dass man Mobbing im Netz nur verhindern könne,
       wenn man potenzielle Opfer aus dem Scheinwerferlicht der Öffentlichkeit und
       vermeintlich in Schutz nimmt, sagt viel aus über das Selbstverständnis der
       Plattform – und die Umgangsformen im Netz.
       
       Der Kulturwissenschaftler Joseph Vogl beschreibt in seinem [5][Buch
       „Kapital und Ressentiment“], wie die „Bewirtschaftung des Sozialen“ und
       „ballistische Schnellkommunikation“ das Ressentiment in der Gesellschaft
       befeuern. Es wurzele in einem „spezifischen Vergleichs- und Relationszwang,
       in einem Reflex zu Valorisierung und Bewertung, in einer wuchernden
       Urteilslust“, schreibt Vogl. So befördere die „Ökonomie des Ressentiments“
       das Konkurrenzsystem und umgekehrt.
       
       ## Aus einer mathematischen Norm wird eine soziale
       
       Auf Plattformen wie Tiktok sind NutzerInnen systemisch gezwungen, ständig
       Bewertungen abzugeben, sonst sieht man keine neuen Inhalte. Hopp oder topp,
       Daumen hoch oder runter. Dieser Valorisierungszwang durch algorithmische
       Selektion erzeugt nach Vogl Konformismen, die wiederum „soziale
       Divergenzmächte“ stimulieren.
       
       Im Fall von Instagram wäre dies der Algorithmus, der nach einer bestimmten
       statistischen Häufigkeitsverteilung (zu viel) Nacktheit bewertet – und aus
       einer mathematischen eine soziale Norm macht.
       
       Und das wirkt sich über automatisierte Feedbackschleifen auch auf
       Schönheitsideale aus. Die 17-jährige Schauspielerin Sissy Sheridan
       twitterte: „Ich mochte meinen Körper, bevor ich Tiktok heruntergeladen
       habe.“ Studien belegen, dass durch das [6][Scrollen durch Instagram-Feeds
       die Zufriedenheit mit dem eigenen Körper abnimmt].
       
       Das Phänomen des „Body Shaming“ wird durch eben jene
       algorithmisch-biometrischen Screenings hervorgerufen, die dicken Models zu
       viel Freizügigkeit bescheinigen. Vielleicht bräuchte es auch in sozialen
       Netzwerken eine Kampagne wie die des Kosmetikkonzerns Dove, der schon 2004
       mit dicken Frauen warb. Dann würden sich auch Models wie Nyome
       Nicholas-Williams wohler fühlen.
       
       27 Jul 2021
       
       ## LINKS
       
 (DIR) [1] https://www.instagram.com/explore/tags/iwanttoseenyome/
 (DIR) [2] /Kartellamt-gegen-Facebook/!5761068
 (DIR) [3] https://www.theguardian.com/technology/2020/oct/20/instagram-censored-one-of-these-photos-but-not-the-other-we-must-ask-why
 (DIR) [4] https://netzpolitik.org/2019/tiktoks-obergrenze-fuer-behinderungen/
 (DIR) [5] /Sachbuch-Kapital-und-Ressentiment/!5760230
 (DIR) [6] https://www.jetzt.de/koerperbilder/wie-soziale-netzwerke-unser-koerperbild-veraendern
       
       ## AUTOREN
       
 (DIR) Adrian Lobe
       
       ## TAGS
       
 (DIR) TikTok
 (DIR) Diversity
 (DIR) Diskriminierung
 (DIR) GNS
 (DIR) Social Media
 (DIR) Schwerpunkt Künstliche Intelligenz
 (DIR) Instagram
 (DIR) Schwerpunkt Meta
 (DIR) Konsum
 (DIR) Diskriminierung
 (DIR) Kolumne Habibitus
 (DIR) TikTok
 (DIR) Trend
 (DIR) Diversität
 (DIR) Soziale Netzwerke
 (DIR) Digital
 (DIR) Schwerpunkt Coronavirus
 (DIR) Unternehmen
       
       ## ARTIKEL ZUM THEMA
       
 (DIR) Social-Media-App „Be Real“: Alles wieder natürlich
       
       Die App „BeReal“ feiert unretuschierte Momentaufnahmen und will so
       Instagram herausfordern. Klappt das?
       
 (DIR) Was heute politisch ist: Überall und nirgendwo
       
       Konsum und Lebensmittel werden zunehmend ideologisiert. Das ist Ausdruck
       einer Hyperpolitik: Alles ist politisch, aber immer weniger politikfähig.
       
 (DIR) Ungleichbehandlung im Schwimmbad: Nur Männer dürfen Brüste zeigen
       
       Als Mina Berger* in einem Göttinger Schwimmbad ihr Oberteil auszieht, wird
       sie rausgeworfen. Ein Bündnis gegen Ungleichbehandlung wehrt sich.
       
 (DIR) Schönheitsdruck in der Gesellschaft: No pressure, just pleasure
       
       Schon in der Kindheit war klar: Bei besonderen Anlässen muss man gut
       aussehen. Aber warum sich nicht einfach mal schön machen, nur so, ohne
       Druck?
       
 (DIR) Weltweit populäre Video-App: China steigt bei Tiktok-Konzern ein
       
       Peking wird praktisch bald ein Vetorecht bei der beliebten Video-App haben.
       Das dürfte die Debatte über das Netzwerk in den Vereinigten Staaten
       befeuern.
       
 (DIR) Video-App Tiktok vor Facebook-Diensten: Platz 1 ohne elterliche Empfehlung
       
       Keine App wurde 2020 häufiger heruntergeladen als TikTok. Leicht wurde ihr
       der Weg an die Spitze dabei nie gemacht.
       
 (DIR) Twitter-KI diverser machen: Suche nach dem Superprogrammierer
       
       Das US-Netzwerk Twitter lässt seine Algorithmen von Externen prüfen. Aber
       reicht das am Ende, um die Diskriminierung zu stoppen?
       
 (DIR) BGH-Urteil zu Facebook: Auch Hetzer:innen haben Rechte
       
       Facebook muss Betroffene vor der Sperrung ihres Kontos anhören. Das ist
       richtig. Soviel Fairness muss sein.
       
 (DIR) Wandel der Stadt durch das Internet: Das digitale Dorf ist segregiert
       
       Die ortlose digitale Gesellschaft war einst eine Utopie. In der Realität
       könnte sie spalten: in digitale NomadInnen und prekäre ArbeiterInnen.
       
 (DIR) Dickfeindlichkeit in der Pandemie: Die Corona-Wampe als Feind
       
       Viele freuen sich dieser Tage auf die Rückkehr der „alten Normalität“. Eine
       Normalität, die für dicke Menschen oft Diskriminierung bedeutet.
       
 (DIR) Digitale Kommunikation: Politische Ökonomie des Emojis
       
       Emojis sind heute mehr als lustige Symbole für den privaten Chat. Sie sind
       längst politisches und ökonomisches Kommunikationsmittel.