Sarah ist eine in Berlin ansässige Unternehmerin im Lebensmittelbereich (Name und Stadt wurden geändert). Ihre Firma hilft Frauen dabei, sich bei ihrer Ernährung wohlzufühlen, und propagiert „intuitives Essen“. Wie viele Kleinunternehmer setzt Sarah auf soziale Netzwerke, um Kunden anzulocken. Instagram, Europas zweitgrößtes soziales Netzwerk nach Facebook, sei ein Marketingkanal, auf den sie nicht verzichten könnte, sagt Sarah.

Doch auf Instagram – das stark auf Fotos und Videos zugeschnitten ist – hat sie das Gefühl, dass ihre Bilder nicht die Mehrzahl ihrer 53.000 Follower erreichen, außer wenn sie im Badeanzug posiert. Tatsächlich ist sie auf vier ihrer sieben beliebtesten Posts der letzten Monate im Bikini zu sehen. Ely Killeuse, eine Autorin mit 132.000 Instagram-Followern, war damit einverstanden, dass ihr Name genannt wird, und sagte, dass „fast alle“ ihrer beliebtesten Bilder sie in Unterwäsche oder Badebekleidung zeigen.

Eine Erklärung könnte sein, dass das Publikum von Sarah und Ely Bilder in Badeanzügen massiv bevorzugt. Seit 2016 arrangiert Instagram allerdings die Bilder im Newsfeed eines Nutzers so, dass „diejenigen ganz oben erscheinen, die dem Nutzer besonders wichtig sind “. Dass die anderen Bilder von Sarah und Ely weniger beliebt sind, könnte also auch daran liegen, dass sie ihren Followern weniger gezeigt werden.

Welche Bilder gezeigt werden und welche nicht, ist nicht einfach eine Frage des Geschmacks. Unternehmer, die sich auf Instagram stützen, um Kunden zu akquirieren, müssen sich den Normen anpassen, die das Netzwerk begünstigt, um ihre Follower zu erreichen. Selbst wenn diese Normen nicht die Werte verkörpern, auf denen sie ihre Unternehmen aufgebaut haben oder die ihre Klienten und Follower teilen.

2.400 analysierte Fotos

Um zu verstehen, welche Fotos Instagram priorisiert, haben das European Data Journalism Network und AlgorithmWatch 26 Freiwillige darum gebeten, ein Browser Add-on zu installieren und einigen professionellen Content-Erstellern zu folgen. Wir haben 37 Content-Ersteller aus 12 Ländern ausgewählt (14 von ihnen Männer), die Instagram dazu verwenden, um Marken zu bewerben oder neue Kunden für ihre Unternehmen zu gewinnen, primär aus den Branchen Gastronomie, Reise, Fitness, Mode oder Kosmetik.

Das Add-on öffnet die Instagram-Homepage automatisch in regelmäßigen Intervallen und hält fest, welche Posts ganz oben in den Newsfeeds der Probanden erscheinen. Dies gibt einen Überblick rüber das, was die Plattform jeweils am relevantesten für jeden erachtet.

Wenn Instagram sich nicht in den Algorithmus einmischt, müsste die Vielfalt der Posts im Newsfeed der Nutzer der Vielfalt der Posts der Content-Ersteller entsprechen, denen sie folgen. Und wenn Instagram den Newsfeed jedes Nutzers entsprechend dessen Vorlieben personalisiert, müssten die Posts im Newsfeed bei jedem Nutzer entsprechend unterschiedlich verzerrt sein. Dies war aber nicht unsere Erkenntnis.

Zwischen Februar und März wurden 1.737 Posts mit 2.400 Fotos analysiert, die von den von uns beobachteten Content-Erstellern hochgeladen wurden. Von diesen wurden 362 (oder 21%) als Posts identifiziert, die Bilder mit Frauen in Badeanzügen bzw. Unterwäsche oder Männer mit bloßem Oberkörper zeigen. In den Newsfeeds unserer Probanden jedoch machten Posts mit solchen Bildern 30% von allen Posts derselben Accounts aus (manche Posts wurden mehr als einmal gezeigt).

Posts mit Bildern von Frauen in Unterwäsche oder im Bikini hatten eine 54% höhere Wahrscheinlichkeit, im Newsfeed unserer Probanden zu erscheinen. Für Posts mit Bildern von Männern mit unbekleidetem Oberkörper war die Wahrscheinlichkeit 28% höher. Im Gegensatz dazu hatten Posts, die Bilder von Essen oder Landschaften zeigten, eine 60% niedrigere Wahrscheinlichkeit, im Newsfeed zu erscheinen.

Diese Ergebnisse, die hier im Detail eingesehen werden können, genügen den Standards statistischer Signifikanz. 

Warten auf eine Überprüfung

Die Verzerrung zugunsten von Nacktheit trifft nicht unbedingt auf alle Instagram-Nutzer zu. Während sie für die meisten Probanden deutlich sichtbar war, wurden einer kleinen Minderheit Posts angezeigt, die eher die Vielfalt der Inhalte der Content-Ersteller widerspiegelten. Es ist wahrscheinlich, dass Instagrams Algorithmus Nacktheit generell begünstigt, dass jedoch Personalisierung und andere Faktoren diesen Effekt bei einigen Nutzern beschränken.

Unsere Ergebnisse liefern keine umfassende Überprüfung von Instagrams Newsfeed-Algorithmus. Sie halten nur fest, was in den Newsfeeds unserer Testpersonen passierte. (Sie können uns dabei helfen, die Ergebnisse zu verbessern, indem Sie das Add-on installieren; wir werden Updates publizieren, sobald wir mehr Daten haben.) Ohne Zugang zu Facebooks internen Daten- und Produktionsservern wird es nie möglich sein, definitive Schlussfolgerungen zu ziehen.

Facebook hat unsere konkreten Fragen nicht beantwortet, sondern folgende Stellungnehme geschickt: „Diese Untersuchung ist in vielerlei Hinsicht fehlerhaft und zeugt von einer falschen Auffassung davon, wie Instagram funktioniert. Wir ordnen die Posts in Ihrem Feed nach den Inhalten und Accounts an, für die Sie Interesse gezeigt haben, und nicht nach willkürlichen Faktoren wie dem Vorhandensein von Badebekleidung.“

Gleichwohl haben wir Grund zu der Annahme, dass unsere Befunde repräsentativ dafür sind, wie Instagram operiert.

Maximierung von Bindung

In einem 2015 publizierten Patent erklären Facebook-Ingenieure – Instagram wird von Facebook betrieben – wie der Newsfeed die Auswahl und Priorisierung von Bildern steuern könnte. Wenn ein Nutzer ein Bild postet, wird dieses – laut Patent – sofort automatisch analysiert. Bilder werden einer „Bindungsmetrik“ unterworfen, die dafür verwendet wird zu entscheiden, ob ein Bild im Newsfeed des Nutzers gezeigt wird oder nicht.

Die Bindungsmetrik beruht zum Teil auf vorherigem Nutzerverhalten. Wenn einem Nutzer eine bestimmte Marke gefallen hat und ein Foto ein Produkt derselben Marke zeigt, nimmt der Bindungsmesswert zu. Die Metrik kann aber auch aus dem vorherigen Verhalten aller Nutzer des Dienstes berechnet werden. Das Patent hält explizit fest, dass Geschlecht, Ethnizität und der „Grad an Nichtbekleidung“ von Menschen auf einem Foto dazu verwendet werden können, um eine Bindungsmetrik zu berechnen.

Während Instagram behauptet, dass der Newsfeed danach organisiert ist, was einem bestimmten Nutzer „am wichtigsten“ ist, sagt das Patent, dass der Feed sehr wohl danach angeordnet werden könnte, was Instagram denkt, dass allen Nutzern wichtig ist. Ob Nutzer die Bilder, die von den Accounts hochgeladen werden, denen sie folgen, sehen, würde dann nicht nur von ihrem vorherigen Verhalten abhängen, sondern auch davon, was Instagram glaubt, dass für andere Nutzer der Plattform wichtig ist.

Scheinkorrelationen

Facebook analysiert Bilder automatisch mit einer Computer Vision-Software, bevor der Algorithmus entscheidet, welche im Newsfeed des Nutzers angezeigt werden sollen. Eine solche Software zieht automatisierte Folgerungen aus einem Trainingsdatensatz, der aus tausenden manuell annotierter Bilder besteht. Dessen Grenzen könnten Einfluss darauf haben, wie Instagram Bilder in Newsfeeds priorisiert.

Computerwissenschaftler wissen seit Jahren, dass solche Systeme die Verzerrungen ihres Trainingsdatensatzes nachbilden und verstärken, was zu Schein- bzw. trügerischen Korrelationen führt. Zum Beispiel wird ein Programm, das zur Aufgabe hat, Wölfe und Hunde auf Basis von Bildern aus dem Internet zu identifizieren, die Tiere nicht wie ein Mensch erkennen. Stattdessen wird es jedes Tier mit Schnee im Hintergrund als „Wolf“ identifizieren.

Trainingsdaten für Computer Vision werden normalerweise von unterbezahlten Arbeitskräften erstellt, die einen Anreiz haben, schnell zu arbeiten und Ergebnisse vorzuweisen, die den Erwartungen ihrer Arbeitgeber entsprechen. Das führt dazu, dass sie unkritisch Kategorien übernehmen, die ihnen angeboten werden, und über die Feinheiten hinwegsehen, die ein Foto beinhalten kann, meint Agathe Balayn, eine Doktorandin an der Technischen Universität Delft, die über Verzerrungen in automatisierten Systemen forscht.

Die Folgen können weitreichend sein. Im Dezember versuchte ein brasilianischer Künstler einen seiner Instagram-Posts zu bewerben. Die Anfrage wurde abgelehnt mit der Begründung, dass der Post Gewalt beinhalte. Er zeigte lediglich einen Jungen und den Formel 1-Fahrer Lewis Hamilton, beide dunkelhäutig. Im April wurde einer Yoga-Lehrerin eine Werbeanzeige wegen angeblicher Obszönität verweigert. Das Bild zeigte lediglich die Kranich-Position. Die Lehrerin ist Amerikanerin asiatischer Herkunft.

(In unserem Versuchsaufbau haben wir ebenfalls ein Computer Vision-System verwendet – Google Vision. Dessen Resultate sind indiskutabel. So kam z.B. das Merkmal „Schönheit“ nur bei Frauen zum Tragen. Sehr wahrscheinlich handelt es sich um ähnliche Verzerrungen wie in Facebooks Computer Vision-System, und sei es nur deshalb, weil es zum Teil von denselben Leuten konstruiert wurde.)

Ein schmaler Grat

Instagrams Richtlinien sagen, dass Nacktheit auf der Plattform „nicht erlaubt“ sei, doch favorisiert Instagram Posts, die nackte Haut zeigen. Der feine Unterschied zwischen dem, was bestärkt wird, und dem, was verboten ist, wird von unüberprüften und wahrscheinlich voreingenommenen Computer Vision-Algorithmen festgelegt. Jedes Mal, wenn sie ein Bild hochladen, müssen Content-Ersteller eine Gratwanderung meistern: genug zeigen, um ihre Follower zu erreichen, aber nicht so viel, dass sie gesperrt werden.

2019 zeigte eine Studie des US-Magazins Salty, die bei 128 Instagram-Nutzern durchgeführt wurde, dass missbräuchliches Entfernen von Inhalten geläufig ist. Wie häufig solche Vorfälle auftreten und ob Farbige und Frauen überproportional betroffen sind, ist unmöglich zu sagen, solange Instagrams Algorithmen unüberprüft bleiben.

Eine Untersuchung von 238 von Facebook eingereichten Patenten, die den Wortlaut „Computer Vision“ enthalten, hat gezeigt, dass von 340 als Erfinder angeführten Personen nur 27 weiblich waren. Von Männern dominierte Umfelder führen zumeist zu Ergebnissen, die für Frauen von Nachteil sind. Sicherheitsgurte in Autos werden z.B. nur an männlichen Dummies getestet, was zu einer höheren Verletzungsrate bei Frauen führt. Unsere Untersuchung zeigt, dass Facebooks Algorithmen diesem Muster entsprechen könnten.

Angst vor dem „Shadowban“

Sarah und andere Unternehmer, die sich auf Instagram verlassen, haben Angst, mit der Presse zu sprechen. Die meisten professionellen Instagram-Content-Ersteller fürchten Vergeltungsmaßnahmen von Facebook, in Gestalt von Account-Löschung oder „Shadowbans“ (hierbei werden die Posts eines Nutzers keinem oder nur wenigen seiner Follower gezeigt, ohne dass dieser davon erfährt). Dies käme einem Todesurteil für ihre Unternehmen gleich.

Eine Jungunternehmerin mit etwa 70.000 Followern, nach deren Aussage Instagram „sehr wichtig“ für ihr Geschäft ist, bat AlgorithmWatch aus Furcht vor einem Shadowban ausdrücklich darum, nicht genannt zu werden. Ely Killeuse sagte, dass eine zweite Einkommensquelle für sie wesentlich sei. Zu viel Abhängigkeit von Instagram würde bedeuten, dass sie ihre Freiheit und ihre geistige Gesundheit verlöre.

Die 2018 eingeführte Datenschutz-Grundverordnung (DSGVO) sowie die Platforms for Business (P2B)-Verordnung, die am 12. Juli 2020 in Kraft tritt, bieten Nutzern und Unternehmern bereits viele Garantien. Insbesondere sagt die DSGVO, dass Nutzer ein „Recht auf Begründung“ automatisierter Entscheidungen haben. Die P2B-Richtlinien sollen Online-Dienste dazu zwingen, die „Hauptparameter, die das [algorithmische] Ranking bestimmen“, offenzulegen.

Diese neuen Maßnahmen sind nicht dazu gedacht, die Netzwerke dazu zwingen, den inneren Mechanismus ihrer Algorithmen offenzulegen, sagt Petra de Sutter, die dem Ausschuss für Binnenmarkt und Verbraucherschutz im Europäischen Parlament vorsitzt. Instagram daran zu hindern, die Newsfeeds der User zu sortieren, wäre rechtlich nicht möglich, schrieb sie in einer Mail an AlgorithmWatch. Stattdessen solle die Transparenz, die P2B bringen wird, dazu dienen, zu einem späteren Zeitpunkt wohlbegründete politische Entscheidungen zu treffen, fügte sie hinzu. Was die Angst vor Shadowbans betrifft, so hält Frau de Sutter sie für übertrieben. „Eine Frage hat noch nie zu Vergeltungsmaßnahmen geführt“, schrieb sie.

Mit P2B mag es dann anders sein, aber zwei Jahre nachdem die DSGVO in kraft getreten ist, beklagen viele Experten, dass sie nur sehr lückenhaft umgesetzt wurde. Ein Problem ist, dass die irische Datenschutzbehörde, die für Facebooks in Dublin ansässigen Europäischen Ableger zuständig ist, dramatisch unterbesetzt ist und die „DSGVO nicht zu verstehen scheint“, wie ein Experte AlgorithmWatch erklärte. Ein anderes Problem ist der Mangel an Überwachung. Keine Behörde auf EU- oder nationaler Ebene hat die Macht oder die Mittel, die man benötigen würde, um diese riesigen Plattformen zu überprüfen (Instagram eingeschlossen). Viele DSGVO-Verordnungen werden daher nicht umgesetzt.

Mögliche Diskriminierung

Während unsere Ergebnisse zeigen, dass männliche wie weibliche Content-Ersteller gezwungen sind, Haut zu zeigen, um ihr Publikum zu erreichen, könnte der Effekt bei Frauen größer sein und als Diskriminierung von Unternehmerinnen eingestuft werden. Doch obwohl die Grundrechtecharta der EU Diskriminierung aufgrund von Geschlecht verbietet, gibt es für Instagram Nutzer keinen Rechtsweg, ein Verfahren einzuleiten. Die Besonderheiten von Unternehmen auf dem Gebiet der sozialen Medien werden in der Gesetzgebung nicht berücksichtigt.

Miriam Kullmann, eine Assistenzprofessorin an der Wirtschaftsuniversität Wien, schrieb an AlgorithmWatch, dass die europäische Anti-Diskriminierungsgesetzgebung sich fast ausschließlich mit Anstellungsverhältnissen beschäftigt. Selbständige, wie die Content-Ersteller, die wir beobachtet haben, sind nicht geschützt.

Manche Gruppen kämpfen aber sehr wohl für die Rechte von unabhängigen Kreativen in sozialen Netzwerken. Die IG Metall, Europas größte Gewerkschaft, unterstützt eine kollektive Aktion von YouTubern, die von Google, dem Besitzer von YouTube, mehr Fairness und Transparenz fordern, wenn ein Video aus dem Verkehr gezogen wird. Sie haben jedoch nicht vor, ihr Programm auf ihre Kollegen bei Instagram oder anderen Plattformen auszudehnen.

Jeder dritte Europäer

Die Zahl der europäischen Unternehmer, die Inhalte für Instagram erstellen, liegt wohl bei mehreren Tausend. Die Wirkung ihrer Posts ist enorm, da sie in der Regel Hunderttausende Follower generieren. Facebook gibt an, dass fast 140 Millionen EU-Bürger (oder jeder dritte) im April 2020 Instagram genutzt haben. 

Unter den 18- bis 24-Jährigen, liegt die Marktdurchdringung von Instagram bei 100% in jedem EU-Land. Die Quarantäne-Verordnungen in Zusammenhang mit der Covid-19-Pandemie haben die Zeit, die auf Instagram verbracht wurde, erheblich erhöht. Innerhalb einer Woche während des Lockdown in Italien verdoppelten sich die Instagram-Besucherzahlen, berichtete Facebook seinen Investoren.

Vor fast hundert Jahren schrieb die berühmte britische Schriftstellerin Virginia Woolf, dass Frauen „ein Zimmer für sich allein“ bräuchten, wo ihre Kreativität gedeihen kann. Sich der Autorität anderer Meinungen unterzuordnen, schrieb sie, sei wie Fäulnis dazu einzuladen, sich im Herzen der eigenen Arbeit auszubreiten.

Auf Instagram gibt es keine andere Wahl, als sich der Meinung der Autoritäten unterzuordnen, die den Newsfeed-Algorithmus konstruiert haben. Sich zu weigern, Haut zu zeigen, bedeutet automatisch, seine Reichweite einzuschränken. Männliche und weibliche Unternehmer müssen die von Facebook-Ingenieuren gemachten Regeln akzeptieren, wenn sie ihren Lebensunterhalt bestreiten wollen.