Technologien des maschinellen Lernens (ML) – unter anderem Risikobewertung, Empfehlungsdienste und Gesichtserkennung – werden in Gesellschaften voller geschlechtlicher, rassistischer bzw. ethnischer und anderer struktureller Diskriminierung betrieben. ML-Systeme können in der Verstärkung solcher Strukturen verschiedenste Rollen spielen, von menschlichen Vorurteilen in Trainingsdatensätzen bis hin zu bewussten oder unbewussten Entscheidungen beim Design von Algorithmen. Das Verständnis, wie soziales und biologisches Geschlecht, ethnische Zugehörigkeit und andere soziale Faktoren sich in verschiedenen Kontexten auf Algorithmen auswirken, kann Wissenschafter_innen dabei unterstützen, bewusste und fundierte Entscheidungen darüber zu treffen, welche Auswirkungen ihre Arbeit auf die Gesellschaft hat.

1. Analyse der gesellschaftlichen Ziele und Implikationen der Arbeit

Teams sollten anhand der folgenden Fragen gemeinsam die Ziele des zu entwickelten oder erforschten Systems definieren und seine potentiellen gesellschaftlichen Auswirkungen evaluieren:

a. Wie werden die Prioritäten und Ziele des Verfahrens bestimmt? Wer wird davon profitieren und wer wird dadurch ausgeschlossen oder gefährdet (Gurses et al., 2018)?

b. Welchen Einfluss haben Geschlechternormen auf die Forschung/das Produkt/ die Dienstleistung/ das System (Leavy, 2018)?

c. Welchen Einfluss könnte struktureller Rassismus auf die Arbeit haben, z. B. durch die Abbildung von rassistischen Stereotypen in Suchalgorithmen (Crenshaw, 1991; Noble, 2018)?

d. Welchen Einfluss haben Wohlstandsgefälle auf die Arbeit, z. B. wird das System gegen in Armut Lebende eingesetzt werden oder sie ausschließen (Eubanks, 2018)?

e. Welchen Einfluss hat ökologische Nachhaltigkeit auf die Arbeit, z. B. dort, wo das Training eines Deep Learning-Modells eine schlechte CO2-Bilanz hat (Strubell et al., 2019)?

2. Analyse der Daten auf potentielle Einseitigkeit

Jeder Trainingssatz sollte Informationen darüber enthalten, wie die Daten gesammelt und annotiert wurden. Daten, die menschliche Information enthalten, sollten Metadaten umfassen, die Statistiken zu Faktoren wie soziales und biologisches Geschlecht, ethnischer Zugehörigkeit, Alter und Wohnort von Teilnehmenden zusammenfassen (Gebru et al., 2018; MIT Media Lab, 2018). Datenerfassung über Crowdsourcing wie etwa MS Turk sollte Informationen zu den Crowd-Teilnehmenden ebenso wie die entsprechenden Anweisungen für die Datenerfassung enthalten (Zou & Schiebinger, 2018).

a. Betten die Datensätze, die für Training und Testung des Modells verwendet werden, menschlichen Bias ein? S.  z. B. Buolamwini & Gebru (2018).

b. Analyse der Kontexte der Datensatzerstellung – welche bekannten Geschlechterbiases und -normen könnten das Verfahren der Datensatzerstellung beeinflussen (s.  z. B. Shankar et al., 2017)? Einige Merkmale sind möglicherweise anders zu interpretieren, wenn sie als Zeichen der Identifikation von Mitgliedern einer selbstdefinierten gesellschaftlichen Gruppe benutzt werden (z. B. die absichtliche, gesellschaftlich-affirmative Verwendung von Wörtern, die gemäß den allgemeineren gesellschaftlichen Normen als beleidigend empfunden werden).

c. Möglicherweise wird Bias auch in der Phase der Datenaufbereitung eingeführt, in der u. a. entschieden wird, welche Eigenschaften der Algorithmus beachten soll. Zunächst sollte überlegt werden, ob es angemessen ist, dass der Algorithmus das soziale Geschlecht berücksichtigt (z. B. wenn er in der Werbung für Kleidung verwendet wird, die häufig geschlechtsspezifisch ist) oder nicht (z. B. wenn er für Stellenangebote eingesetzt wird, die für alle sozialen Geschlechter gleich sichtbar sein müssen). Wenn es nicht angemessen ist, sollte in Betracht gezogen werden, explizite Attribute des sozialen Geschlechts zu entfernen. Zudem sollte überlegt werden, ob irgendeines der ausgewählten Merkmale möglicherweise unter unterschiedlichen sozialen Geschlechtern ungleich verteilt sein könnte. Wenn das Modell etwa Merkmale benutzt, die mit dem sozialen Geschlecht korrelieren könnten, etwa Beruf oder „Alleinerzieher_innenstatus“, könnte es das soziale Geschlecht weiterhin indirekt einbeziehen.

d. Bias kann auch in die objektiven Funktionen und/oder die Heuristiken eingebettet sein, die suchbasierte Algorithmen anleiten. Zum Beispiel könnte die Benutzung von Gesundheitsausgaben als Annäherung an die medizinischen Bedürfnisse bei der Formulierung einer Zielfunktion zu einem rassistischen Bias führen, wenn Patient_innen aus einer ethnischen Gruppe weniger Geld zur Verfügung steht (Obermeyer et al., 2019).

e. Umfassen die Trainingsdaten ein ausreichend diverses Sample der Bevölkerung, um zu gewährleisten, dass daran trainierte Modelle in allen Bevölkerungsgruppen gut funktionieren? Sind die Daten in Bezug auf soziales Geschlecht, ethnische Zugehörigkeit, Wohnort, Alter und andere soziale Faktoren ausgewogen?

3. Analyse des Modells im Hinblick auf Fairness

a. Wurde eine angemessene Definition von Fairness formuliert und das ML-Modell darauf getestet?

Wenn ein ML-Modell eingesetzt wird, um für Menschen signifikante Ergebnisse zu bestimmen, und wenn rechtliche Beschränkungen oder gesellschaftlich vereinbarte Normen eindeutig sind, kann es angebracht sein, eine quantifizierbare Größe für Fairness zu formulieren. Sie kann verwendet werden, um das Modell zu testen und herauszufinden, ob seine Outputs unfaire, ungleiche Auswirkungen je nach sozialem Geschlecht haben könnten (Dwork et al., 2012; Hardt et al., 2016; Davies et al., 2017). NB: Selbst ein System, das derartigen Messungen zufolge „fair” ist, könnte trotzdem auf ungerechte Art eingesetzt werden, wenn es auf bereits marginalisierte Bevölkerungsgruppen angewandt wird.

b. Bei der Beurteilung von potentiell diskriminierenden ML-Modellen ist Intersektionalität zu beachten.

Einige Fairness-Messungen prüfen die Leistung des Modells hinsichtlich einer isoliert betrachteten begrenzten Gruppe von geschützten Eigenschaften (z. B. soziales Geschlecht, ethnische Zugehörigkeit); dadurch könnten jedoch intersektionale Formen von Diskriminierung übersehen werden, bei denen Menschen an der Überschneidung von zwei oder mehreren Diskriminierungsarten stehen (z. B. „schwarze Frauen“, „ältere Männer mit asiatischer Abstammung“). Alternative Messungen sollen gewährleisten, dass der Algorithmus nicht nur aggregiert, sondern auch für jede der einzelnen Bevölkerungsgruppen eine gute Leistung bringt, die feinkörniger sein können (Kim et al., 2019; Tannenbaum et al., 2019).

c. Verwendung der Fairness-Definition, um das ML-System einzugrenzen oder erneut zu trainieren.

Nach der Etablierung einer Fairness-Definition sollte dieses für die Prüfung von existierenden Systemen oder die Eingrenzung der Entwicklung eines neuen Systems eingesetzt werden, damit es der Definition entspricht. Dabei können unterschiedliche Zugänge gewählt werden, entweder die Datenbearbeitung im Vorfeld, um Verzerrungen im Modell zu entschärfen, die Eingrenzung des Lernalgorithmus, oder die Modifikation des Modells nach dem Training. Welche davon am praktikabelsten ist, hängt vom Kontext ab (Bellamy et al., 2018).

d. Wurde bedacht, wie das Modell nach seinem Einsatz mit allgemeineren sozio-technologischen Systemen auf geschlechtsspezifische Weise interagieren könnte?

Ein Modell etwa, das entwickelt wurde, um das optimale Gebot für Werbeplätze in einer personalisierten Auktion vorherzusagen, kann im Test genderneutral scheinen. Wenn dieses System allerdings gegen Mitbewerber eingesetzt wird, die ihre Zielgruppe nach sozialem Geschlecht anvisieren, kann das vermeintlich genderneutrale System die Werbeflächen letztlich mit Gender-Bias platzieren (Lambrecht & Tucker, 2019). Wenn die Outputs verwendet werden, um menschliche Entscheidungsfindung zu begleiten, können potentielle Voreingenommenheiten der Entscheidungsträger_innen alle entzerrenden Maßnahmen im ML-Modell aufheben oder überkompensieren.

4. Unterkategorien des maschinellen Lernens

Während die oben genannten Überlegungen weithin angewandt werden können, unterscheiden sich entzerrende Maßnahmen je nach Unterart des maschinellen Lernens. Es folgt eine unvollständige Liste von Unterkategorien, für die möglicherweise unterschiedliche Methoden nötig sind.

a. Natürliche Sprachverarbeitung:

• In der Forschung wurden unterschiedliche Arten vorgestellt, wie Gender-Bias in Computermodellen von Sprachen analysiert und identifiziert werden kann, insbesondere in der Worteinbettung. Geometriebasierte Techniken ermöglichen den Vergleich der Einbettung von maskulinen und femininen Worten im Verhältnis zu anderen Wörtern in einer Sprache. Diese Zugänge ermöglichen es auch, den Bias derartiger Einbettungen zu korrigieren, z. B. so, dass „Babysitter“ eine gleiche Nähe zu „Großvater“ und „Großmutter“ hat (Bolukbasi et al., 2016). Andere Forschungsteams haben den Standard des Impliziten Assoziationstests auf Worteinbettungen angewandt, um zu beweisen, dass diese viele menschenähnliche Verzerrungen enthalten (Caliskan et al., 2017). Und wieder andere haben eine genderneutrale Variante von GloVe entwickelt (Zhao et al., 2018). Für Bilder wurde zunächst gezeigt, dass Trainingsalgorithmen die in den Trainingsdaten vorhandenen Verzerrungen verstärken können, und dann eine Technik entwickelt, um diese Verstärkung zu reduzieren (Zhao et al., 2017).
• Ähnliche Techniken können auch verwendet werden, um historische Stereotypen und Verzerrungen in der Gesamtgesellschaft zu untersuchen. Forschungen verwendeten geometriebasierte Messgrößen für Worteinbettungen, die an Textdaten aus 100 Jahren trainiert wurden, um Veränderungen in historischen Verzerrungen aufgrund des sozialen Geschlechts oder der ethnischen Zugehörigkeit zu identifizieren (Garg et al., 2018). Ähnliche Methoden können auch eingesetzt werden, um Verzerrungen in heutigen Texten zu vergleichen.

b. Ranking- und Empfehlungsdienste

• Fairness im Ranking betrifft Situationen, wo ein Gruppe von Menschen oder ein Satz von Artikeln gerecht gereiht werden müssen (z. B. Kandidat_innen für ein Einstellungsgespräch oder Buchempfehlungen). Da Qualitäts- oder Relevanzmaßstäbe zuungunsten bestimmter Gruppen verzerrt sein können – z. B. Kandidatinnen oder Autorinnen – könnten die höchstgereihten Kandidat_innen oder Bücher für andere überproportional relevant sein – z. B. Männer. Berechnungsansätze für gerechtes Ranking zielen darauf ab, bei solchen Suchergebnissen oder Empfehlungen eine gereihte Gruppenfairness zu erzwingen (z. B. Zehlike et al., 2017).

c. Spracherkennung

• Die derzeitige Spracherkennung unterliegt ähnlichen Herausforderungen wie die Bilderkennung (Tatman, 2017); bei der Sammlung von repräsentativen Datensätzen sollte ebenso große Sorgfalt angelegt werden.

d. Gesichtserkennung

• Der Bericht des National Institute of Standards and Technology (NIST) zur Evaluation von kommerziellen Gesichtserkennungsdiensten von 2019 ergab, dass „schwarze Frauen … die demographische Gruppe mit der höchsten FMR (False Match Rate)“ sind (NIST, 2019).

Relevante Fallstudien

Maschinelles Lernen/Machine Learning, öffnet eine externe URL in einem neuen Fenster
Maschinelle Übersetzung/Machine Translations, öffnet eine externe URL in einem neuen Fenster
Virtuelle Assistenten/Virtual Assistants, öffnet eine externe URL in einem neuen Fenster
Gesichtserkennung/Facial Recognition, öffnet eine externe URL in einem neuen Fenster