Ursachen

Die Leistungsfähigkeit von Algorithmen, die für oder über Menschen entscheiden, nimmt zu – eine Entwicklung, die insbesondere durch Fortschritte im Bereich des maschinellen Lernens (siehe Denkende Maschinen oder Neuronale Netze) begünstigt wird. Doch schnellere und vermeintlich genauere Entscheidungen bedeuten noch lange nicht, dass diese auch gerecht sind. Ein KI-Modell kann durchaus bei etablierten Metriken für die Leistungsfähigkeit gut abschneiden und trotzdem eine Gruppe von Menschen aufgrund von Merkmalen wie Geschlecht oder ethnischer Herkunft benachteiligen. Dies kann daran liegen, dass Trainingsdaten real existierende Ungerechtigkeiten widerspiegeln. Zudem verfügen Menschen über begrenztes Wissen, was zu blinden Flecken führen kann, sie sind sich mitunter also gar nicht bewusst, welche Eigenschaften zu ungerechten Entscheidungen führen können. Und dies betrifft natürlich auch Entwickler:innen von Algorithmen.

Verschiedene Lösungsansätze

Es existieren verschiedene Ansätze, die die Gewährleistung von Gerechtigkeit bei algorithmischen Entscheidungen adressieren. Dazu gehören zum Beispiel Erklärbare KI und Human-in-the-Loop. Beim bereits etablierten Human-in-the-Loop-Ansatz unterliegen algorithmische Ergebnisse einer Überprüfung durch Menschen. Unter Erklärbarer KI versteht man Methoden, die Begründungen für die Entscheidung eines KI-Modell liefern . Als weiterer Ansatz werden mittlerweile verstärkt Fairness-Metriken diskutiert und entwickelt. Solche Metriken sollen die Fairness eines Algorithmus quantifizieren und so überprüfbar machen. Dies soll schlussendlich zur Entwicklung gerechterer Algorithmen führen.

Was als gerecht angesehen wird, kann sich aber durchaus von Gruppe zu Gruppe oder auch von Person zu Person unterscheiden. Alle Ansätze zur Gewährleistung der Gerechtigkeit von Algorithmen basieren letztlich auf einem Verständnis von Gerechtigkeit, das nicht jede oder jeder teilt. Die Diskussion zu Gerechtigkeit bei Algorithmen lässt sich deshalb nicht entkoppeln von einer Diskussion zu Gerechtigkeit im Allgemeinem.

Es liegt natürlich nahe, sensitive Merkmale wie Geschlecht oder Ethnie beim Training einfach wegzulassen, um die Gerechtigkeit eines Machine-Learning-Modells so zu gewährleisten. Dies greift jedoch zu kurz. Wenn etwa eine bestimmte Wohngegend stark mit einer ethnischen Herkunft korreliert, so kann die Wohngegend bei der Entscheidungsfindung stellvertretend für dieses Merkmal dienen. Kurzum: Existierende Ungerechtigkeiten in den Trainingsdaten lassen sich nicht immer durch das Weglassen sensitiver Merkmale beseitigen, weshalb Ansätze wie beispielsweise Fairness-Metriken von Interesse sind.

Begriffliche Verortung

Beispiele

Es wurden bereits verschiedene Fairness-Metriken entwickelt. Ein Beispiel für eine Fairness-Metrik ist Disparate Impact Ratio. Hierbei wird gemessen, wie sich der Anteil günstiger Entscheidungen (zum Beispiel Bewilligung eines Antrags, siehe auch Social Scoring) eines Algorithmus zwischen Gruppen von Menschen unterscheidet. Dazu steht eine Grundmenge von Daten zur Berechnung der Disparate Impact Ratio zur Verfügung. Diese Menge wird aufgeteilt auf Basis eines betrachteten Merkmals, zum Beispiel des Geschlechts oder der Ethnie. Für die Teilmengen wird dann jeweils der Anteil der günstigen Entscheidungen berechnet. Durch die Division des Anteils einer Teilmenge durch den Anteil einer anderen Teilmenge ergibt sich dann eine einzige Zahl, die als Indikator für Fairness dienen kann, denn weicht diese Zahl deutlich von Eins ab, bedeutet das, dass sich die Anteile günstiger Entscheidung je nach Gruppe deutlich voneinander entscheiden. Daraus folgt noch nicht, dass der Algorithmus tatsächlich ungerechte Entscheidungen trifft. Allerdings kann ein auffälliger Wert als Ausgangspunkt dazu dienen, genau dies zu überprüfen indem eine tiefergehende Untersuchung erfolgt. Die Disparate Impact Ratio gehört dabei zu den Ansätzen, die – im Gegesantz zur sogenannten individuellen Fairness - die sogenannte Gruppenfairness adressieren, eben weil hier die Ergebnisse von Gruppen miteinander verglichen werden.

Verwandt mit den Fairness-Metriken ist das Konzept der Fairness-Bedingung. Ein Beispiel hierfür ist die Individual-Fairness-Bedingung. Die Idee bei individueller Fairness ist, dass ein Algorithmus für Personen, die sich bezüglich ihrer in den Daten hinterlegten Eigenschaften stark ähneln, auch sehr ähnliche Ergebnisse erzeugt. Dies lässt sich mathematisch als Wenn-Dann-Bedingung formulieren. Auch hier spielen Metriken eine Rolle: Eine Metrik berechnet für die Merkmale zweier Personen einen positiven Zahlenwert und eine weitere Metrik berechnet für zwei Ergebnisse des Algorithmus einen positiven Zahlenwert. Je näher dieser Wert bei Null liegt, desto ähnlicher sind sich die Personen beziehungsweise die algorithmischen Ergebnisse. Der Algorithmus erfüllt dann die Individual-Fairness-Bedingung, wenn für alle Individuen gilt, dass der Wert der Metrik für die Ähnlichkeit dieser zwei Individuen mindestens so groß ist wie der Wert der Metrik für die algorithmischen Ergebnisse für diese beiden Individuen. Eine Herausforderung besteht hierbei darin, überhaupt erst geeignete Metriken für die Messung der Ähnlichkeit zu finden. Denn von diesen Metriken hängt ab, wie leicht sich die Individual-Fairness-Bedingung erfüllen lässt.

Was Fairness-Metriken können

Fairness-Metriken bieten eine technische Möglichkeit, existierende Algorithmen zu überprüfen und Gerechtigkeit bei der Entwicklung neuer Algorithmen zu berücksichtigen und können so ein wertvolles Werkzeug darstellen, um gerechte Algorithmen zu erreichen. Allerdings weisen Fairness-Metriken auch Schwächen auf. Sie basieren auf einer vorher gewählten Definition von Gerechtigkeit. Entsprechend sind Fairness-Metriken oftmals sehr spezifisch, messen also nur einen eng definierten Aspekt von Gerechtigkeit und sind nicht zwangsläufig über diesen hinaus aussagekräftig. Sie müssen daher korrekt angewendet werden. Auch können sie nicht alle existierenden Schwächen in den Trainingsdaten kompensieren. Zudem ist die einmalige Prüfung eines Algorithmus mit Fairness-Metriken nicht immer ausreichend. Die reale Welt verändert sich und dementsprechend können sich auch Daten und ein kontinuierlich lernendes KI-System ändern. Bezüglich der Gruppenfairness ergibt sich das Problem, dass nicht zwangsläufig bekannt ist, welche Gruppierungen ein Algorithmus für die Ergebnisfindung bildet. Bei Machine-Learning-Systemen können auch ungewöhnliche Gruppierungen gebildet werden, etwa auf Basis der Scrollgeschwindigkeit, der Neigung zum Schwitzen oder des Musikgeschmacks. Eine Diskriminierung solcher Gruppierungen verstößt nicht gegen das Allgemeine Gleichbehandlungsgesetz, da sie keinem besonderen Schutz unterliegen. Gleichwohl ist eine unterschiedliche Behandlung aufgrund solcher Merkmale nicht zwangsläufig gerecht. Allerdings werden diese Gruppierungen wahrscheinlich gar nicht bedacht und dementsprechend auch nicht bei einer Überprüfung berücksichtigt, sofern es keine Mechanismen gibt, um zu überprüfen, welche Gruppierungen ein Algorithmus bildet. Ein weiteres Problem können Zielkonflikte zwischen Gerechtigkeit und Performanz von Algorithmen sein. Eine Steigerung hinsichtlich einer Fairness-Metrik kann auch mit einem Rückgang hinsichtlich der Metriken zur Leistungsfähigkeit (und tatsächlich auch anderen Metriken) eines KI-Modells einhergehen. Um diesen Schwächen zu begegnen, werden existierende Fairness-Metriken immer wieder evaluiert und neue Metriken entwickelt.

Fairness-Metriken sind keinesfalls ein Allheilmittel, könnten aber zu gerechteren Entscheidungen durch Algorithmen beitragen und das Vertrauen in algorithmische Entscheidungen stärken. Gleichzeitig kann dieses Vertrauen auch wieder verspielt werden, etwa dadurch, dass Metriken unbewusst inkorrekt verwendet werden. Zudem besteht auch die Gefahr, dass Fairness-Metriken bewusst falsch genutzt werden, um ähnlich wie beim Greenwashing von Produkten ein Fairwashing von Algorithmen zu erreichen.

Themenkonjunkturen

Folgenabschätzung

Handlungsräume

Fairness-Metriken einsetzen

Fairness-Metriken bieten die Möglichkeit, Algorithmen so zu gestalten, dass sie gerechtere Entscheidungen treffen. Bestenfalls sollten sie im Entwicklungsprozess mitgedacht werden. Eine Grundlage für die Auswahl von Fairness-Metriken kann das Allgemeine Gleichbehandlungsgesetz (AGG) sein.

Alternativen berücksichtigen

Neben Fairness-Metriken gibt es auch andere Ansätze wie etwa Erklärbare KI oder Human-in-the-Loop. Diese könnten zum Beispiel in Kombination mit Fairness-Metriken eingesetzt werden. Zudem sollte auch bei derzeit eingesetzten Fairness-Metriken regelmäßig hinterfragt werden, ob neu entwickelte Metriken besser geeignet sein könnten.

Diskussion zur Fairness von Algorithmen vorantreiben

Was Gerechtigkeit bei algorithmischen Entscheidungen bedeutet, wird seit längerem diskutiert und ist keineswegs klar. Diese Diskussion sollte verfolgt und vorangetrieben werden, da Erwartungen an Algorithmen bezüglich Gerechtigkeit (auch über gesetzliche Vorgaben wie das AGG hinaus ) eine Basis für die Entwicklung und Auswahl von Fairness-Metriken darstellen. Wesentlich hierfür ist die Transparenz von Algorithmen hinsichtlich der Gruppenbildung. Denn erst wenn solche Gruppen bekannt sind, ermöglicht dies eine Diskussion, ob unterschiedliche algorithmische Ergebnisse auf Basis der Gruppenzugehörigkeit gerecht sind.