Asset-Herausgeber

null Social Scoring

  Bibliographische Angaben

ÖFIT-Trendschau

 

Öffentliche Informationstechnologie in der digitalisierten Gesellschaft

Trendthema 62

 

Social Scoring

 

Herausgeber:

Kompetenzzentrum Öffentliche IT
Fraunhofer-Institut FOKUS
Kaiserin-Augusta-Allee 31, D-10589 Berlin
Telefon: +49 30 3463 - 7173
Telefax: + 49 30 3463 - 99 - 7173
info@oeffentliche-it.de
www.oeffentliche-it.de
www.fokus.fraunhofer.de
Autorinnen und Autoren der Gesamtausgabe:
Mike Weber, Stephan Gauch, Faruch Amini, Tristan Kaiser, Jens Tiemann, Carsten Schmoll, Lutz Henckel, Gabriele Goldacker, Petra Hoepner, Nadja Menz, Maximilian Schmidt, Michael Stemmer, Florian Weigand, Christian Welzel, Jonas Pattberg, Nicole Opiela, Florian Friederici, Jan Gottschick, Jan Dennis Gumz, Fabian Manzke, Rudolf Roth, Dorian Grosch, Maximilian Gahntz, Hannes Wünsche, Simon Sebastian Hunt, Fabian Kirstein, Dunja Nofal, Jens Fromm
Autorinnen und Autoren einzelner Trendthemen:
Michael Rothe, Oliver Schmidt
ISBN:
978-3-9816025-2-4
Autorinnen/Autoren:
Dunja Nofal
Bibliographische Angabe:
Dunja Nofal, Social Scoring, In: Jens Fromm und Mike Weber, Hg., 2016: ÖFIT-Trendschau: Öffentliche Informationstechnologie in der digitalisierten Gesellschaft. Berlin: Kompetenzzentrum Öffentliche IT,
https://www.oeffentliche-it.de/-/social-scoring
Lizenz:
Dieses Werk ist lizenziert unter einer Creative Commons Namensnennung 3.0 Deutschland Lizenz (CC BY 3.0 DE) http://creativecommons.org/licenses/by/3.0 de/legalcode. Bedingung für die Nutzung des Werkes ist die Angabe der Namen der Autoren und Herausgeber.

Social Scoring

China testet zurzeit verschiedene Social-Scoring-Systeme. Ziel ist, für jede:n Bürger:in, aber auch für jedes Unternehmen und jede Organisation einen Verhaltenswert in Echtzeit zu ermitteln. Basierend auf dem individuellen Verhaltenswert wird der Zugang zu öffentlich bereitgestellten Gütern und Dienstleistungen ermöglicht. Eine solche Entwicklung scheint in demokratischen Staaten undenkbar. Doch auch in Deutschland finden Social-Scoring-Systeme Anwendung, wenngleich diese auf bestimmte Teilbereiche begrenzt sind. Wozu wird Social Scoring hierzulande eingesetzt? Und welche Potenziale und Gefahren bergen diese Anwendungen?

Funktionsweise und Anwendungsbereiche

Scoring beschreibt die Zuordnung eines Zahlenwertes im allgemeinen Sinne, während Social Scoring die Bewertung des sozialen Verhaltens natürlicher oder juristischer Personen zum Zwecke der Verhaltensprognose bzw. -steuerung (siehe Stupsen) meint. Dabei beruht die Berechnung des Zahlenwertes (auch Score genannt) auf Daten zu Eigenschaften und Aktivitäten der bewerteten Person bzw. Organisation. Die in Deutschland bekannteste Form ist das sogenannte Bonitäts-Scoring. Auf Grundlage unterschiedlicher Daten zu bspw. Leasingverträgen, Bank- und Mobilfunkkonten wird die Kreditwürdigkeit einer Person bewertet und das Ausfallrisiko eines Kredits prognostiziert. Dabei ist die genaue Berechnung des Scores, beispielsweise durch Auskunfteien wie die SCHUFA, ein Geschäftsgeheimnis. Anhand des Scores können bspw. Kreditinstitute oder Vermieter:innen entscheiden, ob und unter welchen Konditionen sie einen Vertrag mit einer Person eingehen.

Scoring-Systeme können jedoch in vielen weiteren Bereichen Anwendung finden. Die Digitalisierung ermöglicht hier immer komplexere Verfahren wie etwa die Nutzung von Echtzeitdaten und Daten aus sozialen Netzwerken, sowie eine Berechnung der Scores mithilfe des Maschinellen Lernens (bspw. auf Grundlage von Neuronalen Netzen). Kranken- und Kfz-Haftpflichtversicherungen machen sich bereits heute die Vielfalt der verfügbaren Daten zunutze und bieten Kundinnen und Kunden potenziell Kostenersparnisse nach der Offenlegung ihrer persönlichen Daten z. B. zum eigenen Fahrverhalten an (siehe Pay-as-you-live).

Eine vorurteilsfreiere Welt durch Social Scoring?

Menschen werden in unterschiedlichsten Lebensbereichen bewertet. Sei es bei der Bewerbung um einen Arbeitsplatz, bei der Beantragung eines Kredites oder bei der Wohnungssuche. Nicht selten begegnen bestimmte Gruppen dabei Vorurteilen und Diskriminierung aufgrund persönlicher Merkmale wie Alter, Geschlecht, sexueller Orientierung oder Herkunft. Social Scoring ermöglicht eine standardisierte Analyse unter Einbeziehung vielseitiger Faktoren. Könnte dieses Potenzial genutzt werden, um eine vorurteilsfreiere Alternative zur Bewertung durch Menschen zu schaffen?

Angenommen, Arbeitsuchende hätten die Möglichkeit, einen Social Score bei der Bewerbung um eine Beschäftigung vorzulegen, bei dem Aktivitäten wie ehrenamtliches Engagement, Weiterbildungen und Fürsorgearbeit strukturiert berücksichtigt werden. Könnten Betroffene auf diese Weise vielleicht sogar schneller wieder in den Arbeitsmarkt finden und würde dadurch das Problem von Vorurteilen und Diskriminierung reduziert werden? Welche Risiken wie beispielsweise die mittelbare Diskriminierung über Verhaltensvariablen müssten hierbei bedacht werden? So verlockend der Gedanke klingt, es verbleiben doch viele offene Fragen.

Differenzierung, Diskriminierung und (De-)Professionalisierung

Der Sinn von Scoring ist Differenzierung, um eine Sachgrundlage für unterschiedliche Behandlung zu schaffen. Anhand der Eingabevariablen führt ein Scoring von Person zu Person zu einem unterschiedlichen Wert. Wenn ein Scoring-System sensitive Merkmale wie das Geschlecht, die Herkunft, den Wohnort oder den Gesundheitszustand als Input zur Berechnung nutzt, besteht jedoch die Gefahr der gesellschaftlichen Benachteiligung. In Dänemark wird mithilfe von Daten beispielsweise zu psychischen Erkrankungen, Arbeitslosigkeit und verpassten Arztterminen versucht, ein Frühwarnsystem für Kindesgefährdung aufzubauen. Auch erste deutsche Jugendämter erproben ähnliche Anwendungen. Oft basiert die Auswahl der für den Score genutzten Variablen auf Korrelationen, also statistischen Häufungen. Im dänischen Fall würde das bedeuten, dass innerhalb des Datensatzes, auf dem das System aufbaut, das Kindeswohl häufiger gefährdet ist, wenn die Eltern beispielswiese arbeitslos oder psychisch krank sind. Der Score stellt eine statistische Risikoprognose dar, bedeutet aber nicht, dass das Kindeswohl zwangsläufig gefährdet ist, wenn ein Elternteil arbeitslos oder krank wird. Eine Unterscheidung zwischen Einzelfall und Statistik ist also notwendig und erweist sich als umso voraussetzungsreicher, je komplexer die statistischen Zusammenhänge ausfallen.

Wenn ein Score als Entscheidungsgrundlage für Intervention oder Nicht-Intervention genutzt wird, ist zu hinterfragen, wie Mitarbeitende der Behörde das System nutzen und welche Auswirkungen es auf ihr qualitatives Ermessen hat. Denn die Unterstützung durch eine Software kann sowohl zur Befähigung der Mitarbeitenden als auch zur Deprofessionalisierung führen. Ersteres trifft zu, wenn der Social Score zur Unterstützung genutzt wird, also die Risikoprognose nicht mit einer Aussage über eine Interventionsentscheidung gleichgesetzt und der Einzelfall reflektiert wird. Wird der vermeintlich „objektiven“ Bewertung des Systems hingegen blind vertraut oder setzt es Mitarbeitende unter Rechtfertigungszwang, wenn sie gegen die Empfehlung des Systems handeln, besteht das Risiko der Deprofessionalisierung. Dies wiederum kann sich in Kompetenzverlust, Fehlbedienung, Fehlentscheidungen und Diskriminierung ausdrücken.

Die direkte Verwendung sensitiver Merkmale in Scores ist etwa aufgrund der mangelnder Datenverfügbarkeit eher selten. Gesellschaftlich relevanter ist die mittelbare oder auch indirekte Diskriminierung über scheinbar unverfängliche, nicht sensitive Variablen. Denn auf mittelbar über die Verknüpfung von Variablen wie Körpergröße, Konsumverhalten und Freizeitgewohnheiten mit hoher Wahrscheinlichkeit rückgeschlossen werden. Dieser Gesichtspunkt der potenziellen Diskriminierung ist zumindest aufmerksamkeitsbedürftig.

Quantifizierung des Sozialen

Social Scoring erlaubt es, vielschichtige Sachverhalte auf einen Zahlenwert zu reduzieren. Diese enorme Komplexitätsreduktion ist insbesondere effizienzsteigernd in Bereichen, in denen schnell und häufig Entscheidungen getroffen werden müssen. Allerdings bleibt zu diskutieren, inwiefern ambivalente Phänomene, die eher ein qualitatives Urteil erfordern, in einem Score zusammengefasst werden sollten, da dies zu Unklarheiten über die Bedeutung sowie zu unangemessenen Anwendungen (off-label use) des Social Score führen kann.

Aber auch weitere Gründe machen die Auswahl der Variablen essenziell für die Aussagekraft des Score. Sind die berücksichtigten Parameter bekannt, können Personen ihren Score gezielt aufwerten oder manipulieren (Score-Gaming) (siehe Gamification). Wenn beispielsweise nicht nur sportliche Aktivitäten, sondern auch der Erwerb von Sportbekleidung eine Verbesserung des Scores bewirkt, können Personen den Score durch Käufe gezielt erhöhen, ohne ihr Verhalten oder ihren Gesundheitszustand tatsächlich zu verändern.

Themenkonjunkturen

Folgenabschätzung

Möglichkeiten

  • Systematische Verhaltensprognose auf Grundlage vielseitiger Faktoren
  • Verhaltensmotivation
  • Datenbasierte Entscheidungsunterstützung als Ergänzung zum persönlichen Ermessen

Wagnisse

  • Modellbias und Diskriminierung
  • Verfügbarkeit geeigneter Daten
  • Datenschutz
  • Manipulation des Score
  • Unangemessene Anwendung des Score
  • Druck zur Anpassung des Verhaltens (Konformismus)
  • Deprofessionalisierung

Handlungsräume

Einen kritischen Umgang mit Social Scoring fördern

Organisationen, die Social Scoring einsetzen, müssen Mitarbeitende ausreichend schulen, um ein allgemeines Verständnis über die Entstehung und Aussagekraft sowie potenzielle Fehlerquellen des Score sicherzustellen. Social-Scoring-Systeme sollten Mitarbeitende unterstützen, sie aber in ihrer Tätigkeit nicht einschränken. Dabei müssen Mitarbeitende befugt sein, den Score zu hinterfragen, die Ergebnisse zu prüfen und ihnen auch zuwiderzuhandeln. Kompetenzen müssen auch in der Bevölkerung gestärkt werden, damit es Individuen möglich ist, ihren eigenen Score kritisch nachzuvollziehen.

Auskunftsrechte stärken und Widerspruch ermöglichen

Auskunftsrechte müssen gestärkt werden, wobei auch der Einfluss verschiedener sensitiver Merkmale auf den Score nachvollziehbar sein muss. Nur so kann indirekte und direkte Diskriminierung durch Social Scoring erkannt und reduziert werden. Auf individueller Ebene ist wichtig, dass für bewertete Personen die Möglichkeit besteht, über die Entwicklung ihres Score zeitnah informiert zu werden sowie auf einfachem Wege Widerspruch einzulegen.

Aufsicht institutionalisieren

Die Verantwortung, Scoring-Systeme zu hinterfragen und ggf. Korrekturen einzufordern, muss institutionalisiert werden und darf nicht Einzelpersonen angelastet werden. Konkret könnte diese Aufgabe von staatlicher Seite oder zivilgesellschaftlichen Organisationen übernommen werden. Dabei sollte mit großer Sorgfalt die Einhaltung der Geschäftsgeheimnisse der privaten Scoring-Anbieter mitbedacht werden. Ferner wäre ein Verbandsklagerecht im Falle von Diskriminierung durch Scoring zu prüfen, während insgesamt die regelmäßige Überprüfung der Datenqualität, der Angemessenheit der Modelle und der gesellschaftlichen Wirkungen sichergestellt werden muss.