Technischer Hintergrund

FL ist ein technischer Ansatz, mit dem die Zentralisierung der Daten entfällt und das KI-Modell (siehe Denkende Maschinen und Neuronale Netze) dezentral über mehrere Clients trainiert wird, (in der ursprünglichen Variante) organisiert durch einen zentralen »Server«, der jedoch über das gesamte Training keinen Zugriff auf die Daten der Clients hat. Das Training läuft in mehreren Stufen ab, die in Abbildung 1 gezeigt sind. Der Server initialisiert und sendet zuerst ein globales Modell zu den ausgewählten Clients. Diese trainieren ihr jeweiliges Modell lokal mit ihren lokalen Daten. Nach Abschluss des Trainingvorgangs sendet jeder Client das trainierte Modell beziehungsweise die gewichteten Parameter zurück zum Server. Dieser aggregiert die Trainingsparameter aller Modelle der Clients. Das geschieht entweder durch die Berechnung eines einfachen Durchschnitts für jeden Parameter über alle Clients oder über einen gewichteten Durchschnitt, um die Größe des Datensatzes pro Client mit zu berücksichtigen. Die berechneten Parameter verteilt der Server als ein geupdatete Modell an die Clients für eine neue Trainingrunde. Dieser Prozess wird so lange wiederholt, bis das Modell die gewünschte Akkuratheit erzielt, also die Zielfunktion auf Seite der Clients konvergiert. So erzeugt der Server ein globales Modell, ohne selbst Zugriff auf die Daten gehabt zu haben.

Begriffliche Verortung

Vor- und Nachteile von FL

Es gibt viele Vorteile, die ein dezentrales Training von KI hat. Die offensichtlichsten und bereits beschriebenen sind Datenschutz und Sicherheit. Sensible Daten bleiben vor Ort auf lokalen Servern gespeichert, zu keinem Zeitpunkt kommt es zu einem Transfer von vertrauenswürdigen Daten. Das ist für den öffentlichen Sektor und insbesondere die Verwaltung besonders relevant, arbeiten diese doch regelmäßig mit schützenswerten Daten, seien es Gesundheitsdaten oder Informationen zu Bürger:innen. Damit verbunden ist die regionale Datenhoheit, die bei einer horizontalen Zusammenarbeit dafür sorgt, dass lokale oder regionale Vorschriften eingehalten werden und trotzdem gemeinsame Lösungen entwickelt werden können. Das macht den Ansatz insbesondere für das föderale politische System in Deutschland interessant. Zuletzt lässt sich FL auch sehr gut skalieren, insbesondere wenn viele Akteur:innen beteiligt sind beziehungsweise zu unterschiedlichen Zeiten beitreten wollen.

In der wissenschaftlichen Literatur zu FL finden sich drei primäre Bottlenecks, welche die weitere Verbreitung erschweren. Das ist (1) die Heterogenität sowohl der Daten als auch der Modelle. In den meisten FL Einsatzfeldern sammeln und besitzen die Clients inkonsistente Datenvolumen und damit ungleiche Verteilungen. Das führt zu Problemen bei der Konvergenz und Akkuratheit des Modells. Auf der Ebene der Modelle erfordert FL prinzipiell uniforme Strukturen. Das kann herausfordernd sein, weil die Clients möglicherweise über unterschiedliche Hardware-Ressourcen und Rechenpower verfügen, worunter die gemeinsame Modellstruktur leidet .
Ein weiteres Hindernis ist (2) die Kommunikation. Der »Communication-overhead« wird durch die Notwendigkeit des Sendens der Parameter von den Clients zum Server und zurück erzeugt und ist typischerweise mit höheren Kosten verbunden als der eigentliche Trainingsprozess. Je mehr Trainingsrunden notwendig sind, desto höher werden die Kosten.
Neben der technischen Komplexität ist auch (3) der zusätzliche organisatorische Aufwand zu beachten, der mit FL einhergeht. FL über Grenzen hinweg gelingt nur dann, wenn die Daten im gleichen Format vorliegen, ein gemeinsames Trainingsziel besteht und sich auf einen gemeinsamen FL Algorithmus geeinigt werden kann. Dafür braucht es Koordinatoren, die zwischen den Organisationen beziehungsweise Regionen vermitteln.

Anwendungsbeispiele verbündeten Lernens

Anwendungsmöglichkeiten finden sich überall dort, wo der Schutz von Daten eine höhere Rolle spielt. Das kann zwischen Organisationen sein, wenn jede Organisation einen Teil der Daten besitzt, die zusammengeführt neue Erkenntnisse ermöglichen. Zusätzliche datenschutzfreundliche Techniken (z. B. kryptografische Methoden, Differential Privacy) können hinzugefügt werden, um sensible Daten weiter zu schützen.
FL kann außerdem in einer Vielzahl weiterer Anwendungsszenarien zum Einsatz kommen. So kann es in »Smart Cities« (siehe Digitale Zwillinge und Funkende Dinge) eingesetzt werden, um den Nutzen von Edge Computing (siehe Edge Computing) und Sensoren zu optimieren und Probleme in Großstädten wie Verkehrsstaus und Fußgängersicherheit zu adressieren. Insbesondere in dynamischen Umgebungen, die kontinuierlichen Veränderungen unterliegen, wie beispielsweise Wetterbedingungen und saisonalen Schwankungen, bieten sich solche Lösungen an. Dafür muss jeder dieser Edge-Computer in der Lage sein, Trainingsprozesse eigenständig durchzuführen, was für kleinere Modelle realistisch ist, ab einer gewissen Größe jedoch zu Kapazitätsproblemen führen könnte. Entsprechend ist ein solcher Einsatz nicht in jedem Fall geeignet, sondern muss von Fall zu Fall entschieden werden.

Themenkonjunkturen

Varianten

Dezentrales föderales Lernen (DFL) ist ein neuerer Ansatz, bei dem, anders als beim traditionellen FL, auf einen zentralen Server verzichtet wird, der den Lernprozess orchestriert. Damit werden einige Limitationen, die sich aus der zentralisierten Erstellung des trainierten Modells ergeben und einen »Single point of failure« darstellen, gelöst. Stattdessen werden die lokal berechneten Parameter des Modells jeweils mit den Nachbarn innerhalb des Netzwerks geteilt und somit die Robustheit des Gesamtsystems verbessert.

Folgenabschätzung

Handlungsräume

Aufbau rechtlicher und ethischer Rahmenbedingungen

Richtlinien für die Verwendung und Speicherung von Modellparametern können öffentlichen Institutionen helfen, die datenschutzkonforme Nutzung von verbündetem Lernen sicherzustellen. Darüber hinaus helfen Standards, Sicherheitsvorfälle zu minimieren und die Zusammenarbeit zwischen Institutionen zu erleichtern.

Förderung regionaler FL Netzwerke

Die finanzielle Unterstützung (regionaler) Netzwerke für verbündetes Lernen ermöglicht es, Pilotprojekte zu initiieren und eine Infrastruktur für den Austausch zwischen öffentlichen Institutionen aufzubauen.

Schulung und Kompetenzaufbau der Mitarbeitenden

Gezielte Schulungsprogramme für technisches Personal, Datenschutzbeauftragte und Entscheidungstragende können helfen, das notwendige Wissen und die Fähigkeiten für die Umsetzung von verbündetem Lernen zu vermitteln. Ergänzend dazu ist eine Sensibilisierung aller Beteiligten für die Vorteile, Herausforderungen und Risiken von Verbündetem Lernen sinnvoll.

Experimentierräume schaffen

Es kann sinnvoll sein, verbündetes Lernen in einem sicheren und kontrollierten Umfeld zu erproben. Dabei sind klare Erfolgskriterien zu definieren, um den Fortschritt messbar zu machen. Die gewonnenen Ergebnisse sollten dokumentiert und als Best Practices für andere Institutionen zur Verfügung gestellt werden.