„Algorithmen kennen nicht nur „ja" oder „nein", sondern auch „vielleicht"", so eröffnete Prof. Ina Schieferdecker, Institutsleiterin des Fraunhofer FOKUS, die Konferenz. Damit verwies sie auf die Möglichkeiten von Algorithmen, durch Daten, Heuristiken, Empirien und Statistiken nicht nur schwarz oder weiß, sondern auch die Graustufen dazwischen abbilden zu können. Prof. Peter Parycek, Leiter des Kompetenzzentrums Öffentliche IT (ÖFIT), bezeichnete die Konferenz als Bestandteil eines notwendigen Diskurses sowie als „Startschuss" für das ÖFIT, um in den nächsten zwei Jahren das Thema hinsichtlich seiner Relevanz für Politik und Verwaltung aufzuarbeiten. Resa Mohabbat Kar, wissenschaftlicher Mitarbeiter am ÖFIT, erinnerte an die Schutz- und Gestaltungsverantwortung des Staates: Dieser müsse sicherstellen, dass algorithmenbasierte öffentliche Räume ihre Funktionen als gesamtgesellschaftliche Kommunikationsräume erfüllen könnten.

Staatssekretär Vitt betonte in seiner anschließenden Eröffnungsrede, dass Cybersicherheit und Vertrauen die entscheidenden Grundlagen seien. Der geplante Portalverbund werde dabei helfen, eine Übersicht darüber zu erhalten, welche Verwaltungsverfahren bereits digital verfügbar sind. Zudem werde der Druck auf die Verwaltungen erhöht, „portalverbundfähige" Portale aufzubauen. Derzeit würden acht Verwaltungsverfahren in Arbeitsgruppen digitalisiert. Um das anvisierte Ziel zu erreichen, müssten innerhalb der nächsten fünf Jahre jedoch 100 Verfahren jährlich digitalisiert werden. Staatssekretär Vitt zeigte sich zuversichtlich, dass dies mit der Hilfe der Länder auch gelingen werde. In Bezug auf den Einzug von Algorithmen in die öffentliche Verwaltung unterstrich er, dass Algorithmen das Ermessen des Sachbearbeiters weder ersetzen können, noch ersetzen sollen. Die Fachsachbearbeiter müssten in die Entwicklung der Algorithmen eingebunden werden, denn sie wüssten, was diese leisten müssen. Staatssekretär Vitt sprach sich für einen Algorithmen-TÜV aus, der die Funktionsweise von Algorithmen kontrollieren solle.

In der anschließenden Keynote beschrieb Prof. Karen Yeung, Direktorin des Centre for Technology, Ethics & Law in Society (TELOS) an der Dickson Poon School of Law des King's College London Big Data als neue Art der Wissensproduktion.

Als eine Folge des Zusammenwirkens von Big Data und algorithmischen Entscheidungssystemen erläuterte Prof. Yeung „algorithmic regulation" als Steuerungsinstrument, das mittels verschiedenartiger Mechanismen (wie z. B. „nudging") zum Risikomanagement, zur Beeinflussung individuellen Verhaltens oder der Organisation kollektiver Prozesse eingesetzt werden könne. Das Neue an algorithmischer Regulierung sei, dass sie nicht nur reagiere, sondern auch präventiv die Zukunft vorhersage und forme. Eine „Algocracy" unterscheide sich damit fundamental von anderen Organisationsformen wie der Bürokratie oder dem Markt. Im Diskurs darüber gäbe es die Vertreter des „Dataism" von O'Reilly auf der einen und Vertreter des „Solutionism" nach Morozov auf der anderen Seite. Gegenwärtige Systeme zur algorithmischen Regulierung seien ihrem Wirken nach intransparent, basierten auf der Erfassung granularer Daten über menschliches Verhalten und seien daher demokratietheoretisch und verfassungsrechtlich bedenklich. Yeung betonte, dass Privatheit ein Kollektivrecht sei, das demnach nicht individuell abgetreten werden könne. Individuen würden gegenüber dem algorithmischen System Macht und Kontrolle fehlen.

Dr. Christian Djeffal vom Humboldt Institut für Internet und Gesellschaft eröffnete die Session Regieren & Verwalten mit einem Vortrag zu normativen Leitlinien für Künstliche Intelligenz in der öffentlichen Verwaltung. Der Umgang mit der offenen Basistechnologie KI sage viel über die Gesellschaft aus. Er führte Beispiele an, wie Datenschutz durch künstliche Intelligenz gefördert werden könne. Einfach zu bedienende Chatbots, die über gespeicherte Daten Auskunft geben und Privacy-Einstellungen anpassen, böten hier ein anschauliches Beispiel. Zugleich gebe es KI-Systeme, die auf Basis von Videodaten Verhaltensmuster von Personen erkennen. Sogenannte Smart-Surveillance-Systeme böten die Möglichkeit kritische Situationen automatisiert zu erkennen. Die Bewertung von KI hänge entsprechend vom konkreten Einsatz ab: Die Schaffung von Transparenz über Verwaltungsentscheidungen wie bei der Einteilung der Schulbezirke in Berlin lasse sich hier ebenso beobachten wie die automatisierte Versendung fehlerhafter Bescheide durch öffentliche Institutionen in Australien. Die soziale Einbettung bestimme maßgeblich die Wirkung, wenn es etwa um die sachgerechte Interpretation von Auswertungen gehe. Bewertungsmaßstab müsse dabei stets sein, ob die Verfahren gegenüber dem Status quo besser oder schlechter würden. Während heute dabei das Recht oft als Hindernis für die Einführung algorithmischer Entscheidungssysteme fungiere, könne zukünftig auch ein Recht auf algorithmische Entscheidung etabliert werden, um bspw. Willkür einzuschränken. Immer mehr moderne Rechtsnormen adressierten eine Pflicht zur Förderung und Anwendung von Technologien, um Teilhabe und Objektivität zu unterstützen. Während die aktuelle Diskussion vorwiegend Kontrolle und Verbote von Algorithmen adressiere, sollte zukünftig primär deren Gestaltung im Mittelpunkt stehen. Leitbild hierfür solle der Mensch sein, der über der Technik stehen müsse.

Anschließend skizzierte Prof. Dr. Peter Parycek, Leiter des Kompetenzzentrums Öffentliche IT, wie eine an einem solchen Leitbild orientierte Umsetzung der Datenanalyse in Verwaltung und Politik aussehen könnte. Eine datengetriebene Analyse politischer Vorhaben ermögliche eine kontinuierliche Evaluierung, bis hin zu einer Echtzeit-Evaluierung und Optimierung. Dies böte völlig neue Möglichkeiten der politischen Steuerung. Erforderlich sei dafür, die vorhandenen Datenquellen, insbesondere auch externe Quellen und Objekte, zugänglich zu machen. Darauf aufbauend ließen sich Analysen von einfachem Monitoring über problemorientierte Diagnosen bis hin zu Simulationen und Beratung durchführen. Diese erlaubten eine evidenzbasierte Politikgestaltung und wirkungsorientiertes Verwaltungshandeln. Die so gefundenen Ziele ließen sich durch regelbasierte, fallbasierte und schließlich lernende Algorithmen zur Entscheidungsunterstützung operationalisieren. Jedoch bilde die online bzw. digital messbare Welt nicht die komplette soziale Realität ab. Da Unvorhersehbarkeiten in historischen Daten nicht abgebildet seien, bleibe weiterhin die Frage, wie mit solchen Ereignissen umgegangen werde. Darüber hinaus würden Algorithmen auch Vorurteile ihrer Entwickler wiederspiegeln, sodass ein vollständig objektiver Empirismus nicht möglich sei. Jedoch böte eine evidenzbasierte Politikgestaltung eine objektivierte Unterstützung der Diskurse insbesondere für politische Entscheidungsträger. Eine digitale Governance müsse neben der Strategiesetzung und einer kontinuierlichen Evaluation insbesondere auch Aspekte einer Data Governance beinhalten, die rechtliche und organisatorische Fragestellungen beinhaltet, ebenso wie eine Collaborative Governance, die den Menschen in den Mittelpunkt stellt.

Schließlich ging Prof. em. Dr. Klaus Lenk, Universität Oldenburg, auf Aspekte ein, die im internationalen Diskurs rund um Algorithmen diskutiert werden. Ausgehend von der These, dass sich durch neue Technologien die Formen der Machtausübung ändern würden, bewirke dies in der Konsequenz die Änderung von etablierten Governancestrukturen. Demnach seien Algorithmen eine Herrschaftsausführung durch delegierte Maschinen. Für die Verwaltung stelle sich damit die Frage, welche Technologien und Algorithmen sie im Rahmen der Verfassung einsetzen dürfe. Dabei sei ein Denken in soziotechnischen Systemen zentral, um übergreifende Zusammenhänge verstehen zu können. Als soziotechnisches System gehe es in Mensch-Maschine-Tandems um die Betrachtung von Mikrostrukturen in Organisationen und um Macht. Dafür sei ein Prinzipmodell für menschliches Handeln und maschinelles Agieren notwendig. Dieses müsse aus 4 Etappen bestehen, dem Beobachten und der Erzeugung von Daten, einer Wissensverarbeitung und eines zugehörigen Wissensmanagements, der Entscheidung sowie der Ausführungshandlung. In allen vier Etappen könnten Maschinen einen wesentlichen Beitrag leisten. Daraus ergebe sich die Notwendigkeit einer Theorie zu den Folgen algorithmischer Governance. Diese müsse eine dynamische, für die Technik offene Gesellschaftstheorie, eine Theorie soziotechnischer Systeme, eine Theorie der Evolution sowie der Ko-Evolution von Gesellschaft und Technik verbinden. Durch die Unterscheidung von Grund- und Betriebsverhältnis, durch Tools, die die Vernunft der Menschen adressieren sowie durch eine berechenbare Umwelt lasse sich einem naturalistischen Reduktionsprogramm begegnen.

Im Anschluss diskutierten die Vortragenden gemeinsam mit Anke Domscheit-Berg (Mitglied im Deutschen Bundestag) sowie Saskia Esken (Mitglied im Deutschen Bundestag) unter Moderation von Basanta Thapa (Universität Potsdam). Die Diskutanten plädierten zunächst dafür, eine positive Vision für die Zukunft der Digitalisierung zu zeichnen. Digitalisierung sei mittlerweile in der Politik in vielen Ebenen angekommen, was ebenfalls von den Diskutanten begrüßt wurde. Allerdings bleibe hier noch einiges zu tun, um die digitalpolitische Gestaltung voranzubringen, was agile Strukturen erfordere. Bezugnehmend auf die Vorträge wurden Aspekte der Algorithmisierung und Automatisierung in Politik und Verwaltung diskutiert. Eine evidenzbasierte Politik müsse offen sein und den Prinzipien des Open Data und Open Government folgen. Außerdem wurde betont, dass jene Werte, die die Ausgestaltung von Algorithmen prägen, in einem politischen Diskurs ausverhandelt werden müssen. Ein ungelöstes Problem sei dabei die Fragestellung, wie Daten und Algorithmen und eine daraus entstehende Wissensmacht gegen politische Krisen abgesichert werden kann. Ein Missbrauch müsse schon strukturell verhindert werden, was Aspekte wie Dezentralität und Resilienz hervorhebe. In der Diskussion wurde zudem herausgestellt, dass neben der Evidenzbasierung auch die Wirkungsorientierung politischer Entscheidungen stärker gemessen werden müsse. Dabei dürften die neuen Steuerungsinstrumente kein Bypass für den Datenschutz werden, was eine Sektorbetrachtung und eine kritische Begleitung der Neuverknüpfung von Daten erfordere. Dazu bedürfe es grundlegender Weichenstellungen etwa in der Bildung, in der die notwendigen Kompetenzen vermittelt werden sollen, um Herr über die Technik zu sein.

Renate Künast (Bündnis 90/Die Grünen) eröffnete Session 2 zum Thema Individuum und Gesellschaft mit der Frage, wie sich die Risiken algorithmischer Sortierungen einhegen lassen. Sie stellte dabei die Rechte und Schutzbedarfe von Bürger*innen und Verbraucher*innen in den Mittelpunkt und lehnte zugleich ab, diese in einen Widerspruch zu den Chancen auf innovativen Wettbewerb zu stellen. Staatliche Regulierung, beispielsweise durch eine Regulierungskommission für algorithmische Steuerung, könne hierfür einen Rahmen schaffen.

Konrad Lischka führte in seinem Vortrag diese Überlegungen zu Handlungsbedarfen fort, ging dabei aber über den Ruf nach Regulierung und Kontrolle hinaus. Die eigentlichen Ziele bestünden seiner Ansicht nach darin, algorithmische Entscheidungsfindung in den Dienst des Gemeinwohls zu stellen und Teilhabe zu stärken. Die notwendige Expertise hierfür könne durch die Institutionalisierung von Foren, die kontinuierlich über Fragen der gesellschaftlichen Angemessenheit algorithmischer Ordnung reflektieren, bereitgestellt werden. Lischka hielt für den Kompetenzaufbau einer positiven algorithmischen Ordnung insbesondere zwei Faktoren für ausschlaggebend: zum einen die gestalterische Rolle des Staates, zum anderen die Bewahrung einer Vielfalt von Anbietern und Betreibermodellen algorithmischer Entscheidungssysteme, die Ergebnisse vergleichbar machen und für Kritik öffnen würden.

Der Ausgangspunkt des Vortrages von Sandra Wachter (Oxford Internet Institute) war die Frage nach den Möglichkeiten, Algorithmen ethisch zu gestalten. Darunter verstand sie Voraussetzungen dafür, algorithmische Entscheidungen anfechten zu können und durch eine entsprechende Informationsbasis zukünftige Entscheidungen beeinflussen zu können. Wachter empfahl eine Erweiterung der Datenschutzgrundverordnung (über den rechtlich nicht bindenden Erwägungsgrund 71 DS-GVO hinausgehend) um ein Recht auf sogenannte counterfactuals. Durch Informationen über kontrafaktische Alternativen, also darüber, welche Angaben gefehlt haben, um ein positives Ergebnis zu erreichen, könnte das Informationsrecht der Bürger*innen und Verbraucher*innen gesichert werden, ohne Unternehmen zur Preisgabe von Geschäftsgeheimnissen zu nötigen.

Mario Martini (Deutsches Forschungsinstitut für die Öffentliche Verwaltung Speyer) stellte in seinem Vortrag die Herausforderungen einer Algorithmenkontrolle für die Rechtsordnung systematisch dar und formulierte eine Reihe nach ihrer zeitlichen Wirksamkeit differenzierter Empfehlungen, die sich an ethischen Leitprinzipien orientieren. Martinis Vorschläge zu präventiven Maßnahmen gingen ebenfalls in Richtung von Informationspflichten und mehr Transparenz über algorithmische Entscheidungsmechanismen. Als begleitende Maßnahmen sah er Validierungs- und Protokollpflichten, die eine Anfechtung der Entscheidungsprozesse ermöglichen. Schließlich forderte er nachträglich wirkende Maßnahmen, wie die Einrichtung von Schlichtungsstellen und die Gewährung von Rechten, z. B. eine Beweislastumkehr, welche die Position der Bürger*innen im Falle einer Anfechtung stärken würden.

Im Anschluss diskutierten die Vortragenden gemeinsam mit Susanne Dehmel (Bitkom) und Julia Krüger (netzpolitik.org) unter Moderation von Tobias Knobloch (Stiftung für neue Verantwortung) über Innovationschancen und wirtschaftliche Rationalität auf der einen Seite und gesellschaftliche Schutzbedarfe und die rechtliche Durchsetzung ethischer Standards auf der anderen Seite. Die Mehrheit sah in einer solchen Güterabwägung keine grundsätzliche Unvereinbarkeit. Ausführlich und durchaus kontrovers wurden die Risiken algorithmischer Diskriminierungen (z. B. bei Scoringverfahren) sowohl unter dem Gesichtspunkt denkbarer Funktionalität als auch im Hinblick auf die Verletzung von Individualrechten debattiert. Konsens herrschte darüber, dass der Einsatz von Algorithmen und KI zur Verbesserung von Entscheidungen beitragen sollte. In diesem Zusammenhang boten sich viele Anknüpfungspunkte an die in Panel 1 aufgeworfene Forderung nach einer grundlegenden Wertedebatte darüber, auf welche gesellschaftlichen Ziele hin Algorithmen optimiert werden sollten. Im Zusammenhang mit der DS-GVO wurde auf die Chancen für die Europäische Union hingewiesen, aufgrund ihrer Marktmacht globale Standards zu setzen. Erweiterungsmöglichkeiten wurden im Bereich teilautomatisierter Entscheidungen und bei ePrivacy gesehen.

Im ersten Vortrag sprach Prof. Michael Latzer (Universität Zürich) darüber, wie Social Media und Algorithmen das Machtgefüge in der Gesellschaft verändern. Alltagshandlungen seien bereits algorithmisch durchdrungen, etwa durch Spam-Filter, Scoringsysteme oder auch vorhersagende Polizeiarbeit. Algorithmische Selektion würde unser Verhalten prägen und steuern, d. h., was und wie wir denken. Im Unterschied zur massenmedialen Wirklichkeitskonstruktion ergäben sich Risiken durch die Personalisierung, eine veränderte Akteursstruktur und den Technikeinsatz selbst. Dadurch entstünden neue individuelle Risiken, wie etwa Verzerrungen durch Echokammern, Manipulation durch Micro-Targeting, Schwächung der Bindung an die Gesellschaft durch Fragmentierung oder Deindividualisierung durch Dataveillance. Risiken durch eine veränderte Akteursstruktur seien bspw. Kommerzialisierung, digitale Ungleichheiten, Verlust lokaler Werte oder auch Machtverschiebungen durch Flaschenhals-Monopole. Der Einsatz von Technik führe u. a. zu mangelnder Transparenz durch Black-Boxes und zu Verantwortlichkeitsproblemen. Diese möglichen Entwicklungen erforderten eine demokratische Kontrolle und geeignete Governance-Strategien.

Im zweiten Vortrag stellte Tobias Krafft (TU Kaiserslautern) das Projekt „Datenspende: BTW17" sowie eine erste Auswertung dieser Datensammlung vor. Ausgangspunkt war die umstrittene Frage, ob Filterblasen heute schon existieren. Bei der letzten US-Wahl wurde Online-Plattformen Einfluss auf den Wahlausgang zugesprochen, daher sollte die Personalisierung von Suchergebnissen zur Bundestagswahl 2017 untersucht werden. Mithilfe eines Browser-Plug-ins haben über 4000 freiwillige Teilnehmerinnen und Teilnehmer knapp 6 Mio. Ergebnislisten auf die vom Projekt vordefinierten Google-Suchbegriffe (Politiker- und Parteiennamen) gespendet, so Tobias Krafft. Dabei wurde festgestellt, dass es keine gravierenden Unterschiede in den obersten Suchergebnissen aufgrund einer Personalisierung gab. Auch die Nutzung eines Google-Kontos habe keinen relevanten Einfluss gezeigt. Geringfügige Unterschiede wären zum Teil durch Regionalisierung vorhanden. Noch könne man die Ergebnisse nicht verallgemeinern; weitere Untersuchungen stünden aus, bspw. könnte die Personalisierung in Nachrichtenzusammenstellungen oder Sozialen Medien stärker ausgeprägt sein. Jedoch wurde praktisch gezeigt, dass Untersuchungen von Algorithmen auch ohne Einblick in den dahinterliegenden Code durchgeführt werden können.

Zusammen mit den Vortragenden diskutierten Dr. Anja Zimmer (Direktorin der Medienanstalt Berlin-Brandenburg) und Markus Beckedahl (Gründer von netzpolitik.org) unter der Moderation von Dr. Christian Katzenbach (Humboldt Institut für Internet und Gesellschaft) über Algorithmen und die Frage der Filterblasen. Es bestand die Meinung, dass diese in Deutschland noch nicht stark ausgeprägt seien, aber sich besorgniserregende Tendenzen abzeichnen würden. Die Abhängigkeit von den dominanten Plattformen sei zu groß. Jedoch wurde angemerkt, dass Echokammern keine „Gefängnisse" seien, sondern auch Komfortzonen bildeten, also nicht grundsätzlich schlecht seien und durch eigenes Zutun durchbrochen werden könnten. Unabhängig davon müssten unbedingt die Medienvielfalt und damit ihre Schutzwirkung und die Ausweichmöglichkeiten erhalten bleiben. Generell sei weitergehende Forschung erforderlich, die das Informationsverhalten untersucht, wie beispielsweise durch den Citizen-Science-Ansatz und durch Erweiterung des Datenspendeprojekts auf andere Datenbasen. Die Forschung könne durch Black-Box-Analysen erfolgen oder indem Schnittstellen zu den Plattformen für Forschung geschaffen würden. Paradox sei jedoch, dass einerseits mehr Verantwortung durch die Plattformen gefordert werde, aber andererseits die Angst wächst, dass wir beeinflusst werden. Es wurde darauf hingewiesen, dass Unternehmen nicht alleine entscheiden dürfen, was online auffindbar ist. Selbstregulierung, die kontrolliert werde, oder stärkere Regulierung bei Verstößen seien möglich. Kontrollinstanzen für Nachvollziehbarkeit von algorithmischen Ergebnissen sollten geschaffen werden. Gleichwohl sei die Stärkung von Vertrauen, Aufklärung der Bürger und Verbesserung von deren Recherche-Fähigkeiten der staatlichen Regulierung vorzuziehen. Gemeinwohlorientierte Projekte in diesem Bereich sollten stärker durch den Staat gefördert werden.