Im Zuge von Algorithmic Governance wird zunehmend auf den Einsatz von Algorithmen und KI für Entscheidungen und deren Ausführung in der praktischen Politik zurückgegriffen. Aber wie lassen sich diese Eingriffe demokratisch legitimieren und unter gesellschaftlichen Aspekten rechtfertigen?

In den beiden vorangegangenen Beiträgen haben wir uns mit der Beschaffenheit von algorithmischen Entscheidungen und dem Problem des Einsatzes von KI in der Politik (AI Governance) (Teil 1) sowie mit den entsprechenden Einsatzfeldern (Teil 2) beschäftigt. Nachdem der Rückgriff auf diese Verfahren bereits faktisch erfolgt, gilt es dringend die Rechtmäßigkeit und Legitimität dieses Einsatzes zu hinterfragen.

Für die Akzeptanz algorithmischer Entscheidungen ist deren Nachvollziehbarkeit von großer Bedeutung. Je mehr Daten aus unterschiedlichen Datenquellen zur Verfügung stehen, umso komplexer geraten jedoch zwangsläufig die zugrundeliegenden Berechnungen. In der Praxis sind die Entscheidungspfade von KI heute oft nur durch ein aufwändiges „reverse engineering“ zu entschlüsseln. Transparenz ist allerdings wichtig, damit verständlich ist, warum eine Entscheidung auf diese Art und Weise getroffen wurde – und sich davon Betroffene gegebenenfalls mit den Mitteln des demokratischen Rechtsstaats dagegen zur Wehr setzen können. Schon seit geraumer Zeit wird daher eine Art Bürgerrecht auf die Offenlegung algorithmischer Entscheidungen diskutiert. Die Komplexität moderner, vielschichtiger „Deep Learning“-Systeme und die ihnen immanente Eigenständigkeit bei der Weiterentwicklung der Entscheidungssystematiken erschweren diese Rekonstruktion jedoch erheblich. Diesem Aspekt widmet sich das noch neue Forschungsfeld der „Explainable AI“, welches zum Ziel hat, Handreichungen für die Erklärung von KI-Entscheidungen im Alltag zu liefern – zum Beispiel warum ein Versicherungsantrag abgelehnt oder die Kreditwürdigkeit eines Schuldners herabgestuft wurde – und auch um mögliche Diskriminierungen in diesem Kontext aufzudecken.

Algorithmic Governance und Algorithmic Bias

Neben rational nachvollziehbaren Entscheidungswegen stehen hierbei auch technische Auswüchse und Fehlentwicklungen, wie der sogenannte „Algorithmic Bias“ im Fokus. Immer wieder kommt es zu einem vermeintlichen Versagen von algorithmischen Systemen, die plötzlich scheinbar irrationale, auch ethisch frag- oder verurteilungswürdige Ergebnisse produzieren. Die Ursache hierfür liegt allerdings meist nicht in der Systemstruktur, sondern im Lernprozess und ist in der Regel auf eine unausgewogene Zuführung von Trainingsdaten zurückzuführen.

Zu einer entsprechend zweifelhaften Berühmtheit brachte es ein von Google verwendeter Bilderkennungsalgorithmus, der Fotos autonom benannte und sortierte.  Eine Aufnahme, die zwei Afroamerikaner zeigte, wurde mit der Bezeichnung „Gorillas“ etikettiert und verarbeitet. Der Aufschrei vor allem in den USA war entsprechend groß. Als Ursache wurde eine unbeabsichtigte einseitige Auswahl und Verwendung von Trainingsbildmaterial identifiziert. Offenbar hatte man vorwiegend Fotos von hellhäutigen Personen für das Training der Kategorie Mensch verwendet, die Zuordnung eines Bildes eines dunkelhäutigen Menschen durch den Algorithmus erfolgte dann zwangsläufig unter großer Unsicherheit: Je nachdem welches Merkmal der Algorithmus als signifikant für die Zuordnung zu einer Kategorie identifizierte – auch Gorillas haben schwarze Haut – wurde die Sortierung entsprechend ausgeführt. Dass sich auch Facebook etliche Jahre später, im Jahr 2021, mit einer vergleichbaren Problematik konfrontiert sah – der Newsfeed-Algorithmus fragte Nutzer, die sich ein Video mit dem Titel „Weißer Mann ruft Polizei wegen schwarzen Männern am Hafen“ angesehen hatten, ob sie nun „weitere Videos über Primaten“ sehen wollten – zeigt, wie schwierig es offensichtlich ist, hier eine zufriedenstellende technische Lösung zu finden. Gerade im staatlichen Kontext wäre es aber selbstverständlich höchst problematisch, wenn Menschen nicht mehr als solche identifiziert werden.

Predictive Policing als Algorithmic Governance

Im Bereich der staatlichen Governance sorgt in diesem Zusammenhang regelmäßig das sogenannte „Predictive Policing“ für Aufsehen, das vor allem in den USA, aber auch zunehmend in Europa zum Einsatz kommt. Mit dem Ziel, die Polizeiarbeit auf diese Weise effizienter zu steuern, soll die Wahrscheinlichkeit „zukünftiger“ Straftaten oder des Eintritts anderer polizeilicher Einsatzszenarien, aus einer Vielzahl von verfügbaren Datenquellen berechnet werden. Durch die entsprechend daraus abgeleitete erhöhte Präsenz in ermittelten Problembezirken soll es gelingen, die Kriminalitätsraten erheblich zu senken. Kritiker bemängeln allerdings die damit ihrer Ansicht nach zwangsläufig einhergehende Diskriminierung, werden hier doch alle Bewohner eines Stadtteils automatisiert unter Generalverdacht gestellt, sofern die hinterlegten Algorithmen ihre Nachbarn „statistisch“ als vergleichsweise kriminell einstufen. Auch sind in den USA überwiegend afroamerikanische Gegenden von den zusätzlichen Polizeikontrollen betroffen, was dem System den Vorwurf der Ungleichbehandlung und des „Racial Profiling“ einbrachte. Die Funktionsweise der algorithmischen Entscheidungsfindung definiert somit in diesem Fall den Umgang des Staates mit seinen Angehörigen, teilt diese automatisiert in mehr- und minderprivilegierte Gruppen und wirkt mit diesem „Bias“ unweigerlich auf den Bereich der Bürgerrechte ein.

Algorithmic Governance und Transparenz

Die Gewährleistung von Transparenz verkörpert gerade in „Sachfragen“ seit jeher eine wichtige erste Bedingung zum Schutz vor Verzerrungen und Manipulationen. Gerade da, wo eine direkte politische Aufsicht durch entsprechende Institutionen nicht möglich oder nicht zweckmäßig erscheint, ist im demokratischen Staat eine Überwachung durch das öffentliche Publikum unabdingbar. Aber nur, wenn staatliches Handeln hier tatsächlich sichtbar und „durchschaubar“ wird, kann die Öffentlichkeit dieser Kontrollfunktion auch gerecht werden.

Neben der Nachvollziehbarkeit ist auch die Zuweisung von Verantwortlichkeiten von Governance-Entscheidungen und die dazugehörige Rechenschaftspflicht, also die „Accountability“, für die Funktionsweise des demokratischen Staates unerlässlich. Sofern die Abwicklung politischer Prozesse von den menschlichen Repräsentanten eines Staates gewissermaßen auf eine technische Lösung „outgesourced“ wird, so ist deren Arbeitsweise einerseits aufgrund von Effizienzerfordernissen, andererseits aber auch hinsichtlich der Vereinbarkeit der generierten Ergebnisse mit den staatlichen Zielen regelmäßig zu überprüfen. 

Verantwortung und Algorithmic Governance

Die Zurechenbarkeit politischer Handlungen ist in der Demokratie essentiell. Sie kann in diesem Kontext jedoch nur gewährleistet werden, wenn der Einsatz von Algorithmen ausdrücklich als Hilfsmittel der demokratisch legitimierten menschlichen Vertreter betrachtet wird – jedenfalls so lange es nicht möglich ist, den Algorithmus aufgrund von Unzufriedenheit mit den erbrachten Leistungen direkt selbst zu sanktionieren – also abzuwählen. Wenn diese – langfristig durchaus technisch denkbare – Option nicht besteht, bedeutet das, dass die Leistung eingesetzter Algorithmen zwingend mit den gewählten Repräsentanten des Staates, die diesen Einsatz verantworten, verknüpfbar sein muss. Dies bedeutet wiederum, dass nicht nur demokratische Kontrollinstanzen, sondern vor allem auch diejenigen, die den Einsatz von Algorithmen im Bereich der Governance verantworten, nachvollziehen und verstehen müssen, wie und warum diese auf ihre spezifische Weise funktionieren (oder eben nicht). Das kommt besonders dann zum Tragen, wenn die algorithmische Entscheidung einen hohen Automatisierungsgrad aufweist – in aller Regel bereits ab der beschriebenen Kategorie A2, in jedem Fall bei A3, im Falle „echter“ AI-Governance.

Explainable AI und Responsible AI

Der in jüngster Zeit verstärkt verwendete Begriff der „Responsible AI“ erweitert den oben genannten Terminus der „Explainable AI“. Er steht für den Übergang von Absichtserklärungen und formulierten Grundprinzipien hin zu einer Operationalisierung der Verantwortlichkeiten und Rechenschaftspflichten, auch, aber nicht ausschließlich, im Bereich der Algorithmic Governance. Gleichwohl sind diese Bestrebungen in der Umsetzung derzeit noch als recht rudimentär einzuordnen – zumindest was komplexere, KI-basierte Algorithmen betrifft. Das bedeutet, dass sich zwar alle Ansätze zur demokratischen Legitimation von Algorithmic Governance selbstverständlich am Umgang mit den beschriebenen Herausforderungen im Bereich der Transparenz und Accountability messen lassen müssen, gleichzeitig aber auch, dass dies vermutlich nur schwer mittels herkömmlicher Modelle und Vorgehensweisen gelingen wird.

Grenzen von Algorithmich Governance und ihrer demokratischen Legitimation

Man könnte die Auffassung vertreten, dass angesichts der Bedeutung, die Algorithmen heute in unserem Alltag einnehmen, vielleicht bereits das Ende des Anthropozäns eingeläutet worden ist und wir damit nun am Anfang eines „posthumanen“ Zeitalters stehen. Das gilt vor allem dann, wenn man auf die Entwicklungen im Bereich der KI und den entsprechenden Autonomiegrad solcher hoch entwickelten Systeme blickt. Entsprechend werden schließlich auch unter dem Aspekt der „Singularität“ die gesellschaftlichen und ökonomischen Auswirkungen diskutiert, sollten Algorithmen und intelligente Systeme eines – nicht allzu fernen – Tages die menschliche Leistungs- und Adaptionsfähigkeit übertroffen haben.

De Facto sind Algorithmen heute schon nicht mehr rein technisch-rationale Konstrukte. Sie repräsentieren auch immer den Einfluss derjenigen, die an ihrer Entstehung beteiligt sind, sowohl politisch als auch technisch. Insofern können sie als eine Art „Amalgam“ aus Mensch und Code verstanden werden. In dieser Auffassung spiegelt sich das Grundprinzip der Denkschule des „Neuen Materialismus“ wider. Demnach erschiene es zunehmend unangebracht, zwischen Menschen und Nichtmenschen, Leben und nicht lebendiger Materie und auch zwischen Akteuren und Strukturen zu unterscheiden. Vielmehr vermischen sich Menschen und Computeralgorithmen zu „sozio-materiellen Assemblagen“ (Kim 2020), wodurch neue Handlungsfähigkeiten und daraus resultierende Wirkungsweisen entstehen.

Von Algorithmic Governance zur Governance of Things

In Anlehnung an das vielzitierte „Internet der Dinge“ („Internet of Things“) könnte auf diese Weise dann eine „Governance of Things“ entstehen. Die menschlichen Systementwickler diktierten dabei nicht die Funktionsweise des Algorithmus, die Governance entstünde aus dem Zusammenwirken von Algorithmus und Systementwicklern, explizit etwa beim menschlich induzierten Training mit KI-Daten und der daraus resultierenden autonomen Lernentwicklung des Systems. Dieser Vorgang beinhaltet laufende Interaktionen und Iterationsschleifen zwischen beiden „Parteien“ und führt damit zu einer Verselbständigung dieser „Amalgambildung“.

Spannungsfelder von Algorithmic Governance

Die Frage ist jedoch, ob diese Betrachtungsweise der Legitimation algorithmischer politischer Entscheidungen dienen kann. Wie wir gesehen haben, bewegt sich Algorithmic Governance in einem Spannungsfeld zwischen mehreren verschiedenen Polen, was es immens erschwert, hierauf eine eindeutige Antwort zu geben:

Einerseits kann sie für politische Ergebniseffizienz sorgen, indem die das menschliche Vermögen übersteigenden Rechenleistungen zielgerichtet eingesetzt werden. Andererseits besteht die Gefahr, dass damit im Einzelfall bürgerliche Rechte eingeschränkt werden oder dies Diskriminierung zur Folge hat, wenn Effizienz das ausschlaggebende Element von Politik wird.

Einerseits sorgt der Rückgriff auf Algorithmen für eine Versachlichung politischer Entscheidungen. Andererseits kann genau dies auch zu einer Entmenschlichung führen, wenn Einzelschicksale zu Gunsten „des großen Ganzens“ in automatisierten Entscheidungssituationen keine Berücksichtigung finden können.

Einerseits ist Transparenz der Entscheidungsprozesse ein wichtiges Legitimationserfordernis. Andererseits beinhaltet dies auch eine weitgehende Transparenz des Individuums, denn anders können spezifische Entscheidungen durch Algorithmen nicht effizient getroffen werden, wodurch aber das Bürgerrecht der informationellen Selbstbestimmung tangiert wird.

Diese Spannungsfelder berühren den Kern vieler hochrelevanter gesellschaftspolitischer Themen. Es erscheint schwer vorstellbar, diese bislang in allen Demokratien der Welt immer wieder aufs Neue auszuhandelnden Fragen einem letztlich doch seelenlosen System anzuvertrauen oder ihm hier zumindest ein qualitatives „Mitspracherecht“ einzuräumen – jedenfalls solange ein posthumanes Zeitalter noch nicht eingetreten ist. Und würde nicht gerade der regelmäßige Einsatz von intelligenten Algorithmen in der Politik dessen möglichen Eintritt beschleunigen? 

Algorithmic Governance vs. AI Governance

Der Unterschied zwischen „Governance by Algorithms“ und „Governance by AI“ ist im eigenständigen Lernen und dem Autonomiegrad algorithmischer Entscheidungen zu sehen. Solange Algorithmen ein bloßes Hilfsmittel der Regierungsarbeit darstellen, die Kontrolle bei den menschlichen Entscheidern verbleibt – so wie im vorigen Artikel in dieser Reihe in der Kategorie A1 beschrieben – können diese einen wichtigen und wertvollen Beitrag zur praktischen Politik leisten, indem sie Entscheidungen tatsächlich effizienter, sachlicher und transparenter machen. Mindestens aber, wenn von „echter“ AI Governance die Rede ist, aber eigentlich schon bei der zweiten, nicht gänzlich autonomen Kategorie (A2), werden schnell die Grenzen legitimer Einsatzszenarien überschritten. Eine Legitimation nach demokratietheoretischen (humanistischen) Gesichtspunkten ist dann eigentlich nicht denkbar. Für den demokratischen Staat kann das dann aber in letzter Konsequenz nur bedeuten, dass AI Governance in sämtlichen Bereichen der staatlichen Sphäre ausgeschlossen werden sollte – mit allen Konsequenzen, die dies auch für bereits erprobte Anwendungen hat.

Solange wir davon ausgehen, dass Politik und gesellschaftliche Prozesse auch in Zeiten zunehmender Komplexität zuallererst Gegenstand zwischenmenschlicher Verhandlungen sind, sollten wir uns der Demokratie willen dieser Verantwortung höchstpersönlich und nicht verschanzt hinter einer Mauer aus Einsen und Nullen stellen.

Der Artikel erschien in überarbeiteter und deutlich erweiterter Form in der SWS-Rundschau, Andreas Wagener: Demokratische Legitimation von AI Governance, Sozialwissenschaftliche Rundschau, Heft 4/2021, 61. Jahrgang, S. 369 – 390

Vortrag/Keynote von Prof. Dr. Andreas Wagener: „Wie der Staat mit Daten umgeht. Was ist gesellschaftlich akzeptabel?“:

Mehr Informationen zum Thema KI im Marketing finden Sie im Buch von Andreas Wagener Künstliche Intelligenz im Marketing – ein Crashkurs, Haufe, Freiburg, 2019:

gedruckt:                als eBook:

Mehr zu Themen wie Industrie 4.0, Big Data, Künstliche Intelligenz, Digital Commerce und Digitaler Ökonomie finden Sie auf unserer Newsseite auf XING sowie auf Facebook.