Explainable AI: Wann künst­liche Intel­li­genz sich selbst erklärt

Raus aus der Black Box

Von David Schahinian

Komplexe Sachverhalte lassen sich oft auf einfache Beispiele herunterbrechen: Die wenigsten Menschen würden sich vermutlich in ein autonom fahrendes Auto setzen, wenn niemand genau weiß, wie es seine Entscheidungen trifft. Kann eine Technologie hingegen im medizinischen Bereich mit höherer Treffsicherheit als ein Mensch prognostizieren, ob auf Röntgenbildern Anzeichen von Krebszellen zu erkennen sind, wäre es für die Betroffenen vermutlich zweitrangig, wie das Ergebnis zustande gekommen ist. Ist die Diagnose allerdings falsch, landet man wieder bei einer Frage von Leben und Tod.

Damit ist das Spannungsfeld umrissen, in dem sich viele Entwicklungen der künstlichen Intelligenz (KI) bewegen: Wie sehr will man Menschen, wie sehr will man sich selbst einer Technologie anvertrauen, deren Funktionsweise selbst Wissenschaftler und Data Scientists nicht detailliert erfassen können? Die Möglichkeiten von Beginn an zu sehr zu beschneiden, hieße, der KI und neuronalen Netzen ihre größten Stärken zu nehmen: die sinnvolle Auswertung einer übergroßen Menge an Daten, die Mustererkennung und die ständige Weiterentwicklung durch maschinelles Lernen und eigenständiges Erkennen von neuen Zusammenhängen.

Aus diesen Fragestellungen heraus hat sich in letzter Zeit die Diskussion um Explainable AI (XAI), also „erklärbarer KI“, entwickelt. Sie ist längst keine theoretische mehr: So wurde beispielsweise in die EU-Datenschutz-Grundverordnung mit Art. 22 eine Bestimmung aufgenommen, der jeder Person das Recht einräumt,

„nicht einer ausschließlich auf einer automatisierten Verarbeitung beruhenden Entscheidung unterworfen zu werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt.“

Das macht zum Beispiel eine rein automatisiert ablaufende Personalauswahl unmöglich. Des Weiteren gibt die DSGVO vor, dass personenbezogene Daten auf „rechtmäßige Weise, nach Treu und Glauben und in einer für die betroffene Person nachvollziehbaren Weise verarbeitet werden“ müssen.

Maschinen mit Eigenleben

Erste schlechte Erfahrungen wurden mit KI schon gemacht. So schaltete Amazon 2018 ein KI-gestütztes Tool zur Beurteilung von Bewerbern ab, nachdem festgestellt wurde, dass es Frauen eindeutig benachteiligt. Diese Einstellung hatte sich das System selbst beigebracht, weil die Daten, mit denen es trainiert wurde, hauptsächlich aus Bewerbungen von Männern stammten. Noch gruseliger klingt das Beispiel von Facebook, das 2017 ein KI-System stoppte, nachdem es begonnen hatte, seine eigene Sprache zu entwickeln – die selbst die Entwickler nicht mehr verstanden.

Daran wird deutlich, warum in Bezug auf KI oftmals der Begriff der Black Box verwendet wird. Er stammt ursprünglich aus der militärischen Fernmeldetechnik und beschreibt ein System, bei dem der Input und der Output zählen, der innere Aufbau aber unbekannt ist oder als unwesentlich betrachtet wird. An den Ergebnissen will Explainable AI nicht rütteln. Vielmehr soll die Black Box durchschaubarer, soll der Vorgang verständlicher werden. Data Scientist Dr. Shirin Elsinghorst schreibt im Online-Magazin Informatik Aktuell von einem Trade-off zwischen Erklärbarkeit und Komplexität: „Je komplexer ein Modell ist, desto schwieriger ist es, seine Entscheidungen nachzuvollziehen.“

Die Position des Bundesforschungsministeriums ist klar:

„Maschinelles Lernen (ML) wird in der Praxis erst dann breit einsetzbar sein, wenn das Verhalten einer Anwendung in der Nutzung nachvollziehbar wird, obwohl ML-Systeme datengetrieben und damit nicht deterministisch arbeiten.“

Im April 2019 veröffentlichte das BMBF eine Richtlinie, nach der Projekte zum Thema „Erklärbarkeit und Transparenz des Maschinellen Lernens und der Künstlichen Intelligenz“ gefördert werden. Im selben Monat hat die EU Ethik-Leitlinien für eine vertrauenswürdige KI veröffentlicht, die von einer Expertengruppe erarbeitet wurden. Hier fallen u. a. die Begriffe Rückverfolgbarkeit und Erklärbarkeit. Gefordert wird, dass sowohl die technischen Prozesse eines KI-Systems als auch die damit verbundenen menschlichen Entscheidungen erklärbar sein müssten. Darüber hinaus sollten die Datensätze und Prozesse, die zu einer Entscheidung des KI-Systems geführt haben, „so gut wie möglich“ dokumentiert werden, um deren Rückverfolgbarkeit sicherzustellen und die Transparenz zu erhöhen. Im Juni wurden diese Leitlinien noch einmal um neue Empfehlungen ergänzt.

Transparenz vs. Qualität?

Das alles ist leichter geschrieben als getan. Selbst wenn der Input dokumentiert wird, weiß man immer noch nicht, wie der Output zustande kam. Eine Möglichkeit wäre, die Transparenzvorgaben umso höherzustecken, je wichtiger die Entscheidung des Systems für das Leben der Menschen ist: Während individualisierte Konsumempfehlungen auf Basis von KI hinsichtlich ihrer Folgen eher harmlos sind, sind die Maßstäbe in der Medizin, im Straßenverkehr oder in Bewerbungssituationen andere.

Dennoch bliebe die Black Box – mal mehr, mal weniger – schwarz. Und selbst wenn eine komplette Offenlegung der Mechanismen möglich wäre, würden sich neue Fragen stellen. Oftmals sind die Algorithmen der Kern einer Geschäftsidee. Wären die Unternehmen gezwungen, sie zugänglich zu machen, würden sie Gefahr laufen, das Geheimnis ihres Erfolges zu lüften. Das Rad zurückzudrehen und auf die Anwendung der Technologie zu verzichten, ist auch keine befriedigende Lösung, zumal KI praktisch und im globalen Umfeld ohnehin nicht mehr aufzuhalten ist.

Der Königsweg könnte über besagte Explainable AI führen. Es geht darum, „Techniken des maschinellen Lernens zu entwickeln, mit denen – unter Beibehalt der Vorhersagegenauigkeit – besser erklärbare Modelle erzeugt werden“, schreibt PwC. Sie seien ausschlaggebend für die Schaffung von Vertrauen in die Technologie und ihre weitere Verbreitung. Für Unternehmen könnten sie zur Best Practice oder gar zur Voraussetzung werden. Um sie umzusetzen, forschen Wissenschaftler und Entwickler derzeit an mehreren Methoden.

Die EU-Experten sehen vertrauenswürdige KI letztlich als iterativen Prozess, der sich über den gesamten Lebenszyklus des Systems hin erstreckt. (Bild: HEG-KI – Europäische Kommission)

Verschiedene Modelle

Die Gesellschaft für Informatik (GI) unterscheidet sie nach ihrem Post-hoc- oder Ante-hoc-Ansatz. Post-hoc-Ansätze erklären eine spezifische Lösung im Nachhinein – und nicht das gesamte Modell. Ante-hoc-Methoden sind dagegen von Natur aus transparent, sie sind systemimmanent interpretierbar. Verständlich wird das, wenn man sich als Modell z. B. einen einfachen Entscheidungsbaum vorstellt. Die Krux ist, dass man mit einfachen Entscheidungsbäumen bei KI nicht weit kommt. Solche nachvollziehbaren Darstellungen werden gerade bei komplexen KI-Systemen schnell mindestens ebenso komplex. Sie in den Griff zu bekommen, ist zwar schwierig, aber mit neuen Methoden offenbar nicht unmöglich.

Ein Beispiel für einen Post-hoc-Ansatz ist das Layer-Wise-Relevance-Propagation-Verfahren (LRP). Stark vereinfacht erlaubt es LRP, die „Denkprozesse“ von neuronalen Netzen „rückwärts“ ablaufen zu lassen. Dadurch wird sichtbar, welcher Input welchen Einfluss auf das jeweilige Ergebnis hatte – wie es etwa zu einer bestimmten Risikobewertung oder einer medizinischen Diagnose gekommen ist. Die Technik wurde von der TU Berlin und dem Heinrich-Hertz-Institut erdacht. Die Weiterentwicklung der LRP-Technologie, die Spectral Relevance Analysis (SpRAy), kann den Wissenschaftlern zufolge ein breites Spektrum erlernter Entscheidungsverhalten identifizieren und quantifizieren: „So wird es möglich, auch in sehr großen Datensätzen unerwünschte Entscheidungen zu erkennen.“

KI tickt anders: Ob Züge fahren, erkennt das System an den Schienen; Schiffe klassifiziert es anhand von Wasser. (Bild: TU Berlin/HHI – Nature Communications, CC BY)

Generalisierte Additive Modelle (GAM) gehören dagegen zu den Ante-hoc-Methoden. Ein vielversprechender Ansatz dazu wurde von Dr. Rich Caruana und seinem Team präsentiert: Er wendete solche Modelle mit paarweisen Interaktionen auf medizinische Problemstellungen an („Intelligible Models for HealthCare“). Sie „sind für medizinische Experten verständlich und erlauben die Entdeckung von Mustern in den Daten – die ansonsten verborgen geblieben wären“, resümiert die GI. Der Einfluss jedes Merkmals auf das Ergebnis kann beispielsweise durch Heatmaps visualisiert werden. Der Ansatz ist allerdings nur bei einem Teil von KI-Anwendungen sinnvoll einsetzbar.

Eine pragmatische Lösung, die zahlreiche Interessen der Beteiligten berücksichtigt, ist die Idee der sogenannten Counterfactual Explanations. Ein Team um Prof. Sandra Wachter vom Oxford Internet Institute schlägt vor, bei KI-Entscheidungen die Konditionen zu nennen, die zu einer anderen Entscheidung geführt hätten. Der Gedanke dahinter ist, dass beispielsweise Bankkunden, denen eine Kreditanfrage mittels KI abschlägig beschieden wurde, nicht wissen wollen, wie der zugrunde liegende Algorithmus funktioniert. Sie interessiert kurz und knapp, womit die Absage begründet wird. Das ist leistbar, ohne die Black Box komplett zu verstehen – und ohne sie offenlegen zu müssen.

Bis KI dies irgendwann einmal sogar selbst kann, wird also noch einige Zeit vergehen: „Sich selbst erklärende KI-Ansätze, welche Entscheidungen der KI nachvollziehbar machen, sind in ausreichender Güte nicht absehbar“, schreibt das Fraunhofer-Institut für Eingebettete Systeme und Kommunikationstechnik ESK mit Bezug auf das autonome Fahren.

Ethische Verantwortung

In der Zwischenzeit entdecken zunehmend mehr Unternehmen Responsible AI, also „verantwortungsvolle KI“ für sich. Wenn es darum geht, Transparenz und Vertrauen aufzubauen, ohne die zugrunde liegenden Mechanismen erklären zu können, ist sie der logische nächste Schritt. Unter dem Begriff werden Maßnahmen und Instrumente zusammengefasst, die sicherstellen sollen, dass ethische Werte wie Fairness, Gleichbehandlung und Verantwortung berücksichtigt werden – sowohl beim Entwickeln als auch beim Einsatz von KI.

Google etwa hat eine 20-seitige Broschüre herausgegeben, in der das Unternehmen seine Idee der verantwortungsvollen Entwicklung von KI-Lösungen darstellt. So nutze man u. a. ein interaktives Visualisierungstool, mit dem Entwickler ein ganzheitliches Bild ihrer Trainingsdaten sehen können. Ein anderes Tool suche nach statistischen Minderheiten in den Daten. Auch werde man keine KI für Waffen oder andere Technologien entwickeln oder einsetzen, die darauf abzielen, Verletzungen von Menschen zu verursachen. Warten wir ab, was aus diesem „Don’t be evil“-Motto wird.

Die Beratung Accenture nennt unterdessen vier grundlegende Elemente einer Responsible AI:

1. Unternehmen müssen einen entsprechenden KI-Rahmen schaffen, der auf ihren Kernwerten, den ethischen Leitplanken und den gesetzlichen Vorgaben basiert.
2. Darüber hinaus sollten schon bei der Entwicklung von KI-Lösungen Anforderungen an die Privatsphäre, Transparenz und Sicherheit berücksichtigt werden.
3. Im Einsatz erfordere KI eine enge Überwachung durch Menschen und anhand von Schlüsselkennzahlen.
4. Auch die Mitarbeiter gehören demnach mit ins Boot: Sie müssten entsprechend weitergebildet und informiert werden, um die Vorteile der KI im Rahmen ihrer Tätigkeit voll ausschöpfen zu können.

Das mag noch einige Fragen offenlassen. Aber es klingt nach einem nächsten Entwicklungsschritt auf einem Weg, der aller Voraussicht nach noch weit in die Zukunft führen wird.

Nützliche Links

• Beruf Robotik-Experte
• Cyber Reasoning Systems
• Künstliche Intelligenz contra Vorratsdatenspeicherung
• Prozessoren für künstliche Intelligenz
• Versicherungen mit künstlicher Intelligenz