Get best of the week

Warum KI-Anforderungen die Sache nur noch schlimmer machen können

Durch die Schaffung transparenterer neuronaler Netze können wir beginnen, ihnen übermäßig zu vertrauen. Es kann sich lohnen, die Methoden zu ändern, mit denen sie ihre Arbeit erklären.




Apol Esan, der einmal vor Gericht stand, fuhr mit einem Roboterauto von Uber. Anstatt sich um den leeren Fahrersitz zu sorgen, wurden die Passagiere gebeten, einen „beruhigenden“ Bildschirm zu sehen, auf dem zu sehen war, wie das Auto die Straße sah: Gefahren wurden in Orange und Rot gezeichnet, sichere Bereiche in Dunkelblau.

Für Esan, der die Interaktion von Menschen mit KI am Georgia Institute of Technology in Atlanta untersucht, war die Botschaft, die sie ihm zu vermitteln versuchten, verständlich: "Keine Sorge, dies sind die Gründe, warum sich die Maschine so verhält." Etwas im fremden Bild der Straße beruhigte jedoch nicht, sondern betonte die Seltsamkeit des Geschehens. Esan fragte sich: Was wäre, wenn das Robomobil es wirklich erklären könnte?

Der Erfolg von Deep Learning basiert auf unsicherer Auswahl im Code: Die besten neuronalen Netze passen sich an und passen sich an, um sie weiter zu verbessern, und praktische Ergebnisse überholen ihr theoretisches Verständnis. Zusammenfassend sind die Details der Funktionsweise des trainierten Modells normalerweise unbekannt. Wir sind es bereits gewohnt, KI als Black Box zu betrachten.

Und meistens passt es zu uns - wenn es um Aufgaben wie das Spielen von Go, das Übersetzen von Text oder das Aufnehmen der nächsten Serie mit Netflix geht. Wenn KI jedoch dazu verwendet wird, Entscheidungen in Bereichen wie Strafverfolgung, medizinische Diagnostik und Roboterfahrzeuge zu treffen, müssen wir verstehen, wie sie ihre Entscheidungen trifft, und wissen, wann sie sich als falsch herausstellen.

Die Menschen brauchen die Möglichkeit, einer automatischen Lösung nicht zuzustimmen oder sie abzulehnen, sagt Iris Hawley , Informatikerin am Williams College in Williamstown, Massachusetts. Und ohne sie werden die Menschen dieser Technologie widerstehen. „Schon jetzt kann man beobachten, wie dies in Form von Reaktionen der Menschen auf Gesichtserkennungssysteme geschieht“, sagt sie.

Esan ist Teil einer kleinen, aber wachsenden Gruppe von Forschern, die versuchen, die Fähigkeit der KI zu verbessern, uns zu erklären und uns zu helfen, in die Black Box zu blicken. Der Zweck der Schaffung der sogenannten Die Interpretation oder Erklärung durch AI (III) soll den Menschen helfen, zu verstehen, welche Anzeichen von Daten das neuronale Netzwerk wirklich lernt - und zu entscheiden, ob sich das resultierende Modell als genau und unvoreingenommen herausstellt.

Eine Lösung besteht darin, Systeme für maschinelles Lernen (MO) zu erstellen, die die Innenseiten ihrer Arbeit demonstrieren - die sogenannten Aquarium-KI anstelle der KI in der Blackbox. Aquariummodelle sind normalerweise radikal vereinfachte Versionen des NS, in denen es einfacher ist zu verfolgen, wie sich einzelne Daten auf das Modell auswirken.

„Es gibt Menschen in dieser Gemeinde, die die Verwendung von Aquarienmodellen in Situationen mit hohen Einsätzen fordern“, sagt erJennifer Worthman Vaughn , IT-Spezialistin bei Microsoft Research. "Und insgesamt stimme ich zu." Einfache Aquarienmodelle können genauso gut wie komplexere NS mit bestimmten Arten von strukturierten Daten wie Tabellen oder Statistiken funktionieren. Und in einigen Fällen ist das genug.

Es hängt jedoch alles vom Arbeitsbereich ab. Wenn wir aus unscharfen Daten wie Bildern oder Text lernen möchten, haben wir keine andere Wahl, als tiefe - und daher undurchsichtige - neuronale Netze zu verwenden. Die Fähigkeit solcher NS, eine sinnvolle Verbindung zwischen einer Vielzahl unterschiedlicher Merkmale zu finden, hängt mit ihrer Komplexität zusammen.

Und auch hier kann Aquarium MO helfen. Eine Lösung besteht darin, die Daten zweimal durchzugehen und das unvollständige Aquarienmodell als Debugging-Schritt zu trainieren, um potenzielle Fehler zu erkennen, die Sie beheben möchten. Nach dem Bereinigen der Daten können Sie auch ein genaueres KI-Modell in einer Black Box trainieren.

Ein solches Gleichgewicht ist jedoch schwer aufrechtzuerhalten. Zu viel Transparenz kann zu einer Informationsüberflutung führen. In einer Studie aus dem Jahr 2018, in der die Interaktion von nicht geschulten Benutzern mit MO-Tools untersucht wurde, stellte Vaughn fest, dass transparente Modelle die Suche und Korrektur von Modellfehlern tatsächlich erschweren können.

Ein anderer Ansatz besteht darin, eine Visualisierung einzuschließen, die mehrere Schlüsseleigenschaften des Modells und der zugrunde liegenden Daten zeigt. Die Idee ist, ernsthafte Probleme mit dem Auge zu identifizieren. Beispielsweise kann sich ein Modell zu stark auf bestimmte Attribute stützen, was ein Signal für eine Vorspannung sein kann.

Diese Visualisierungstools sind in kurzer Zeit äußerst beliebt geworden. Aber gibt es eine Verwendung für sie? In der ersten Studie dieser Art versuchten Vaughn und das Team, diese Frage zu beantworten, und fanden schließlich mehrere schwerwiegende Probleme.

Das Team verwendete zwei beliebte Interpretationswerkzeuge, die mithilfe von Grafiken und Diagrammen einen Überblick über das Modell geben. Dabei wird notiert, auf welche Daten das Modell während des Trainings hauptsächlich geachtet hat. Elf KI-Profis mit unterschiedlichen Hintergründen, Hintergründen und Hintergründen wurden von Microsoft eingestellt. Sie nahmen an einer Simulation der Interaktion mit dem MO-Modell teil, die auf Nationaleinkommensdaten aus der US-Volkszählung von 1994 trainiert wurde. Das Experiment wurde speziell entwickelt, um zu simulieren, wie Datenwissenschaftler Interpretationswerkzeuge verwenden, um ihre täglichen Aufgaben auszuführen.

Das Team fand etwas Erstaunliches. Ja, manchmal haben Tools dazu beigetragen, fehlende Werte in den Daten zu finden. All diese Nützlichkeit hat jedoch im Vergleich zu der Tendenz zu übermäßigem Vertrauen in Visualisierungen sowie zu Fehlern in ihrem Verständnis nachgelassen. Manchmal konnten Benutzer nicht einmal beschreiben, was genau die Visualisierungen zeigen. Dies führte zu falschen Annahmen bezüglich des Datensatzes, der Modelle und der Interpretationswerkzeuge selbst. Es weckte auch falsches Vertrauen in die Werkzeuge und weckte die Begeisterung, diese Modelle in die Praxis umzusetzen, obwohl es den Teilnehmern manchmal so vorkam, als ob etwas schief gehen würde. Was unangenehm ist, es hat funktioniert, auch wenn die Ausgabe speziell angepasst wurde, so dass die Erklärungen der Arbeit keinen Sinn machten.

Um die Ergebnisse zu bestätigen, führten die Forscher eine Online-Umfrage unter 200 Fachleuten aus Moskau durch, die über Mailinglisten und soziale Netzwerke angezogen wurde. Sie fanden ähnliche Verwirrung und unbegründetes Vertrauen.

Um die Sache noch schlimmer zu machen, waren viele Umfrageteilnehmer bereit, mithilfe von Visualisierungen Entscheidungen über die Modellimplementierung zu treffen, obwohl sie erkannten, dass sie die zugrunde liegende Mathematik nicht verstanden hatten. „Es war besonders überraschend zu sehen, dass Menschen die Seltsamkeiten in den Daten mit Erklärungen begründen“, sagt Harmanpreet Kaur von der University of Michigan, Mitautor der Studie. "Die Verzerrung der Automatisierung ist ein sehr wichtiger Faktor, den wir nicht berücksichtigt haben."

Oh, das ist eine Verzerrung der Automatisierung. Mit anderen Worten, Menschen neigen dazu, Computern zu vertrauen. Und das ist kein neues Phänomen. Von Flugzeugautopiloten bis hin zu Rechtschreibprüfungssystemen vertrauen Menschen laut Untersuchungen häufig Systemlösungen, auch wenn sie offensichtlich falsch liegen. Wenn dies jedoch mit Tools geschieht, die speziell zur Korrektur dieses Phänomens entwickelt wurden, haben wir ein noch größeres Problem.

Was kann man dagegen tun? Einige glauben, dass ein Teil der Probleme der ersten Welle von III damit zusammenhängt, dass Forscher des Verteidigungsministeriums darin dominieren, von denen die meisten Experten sind, die KI-Systeme verwenden. Tim Miller von der University of Melbourne untersucht die Verwendung von KI-Systemen durch Menschen: „Dies ist eine psychiatrische Klinik unter der Kontrolle von Psychos.“

Dies erkannte Esan auf dem Rücksitz eines Uber-Autos ohne Fahrer. Es wird einfacher sein zu verstehen, was das automatisierte System tut - und zu sehen, wo es falsch ist -, wenn es seine Handlungen so erklärt, wie es eine Person tun würde. Esan und sein Kollege Mark Riddle entwickeln ein MO-System, das automatisch ähnliche Erklärungen in natürlicher Sprache generiert . In einem frühen Prototyp nahm das Paar ein neuronales Netzwerk, trainierte, um ein klassisches Spiel aus den 1980er Jahren, Frogger, zu spielen, und trainierte es, um vor jedem Zug Erklärungen zu geben.


zwischen den Autos ... Ich komme nicht durch ... Ich werde auf die Lücke warten ...

Zu diesem Zweck zeigten sie dem System viele Beispiele dafür, wie Leute dieses Spiel spielen, und kommentierten Aktionen laut. Dann nahmen sie ein neuronales Netzwerk, das von einer Sprache in eine andere übersetzt wurde, und passten es an, um Spielaktionen in Erklärungen in einer natürlichen Sprache zu übersetzen. Und jetzt, wenn die Nationalversammlung eine Aktion im Spiel sieht, „übersetzt“ sie sie in eine Erklärung. Das Ergebnis ist eine KI, die Frogger spielt und Dinge wie "nach links bewegen, um bei jeder Bewegung hinter dem blauen Lastwagen zu sein" sagt.

Die Arbeit von Esan und Riddle ist nur der Anfang. Erstens ist nicht klar, ob das MO-System seine Handlungen immer in natürlicher Sprache erklären kann. Nehmen Sie AlphaZero von DeepMind und spielen Sie das Go-Brettspiel. Eine der erstaunlichsten Eigenschaften dieses Programms ist, dass es einen gewinnbringenden Zug machen kann, an den menschliche Spieler in diesem bestimmten Moment des Spiels nicht einmal denken konnten. Wenn AlphaZero seine Bewegungen erklären könnte, wäre das sinnvoll?

Gründe können helfen, ob wir sie verstehen oder nicht, sagt Esan: „Das Ziel eines III mit Fokus auf Menschen ist nicht nur, den Benutzer dazu zu bringen, zu akzeptieren, was die KI sagt - sondern auch einige Gedanken anzuregen.“ Riddle erinnert sich an eine Sendung des Spiels zwischen DeepMind AI und dem koreanischen Meister Lee Sedol. Kommentatoren diskutierten, was AlphaZero sieht und denkt. "Aber AlphaZero funktioniert nicht so", sagt Riddle. "Es schien mir jedoch, dass die Kommentare notwendig waren, um zu verstehen, was geschah."

Und obwohl diese neue Welle von III-Forschern der Meinung ist, dass wenn mehr Menschen KI-Systeme verwenden, sollten diese Menschen von Anfang an am Design teilnehmen - und verschiedene Menschen brauchen unterschiedliche Erklärungen. Dies wird durch eine neue Studie von Howley und ihren Kollegen bestätigt, in der sie zeigten, dass die Fähigkeit der Menschen, interaktive oder statische Visualisierung zu verstehen, von ihrem Bildungsniveau abhängt. Stellen Sie sich vor, die KI diagnostiziert Krebs, sagt Esan. Ich möchte, dass sich die Erklärung, die er dem Onkologen gibt, von der Erklärung für den Patienten unterscheidet.

Letztendlich möchten wir, dass AI nicht nur Wissenschaftlern, die mit Daten und Ärzten arbeiten, sondern auch Polizisten, die ein Bilderkennungssystem verwenden, Lehrern, die in der Schule Analyseprogramme verwenden, Schülern, die versuchen, die Arbeit von Bändern in sozialen Netzwerken zu verstehen, und zuvor erklären kann jede Person auf dem Rücksitz eines Robomobils. „Wir haben immer gewusst, dass die Menschen der Technologie zu sehr vertrauen, und dies gilt insbesondere für KI-Systeme“, sagt Riddle. "Je öfter Sie das System als intelligent bezeichnen, desto mehr Menschen sind zuversichtlich, dass es intelligenter ist als Menschen."

Erklärungen, die jeder verstehen konnte, könnten diese Illusion zerstören.

More articles:


All Articles