Würden Sie der KI blind vertrauen, dass sie wichtige Entscheidungen mit persönlichen, finanziellen oder sicherheitsrelevanten Auswirkungen trifft? Wie die meisten Menschen lautet die Antwort wahrscheinlich „Nein“. Stattdessen möchten Sie zunächst wissen, wie das Unternehmen zu diesen Entscheidungen gelangt, die Gründe dafür bedenken und dann auf der Grundlage dieser Informationen Ihre eigene Entscheidung treffen.
Dieser als KI-Erklärbarkeit bekannte Prozess ist der Schlüssel zur Erschließung vertrauenswürdiger KI – oder KI, die sowohl zuverlässig als auch ethisch ist. Da sensible Branchen wie das Gesundheitswesen den Einsatz von KI immer weiter ausbauen, ist die Erzielung von Vertrauenswürdigkeit und Erklärbarkeit in KI-Modellen von entscheidender Bedeutung für die Gewährleistung der Patientensicherheit. Ohne Erklärbarkeit können Forscher die Ergebnisse eines KI-Modells nicht vollständig validieren und daher nicht darauf vertrauen, dass diese Modelle Anbieter in Situationen mit Patienten unterstützen, in denen viel auf dem Spiel steht. Da Krankenhäuser weiterhin mit Personalmangel und Anbieter-Burnout konfrontiert sind, wächst der Bedarf an KI weiter, um den Verwaltungsaufwand zu verringern und Aufgaben wie medizinische Kodierung, Umgebungsbeschreibung und Unterstützung bei der Entscheidungsfindung zu unterstützen. Aber ohne eine angemessene KI-Erklärbarkeit bleibt die Patientensicherheit gefährdet.
Was ist KI-Erklärbarkeit?
Da die Modelle des maschinellen Lernens (ML) immer fortschrittlicher werden, steht der Mensch vor der Aufgabe, die Schritte zu verstehen, die ein Algorithmus unternimmt, um zu seinem Ergebnis zu gelangen. Im Gesundheitswesen bedeutet dies, dass die Anbieter vor der Herausforderung stehen, nachzuvollziehen, wie ein Algorithmus zu einer möglichen Diagnose gelangt ist. Trotz aller Fortschritte und Erkenntnisse behalten die meisten ML-Engines immer noch ihre „Black Box“, was bedeutet, dass ihr Berechnungsprozess weder entschlüsselt noch nachvollzogen werden kann.
Geben Sie Erklärbarkeit ein. Während erklärbare KI – auch bekannt als Einfach ausgedrückt gibt die Erklärbarkeit von KI Aufschluss über den Prozess, durch den KI zu ihren Schlussfolgerungen gelangt. Diese Transparenz fördert das Vertrauen, indem sie es Forschern und Benutzern ermöglicht, KI-Modelle zu verstehen, zu validieren und zu verfeinern, insbesondere wenn es um nuancierte oder sich ändernde Dateneingaben geht.
Während KI ein enormes Potenzial hat, eine Vielzahl von Branchen zu revolutionieren, macht sie im Gesundheitswesen bereits erhebliche Fortschritte: Die Investitionen in Gesundheits-KI steigen allein im Jahr 2024 auf unglaubliche 11 Milliarden US-Dollar. Damit Systeme diese neuen Technologien implementieren und ihnen vertrauen können, müssen Anbieter jedoch in der Lage sein, ihren Ergebnissen zu vertrauen, anstatt ihnen blind zu vertrauen. KI-Forscher haben die Erklärbarkeit als einen notwendigen Aspekt davon erkannt und ihre Fähigkeit erkannt, aufkommende ethische und rechtliche Fragen im Zusammenhang mit KI zu beantworten und Entwicklern dabei zu helfen, sicherzustellen, dass Systeme wie erwartet – und wie versprochen – funktionieren.
Der Weg zur Erklärbarkeit
Um eine vertrauenswürdige KI zu erreichen, haben sich viele Forscher einer einzigartigen Lösung zugewandt: KI zur Erklärung von KI zu nutzen. Diese Methode besteht darin, ein zweites Ersatz-KI-Modell zu haben, das darauf trainiert wird, zu erklären, warum die erste KI zu ihrem Ergebnis gelangt ist. Während es hilfreich klingen mag, eine andere KI mit dieser Arbeit zu beauftragen, ist diese Methode höchst problematisch, geschweige denn paradox, da sie blind dem Entscheidungsprozess beider Modelle vertraut, ohne deren Argumentation in Frage zu stellen. Ein fehlerhaftes System negiert das andere nicht.
Nehmen wir zum Beispiel ein KI-Modell, das zu dem Schluss kommt, dass ein Patient an Leukämie leidet, und wird von einem zweiten KI-Modell auf der Grundlage derselben Eingaben validiert. Auf den ersten Blick könnte ein Arzt dieser Entscheidung vertrauen, wenn man bedenkt, dass die Patienten Symptome wie Gewichtsverlust, Müdigkeit und eine hohe Anzahl weißer Blutkörperchen aufweisen. Die KI hat die KI validiert und der Patient erhält eine düstere Diagnose. Fall abgeschlossen.
Dies beweist die Notwendigkeit einer erklärbaren KI. Wenn der Anbieter in demselben Szenario Zugriff auf den Entscheidungsprozess der KI hätte und herausfinden könnte, welche Schlüsselwörter er zur Schlussfolgerung auf Leukämie herangezogen hat, könnte er erkennen, dass die Ergebnisse der Knochenmarksbiopsie des Patienten vom Modell nicht tatsächlich erkannt wurden. Durch die Berücksichtigung dieser Ergebnisse erkennt der Anbieter, dass der Patient eindeutig an einem Lymphom und nicht an Leukämie leidet.
Diese Situation unterstreicht die dringende Notwendigkeit transparenter und nachvollziehbarer Entscheidungsprozesse in KI-Modellen. Sich auf ein anderes KI-Modell zu verlassen, um das erste zu erklären, erhöht lediglich das Fehlerpotenzial. Um den sicheren und effektiven Einsatz von KI im Gesundheitswesen zu gewährleisten, muss die Branche der Entwicklung spezialisierter, erklärbarer Modelle Priorität einräumen, die Gesundheitsfachkräften klare Einblicke in die Argumentation eines Modells bieten. Nur durch die Nutzung dieser Erkenntnisse können Anbieter KI sicher einsetzen, um die Patientenversorgung zu verbessern.
Wie Erklärbarkeit medizinischen Fachkräften dient
Über Diagnosen hinaus ist Erklärbarkeit in der gesamten Gesundheitsbranche von großer Bedeutung, insbesondere bei der Identifizierung von Vorurteilen, die in der KI verankert sind. Da die KI nicht über den notwendigen Kontext oder die Werkzeuge verfügt, um Nuancen zu verstehen, können KI-Modelle Daten regelmäßig falsch interpretieren oder aufgrund inhärenter Verzerrungen in ihren Ergebnissen voreilige Schlussfolgerungen ziehen. Nehmen wir den Fall der Framingham-Herzstudie, bei der die kardiovaskulären Risikowerte der Teilnehmer je nach ethnischer Zugehörigkeit unverhältnismäßig hoch bewertet wurden. Wenn ein erklärbares KI-Modell auf die Daten angewendet worden wäre, hätten die Forscher möglicherweise die Rasse als voreingenommenen Input identifizieren und ihre Logik anpassen können, um den Teilnehmern genauere Risikobewertungen zu liefern.
Ohne Erklärbarkeit verschwenden Anbieter wertvolle Zeit damit, zu verstehen, wie KI zu einer bestimmten Diagnose oder Behandlung gelangt ist. Jeder Mangel an Transparenz im Entscheidungsprozess kann unglaublich gefährlich sein, insbesondere wenn KI-Modelle anfällig für Voreingenommenheit sind. Die Erklärbarkeit hingegen dient als Leitfaden und zeigt den Entscheidungsprozess der KI. Durch die Hervorhebung der Schlüsselwörter, Eingaben oder Faktoren, die sich auf die Ergebnisse der KI auswirken, ermöglicht die Erklärbarkeit den Forschern, Fehler besser zu erkennen und zu beheben, was zu genaueren und gerechteren Entscheidungen im Gesundheitswesen führt.
Was das für KI bedeutet
Obwohl KI bereits im Gesundheitswesen implementiert wird, ist es noch ein langer Weg. Jüngste Vorfälle, bei denen KI-Tools medizinische Gespräche fabrizieren, verdeutlichen die Risiken einer unkontrollierten KI im Gesundheitswesen, die möglicherweise schwerwiegende Folgen wie falsche Verschreibungen oder Fehldiagnosen haben kann. KI sollte das Fachwissen menschlicher Anbieter erweitern und nicht ersetzen. Explainability versetzt medizinisches Fachpersonal in die Lage, mit der KI zusammenzuarbeiten und sicherzustellen, dass Patienten die genaueste und informierteste Versorgung erhalten.
Die Erklärbarkeit von KI stellt eine einzigartige Herausforderung dar, die jedoch ein enormes Potenzial für Patienten bietet. Indem wir Anbieter mit diesen KI-Modellen ausstatten, können wir eine Welt schaffen, in der medizinische Entscheidungen nicht nur datengesteuert, sondern auch transparent und verständlich sind, und so eine neue Ära des Vertrauens in die Gesundheitsversorgung fördern.
Foto: Andrzej Wojcicki, Getty Images
Lars Maaløe ist Mitbegründer und CTO von Corti. Maaløe hat einen MS und einen PhD in maschinellem Lernen von der Technischen Universität Dänemark. Er wurde von der Abteilung für Angewandte Mathematik und Informatik zum Doktortitel des Jahres gekürt und hat an Top-Standorten für maschinelles Lernen veröffentlicht: ICML, NeurIPS usw. Sein Hauptforschungsbereich ist halbüberwachtes und unüberwachtes maschinelles Lernen. In der Vergangenheit hat Maaløe mit Unternehmen wie Issuu und Apple zusammengearbeitet.
Dieser Beitrag erscheint über das MedCity Influencers-Programm. Über MedCity Influencer kann jeder seine Sicht auf Wirtschaft und Innovation im Gesundheitswesen auf MedCity News veröffentlichen. Klicken Sie hier, um herauszufinden, wie.
