KI in der Medizin muss Vorurteilen entgegenwirken und sie nicht noch weiter verschärfen: Schüsse

Aus

Von

Ryan Levi

Dan Gorenstein

Die KI im Gesundheitswesen steckt noch in den Kinderschuhen, aber in einigen Tools wurden bereits rassistische Vorurteile festgestellt. Hier protestieren Angehörige der Gesundheitsberufe eines Krankenhauses in Kalifornien gegen Rassenungerechtigkeit nach der Ermordung von George Floyd. MARK RALSTON/AFP über Getty Images Bildunterschrift ausblenden

Ärzte, Datenwissenschaftler und Krankenhausmanager glauben, dass künstliche Intelligenz dabei helfen könnte, bislang unlösbare Probleme zu lösen. KI ist bereits vielversprechend, um Ärzten dabei zu helfen, Brustkrebs zu diagnostizieren, Röntgenbilder zu lesen und vorherzusagen, welche Patientinnen mehr Pflege benötigen. Aber mit zunehmender Aufregung besteht auch ein Risiko: Diese leistungsstarken neuen Instrumente können seit langem bestehende Rassenungleichheiten bei der Bereitstellung von Pflege aufrechterhalten.

„Wenn Sie das vermasseln, können Sie den Menschen wirklich, wirklich schaden, indem Sie systemischen Rassismus weiter im Gesundheitssystem verankern“, sagte Dr. Mark Sendak, leitender Datenwissenschaftler am Duke Institute for Health Innovation.

Diese neuen Gesundheitstools basieren häufig auf maschinellem Lernen, einem Teilbereich der KI, bei dem Algorithmen darauf trainiert werden, Muster in großen Datensätzen wie Rechnungsinformationen und Testergebnissen zu finden. Diese Muster können zukünftige Ergebnisse vorhersagen, beispielsweise die Wahrscheinlichkeit, dass ein Patient eine Sepsis entwickelt. Diese Algorithmen können ständig jeden Patienten in einem Krankenhaus gleichzeitig überwachen und Ärzte auf potenzielle Risiken aufmerksam machen, die überarbeitetes Personal sonst möglicherweise übersehen würde.

Die Daten, auf denen diese Algorithmen basieren, spiegeln jedoch oft Ungleichheiten und Vorurteile wider, die das US-amerikanische Gesundheitswesen seit langem plagen. Untersuchungen zeigen, dass Ärzte weiße und farbige Patienten häufig unterschiedlich betreuen. Diese Unterschiede in der Behandlung von Patienten werden in Daten verewigt, die dann zum Trainieren von Algorithmen verwendet werden. Auch farbige Menschen sind in diesen Trainingsdatensätzen häufig unterrepräsentiert.

„Wenn man aus der Vergangenheit lernt, reproduziert man die Vergangenheit. Man festigt die Vergangenheit weiter“, sagte Sendak. „Weil man bestehende Ungerechtigkeiten als Anspruch auf die Art und Weise betrachtet, wie Gesundheitsfürsorge bereitgestellt werden sollte.“

Eine bahnbrechende Studie aus dem Jahr 2019, die in der Fachzeitschrift „Science“ veröffentlicht wurde, ergab, dass ein Algorithmus zur Vorhersage des Gesundheitsbedarfs von mehr als 100 Millionen Menschen voreingenommen war und schwarze Patienten benachteiligte. Der Algorithmus stützte sich auf die Gesundheitsausgaben, um den zukünftigen Gesundheitsbedarf vorherzusagen. Aber da in der Vergangenheit der Zugang zu medizinischer Versorgung schlechter war, gaben schwarze Patienten oft weniger aus. Infolgedessen mussten schwarze Patienten viel kränker sein, um im Rahmen des Algorithmus für eine zusätzliche Pflege empfohlen zu werden.

„Man läuft im Grunde dorthin, wo es Landminen gibt“, sagte Sendak über den Versuch, klinische KI-Tools mit Daten zu entwickeln, die möglicherweise Voreingenommenheit enthalten, „und [wenn man nicht aufpasst] werden Ihre Sachen explodieren und Menschen verletzen.“ ."

Im Herbst 2019 entwickelte Sendak gemeinsam mit der pädiatrischen Notfallmedizinerin Dr. Emily Sterrett einen Algorithmus zur Vorhersage einer Sepsis bei Kindern in der Notaufnahme des Duke University Hospital.

Sepsis entsteht, wenn der Körper auf eine Infektion überreagiert und seine eigenen Organe angreift. Obwohl diese vermeidbare Erkrankung bei Kindern selten vorkommt – etwa 75.000 Fälle pro Jahr in den USA –, endet sie bei fast 10 % der Kinder tödlich. Wenn sie schnell erkannt werden, können Antibiotika eine Sepsis wirksam behandeln. Die Diagnose ist jedoch schwierig, da die typischen Frühsymptome – Fieber, hohe Herzfrequenz und hohe Anzahl weißer Blutkörperchen – andere Krankheiten, einschließlich einer Erkältung, imitieren.

Ein Algorithmus, der die Gefahr einer Sepsis bei Kindern vorhersagen könnte, würde für Ärzte im ganzen Land von entscheidender Bedeutung sein. „Wenn das Leben eines Kindes auf dem Spiel steht, ist es wirklich sehr wichtig, über ein Backup-System zu verfügen, das die KI anbieten könnte, um einen Teil dieser menschlichen Fehlbarkeit zu stärken“, sagte Sterrett.

Aber die bahnbrechende Studie in Science über Voreingenommenheit bestätigte Sendak und Sterrett, dass sie bei ihrem Design vorsichtig sein wollten. Das Team verbrachte einen Monat damit, dem Algorithmus beizubringen, eine Sepsis anhand von Vitalfunktionen und Labortests zu erkennen, statt anhand leicht zugänglicher, aber oft unvollständiger Abrechnungsdaten. Jede Optimierung des Programms in den ersten 18 Monaten der Entwicklung löste Qualitätskontrolltests aus, um sicherzustellen, dass der Algorithmus Sepsis unabhängig von Rasse oder ethnischer Zugehörigkeit gleich gut erkennt.

Aber fast drei Jahre nach ihrer gezielten und methodischen Arbeit stellte das Team fest, dass sich mögliche Vorurteile immer noch einschleichen konnten. Dr. Ganga Moorthy, ein Global Health Fellow des Duke-Programms für pädiatrische Infektionskrankheiten, zeigte den Entwicklern bei Untersuchungen, dass die Ärzte bei Duke länger brauchten, um Bestellungen aufzugeben Bei Bluttests hispanischer Kinder wurde schließlich eine Sepsis diagnostiziert als bei weißen Kindern.

„Eine meiner Haupthypothesen war, dass Ärzte Krankheiten bei weißen Kindern vielleicht ernster nahmen als die bei hispanischen Kindern“, sagte Moorthy. Sie fragte sich auch, ob der Bedarf an Dolmetschern den Prozess verlangsamte.

„Ich war wütend auf mich selbst. Wie konnten wir das nicht sehen?“ Sagte Sendak. „Wir haben all diese subtilen Dinge völlig übersehen, die, wenn sie durchgängig wahr wären, zu Verzerrungen im Algorithmus führen könnten.“

Sendak sagte, das Team habe diese Verzögerung übersehen und ihrer KI möglicherweise falsch beigebracht, dass hispanische Kinder langsamer eine Sepsis entwickeln als andere Kinder, ein Zeitunterschied, der tödlich sein könnte.

In den letzten Jahren haben Krankenhäuser und Forscher nationale Koalitionen gebildet, um bewährte Verfahren auszutauschen und „Playbooks“ zur Bekämpfung von Voreingenommenheit zu entwickeln. Es gibt jedoch Anzeichen dafür, dass nur wenige Krankenhäuser mit der Bedrohung der Gerechtigkeit rechnen, die diese neue Technologie mit sich bringt.

Die Forscherin Paige Nong befragte letztes Jahr Beamte von 13 akademischen medizinischen Zentren, und nur vier sagten, sie hätten bei der Entwicklung oder Überprüfung von Algorithmen für maschinelles Lernen rassistische Vorurteile berücksichtigt.

„Wenn eine bestimmte Führungskraft in einem Krankenhaus oder einem Gesundheitssystem persönlich über Rassenungleichheit besorgt wäre, dann würde das ihre Meinung über KI beeinflussen“, sagte Nong. „Aber es gab nichts Strukturelles, es gab nichts auf regulatorischer oder politischer Ebene, das von ihnen verlangte, so zu denken oder zu handeln.“

Mehrere Experten sagen, dass sich dieser Bereich der KI aufgrund der mangelnden Regulierung ein wenig wie der „Wilde Westen“ anfühlt. Separate Untersuchungen aus dem Jahr 2021 ergaben, dass die Richtlinien der Food and Drug Administration zu rassistischen Vorurteilen in der KI uneinheitlich sind, da nur ein Bruchteil der Algorithmen überhaupt rassistische Informationen in öffentliche Anwendungen einbezieht.

Die Biden-Regierung hat in den letzten 10 Monaten eine Reihe von Vorschlägen zur Gestaltung von Leitplanken für diese aufstrebende Technologie veröffentlicht. Die FDA sagt, sie bittet die Entwickler nun, alle Schritte darzulegen, die zur Minderung von Voreingenommenheit ergriffen wurden, und die Datenquelle, die neuen Algorithmen zugrunde liegt.

Das Büro des Nationalen Koordinators für Gesundheitsinformationstechnologie schlug im April neue Vorschriften vor, die von Entwicklern verlangen würden, Ärzten ein umfassenderes Bild davon zu vermitteln, welche Daten zur Erstellung von Algorithmen verwendet wurden. Kathryn Marchesini, die Datenschutzbeauftragte der Agentur, beschrieb die neuen Vorschriften als eine „Nährwertkennzeichnung“, die Ärzten hilft, „die Zutaten zu kennen, die zur Herstellung des Algorithmus verwendet wurden“. Die Hoffnung besteht darin, dass mehr Transparenz den Anbietern helfen wird, festzustellen, ob ein Algorithmus unvoreingenommen genug ist, um ihn sicher bei Patienten anzuwenden.

Das Amt für Bürgerrechte des US-Gesundheitsministeriums hat letzten Sommer aktualisierte Vorschriften vorgeschlagen, die Ärzten, Krankenhäusern und Versicherern ausdrücklich verbieten, „durch den Einsatz klinischer Algorithmen bei ihrer Entscheidungsfindung“ zu diskriminieren. Die Direktorin der Agentur, Melanie Fontes Rainer, sagte, obwohl die Antidiskriminierungsgesetze des Bundes diese Aktivität bereits verbieten, wolle ihr Büro „sicherstellen, dass [Anbieter und Versicherer] sich darüber im Klaren sind, dass es sich hier nicht nur um „Ein Produkt von der Stange kaufen, schließen““ handelt deine Augen und benutze es.‘“

Viele Experten für KI und Voreingenommenheit begrüßen diese neue Aufmerksamkeit, es gibt jedoch Bedenken. Mehrere Wissenschaftler und Branchenführer sagten, sie möchten, dass die FDA in öffentlichen Richtlinien genau darlegt, was Entwickler tun müssen, um nachzuweisen, dass ihre KI-Tools unvoreingenommen sind. Andere wollen, dass ONC von Entwicklern verlangt, die „Zutatenliste“ ihres Algorithmus öffentlich zu teilen, damit unabhängige Forscher den Code auf Probleme untersuchen können.

Einige Krankenhäuser und Wissenschaftler befürchten, dass diese Vorschläge – insbesondere das ausdrückliche Verbot des HHS zur Verwendung diskriminierender KI – nach hinten losgehen könnten. „Was wir nicht wollen, ist, dass die Regel so beängstigend ist, dass Ärzte sagen: ‚Okay, ich werde in meiner Praxis einfach keine KI verwenden. Ich möchte einfach nicht das Risiko eingehen‘“, sagte Carmel Shachar , Geschäftsführer des Petrie-Flom Center for Health Law Policy an der Harvard Law School. Shachar und mehrere Branchenführer sagten, dass Krankenhäuser mit weniger Ressourcen ohne klare Leitlinien Schwierigkeiten haben könnten, auf der richtigen Seite des Gesetzes zu bleiben.

Mark Sendak von Duke begrüßt neue Vorschriften zur Eliminierung von Verzerrungen durch Algorithmen, „aber was wir von den Regulierungsbehörden nicht sagen hören, ist: ‚Wir verstehen die Ressourcen, die nötig sind, um diese Dinge zu identifizieren und diese Dinge zu überwachen. Und wir werden dafür sorgen.‘ Investitionen, um sicherzustellen, dass wir dieses Problem angehen.‘“

Die Bundesregierung investierte 35 Milliarden US-Dollar, um Ärzte und Krankenhäuser zu Beginn dieses Jahrhunderts zur Einführung elektronischer Patientenakten zu bewegen und sie dabei zu unterstützen. Keiner der Regulierungsvorschläge zu KI und Voreingenommenheit beinhaltet finanzielle Anreize oder Unterstützung.

Mangels zusätzlicher Finanzierung und klarer regulatorischer Leitlinien müssen KI-Entwickler vorerst ihre Probleme selbst lösen.

Bei Duke begann das Team sofort mit einer neuen Testrunde, nachdem es herausgefunden hatte, dass sein Algorithmus, der bei der Vorhersage einer Sepsis im Kindesalter hilft, hispanische Patienten belasten könnte. Es dauerte acht Wochen, bis endgültig festgestellt wurde, dass der Algorithmus die Sepsis bei allen Patienten mit der gleichen Geschwindigkeit vorhersagte. Sendak vermutet, dass es zu wenige Sepsis-Fälle gab, als dass die Zeitverzögerung für hispanische Kinder in den Algorithmus integriert werden könnte.

Sendak sagte, die Schlussfolgerung sei eher ernüchternd als eine Erleichterung. „Ich finde es nicht beruhigend, dass wir in einem bestimmten, seltenen Fall nicht eingreifen mussten, um Voreingenommenheit zu verhindern“, sagte er. „Jedes Mal, wenn man auf einen potenziellen Fehler aufmerksam wird, muss man sich fragen: ‚Wo passiert das sonst?‘“

Sendak plant, ein vielfältigeres Team aufzubauen, in dem Anthropologen, Soziologen, Gemeindemitglieder und Patienten zusammenarbeiten, um Vorurteile in Dukes Algorithmen auszumerzen. Damit diese neue Klasse von Instrumenten jedoch mehr Nutzen als Schaden bringt, ist Sendak davon überzeugt, dass sich der gesamte Gesundheitssektor mit der zugrunde liegenden Rassenungleichheit befassen muss.

„Man muss in den Spiegel schauen“, sagte er. „Man muss sich selbst, den Menschen, mit denen man arbeitet, und den Organisationen, denen man angehört, harte Fragen stellen. Denn wenn man tatsächlich nach Vorurteilen bei Algorithmen sucht, sind Ungleichheiten die Hauptursache für viele Vorurteile.“ In Pflege."

Diese Geschichte stammt aus dem gesundheitspolitischen Podcast Tradeoffs. Dan Gorenstein ist Chefredakteur von Tradeoffs und Ryan Levi ist leitender Produzent der Show. Die Berichterstattung von Tradeoffs über diagnostische Exzellenz wird teilweise von der Gordon and Betty Moore Foundation unterstützt.