Künstliche Intelligenz (KI)
GenAI übernimmt Arztfunktionen
Generative KI verfasst mittlerweile klinische Berichte, Antworten an Patienten und entscheidet über Leistungsanträge. TrendAI™ Research beschreibt die daraus resultierende Lücke in der Verantwortung und die damit verbundenen Risiken.
Save to Folio
Wichtigste Erkenntnisse
- Der Einsatz von KI durch Ärzte ist innerhalb von drei Jahren von 38 % auf 81 % hochgeschnellt. GenAI unterstützt nicht mehr nur bei der Erstellung von Krankenakten, sondern erstellt sie selbst: den Vermerk, die Antwort an den Patienten, die Entscheidung über die Kostenübernahme.
- TrendAI™ Research identifiziert die Lücke in der Verantwortungslücke: Hier gelangen KI-generierte Inhalte in die Krankenakte, ohne dass eine identifizierbare Person als Verfasser, Prüfer oder Verantwortlicher dafür feststellbar ist.
- Diese Lücke betrifft drei patientennahe Bereiche: das Untersuchungszimmer, das Telefon sowie das Backoffice. Verschiedene Akteure können diese Lücke ausnutzen, von organisierten Betrugsringen bis hin zu Fällen, in denen es gar keinen Angreifer gibt.
- Gerichte und Aufsichtsbehörden behandeln dies bereits als aktuelles Problem und nicht als hypothetisches Szenario – etwa in Urteilen zu KI-Agenten, Einstellungs-Tools und der Haftung von Chatbots.
Die Akzeptanz des Einsatzes generativer KI im Gesundheitswesen hat die entsprechende Regulierung überholt. Scribes, also Tools, die Arztgespräche erfassen und in Sprache umwandeln, verfassen den Bericht, den ein Arzt unterzeichnet, Sprachassistenten bearbeiten Patientenanrufe, und Entscheidungsmodelle beurteilen Leistungsansprüche in Echtzeit – oft, bevor ein Mensch überhaupt davon etwas mitbekommt.
In den letzten zehn Jahren fungierte klinische KI als zweites Paar Augen: eine Markierung bei einer radiologischen Untersuchung oder ein Sepsis-Score, akzeptiert oder ignoriert, während aber immer noch ein Arzt das Ergebnis aufsetzte. Heute erstellt dies die generative KI selbst. Aber die Regulierungsbehörden haben noch nicht nachgezogen.
Die Food and Drug Administration (FDA) hat mehr als 1.500 KI-gestützte medizinische Geräte zugelassen. Gleichzeitig ergab eine unabhängige Überprüfung, dass nur 22 von 521 durch eine randomisierte kontrollierte Studie validiert worden waren. Der Generalinspekteur des Ministeriums für Gesundheit und Soziales (HHS) hat die Informationssicherheit seines Ministeriums sechs Jahre in Folge als „nicht wirksam“ eingestuft. Weltweit beschäftigen sich Aufsichtsbehörden und Gerichte mit derselben Frage: Wer kann für das verantwortlich gemacht werden, was das GenAI-Modell im Gesundheitswesen hervorbringt? Ein Überblick im Originalbeitrag zeigt bereits erfolgte Entwicklungen.
Erst kürzlich wurde ein weiterer KI-Eingriff in eine Gesundheitsakte bekannt: Am 23. September 2026 erklärte der australische Premierminister Anthony Albanese, dass sich der OpenAI-Agent bei der Recherche zu öffentlichen Gesundheitsausgaben unbefugten Zugriff auf das medizinische Statistikportal von Australiens allgemeiner Krankenversicherung „Medicare“ verschafft habe. Während die Regierung den Vorfall als „geringfügig“ herunterspielte, weil keine personenbezogenen Daten gefährdet wurden, bezeichnete der Cybersicherheitsexperte Alastair MacGibbon den Angriff als „Weckruf“.
Drei Bereiche, drei Arten von Fehlerquellen
GenAI ist mittlerweile an drei patientennahen Kontaktpunkten im Einsatz. An jedem besteht die Gefahr, dass die Kontrolle über die Patientenakte verloren geht.
- Das Sprechzimmer, wo aus dem Bericht die Krankenakte wird: Scribes hören zu, entwerfen den Bericht, den der Arzt unterzeichnet, und häufig schlagen sie währenddessen bereits Abrechnungscodes und Antworten für das Patientenportal vor. Versteckte Eingaben in Überweisungen, halluzinierte Befunde, die sich bei zukünftigen Besuchen summieren, Anregungen zur Kodierung in Richtung höher vergüteter Leistungsansprüche und ein stets eingeschaltetes Mikrofon verwandeln denselben Arbeitsablauf, der einem Arzt Zeit spart, in einen Ort, an dem die Krankenakte nicht mehr das Gesagte widerspiegelt.
- Das Telefon, wo Agenten Vertrauen aus der Ferne automatisieren: Agenten mit synthetischer Stimme rufen Patienten mittlerweile für Nachuntersuchungen sowie Medikamentenüberprüfungen an, und Patienten führen zunehmend zunächst selbst eine Triage mit einem Chatbot durch. Das Risiko dabei besteht in einer nicht wahrgenommenen Eskalation, die einen sich verschlechternden Zustand des Patienten vor dem Arztteam verbergen. Des Weiteren können Betrüger eine vertrauenswürdige Stimme klonen und so einen bereits Patientenstamm übernehmen, sowie Chatbots, die darauf ausgelegt sind, zuzustimmen und so Bestätigungsfehler zu nähren, ohne dass überhaupt ein Kliniker in den Prozess eingebunden ist.
- Das Backoffice, wo zwei Maschinen über die Kostenübernahme verhandeln: Ein Mitarbeiter auf Anbieterseite reicht das Paket für die Vorabgenehmigung ein, ein Mitarbeiter auf Kostenträgerseite entscheidet in Echtzeit darüber. Ohne die Beteiligung eines Menschen auf beiden Seiten können sich zwei korrekt funktionierende Systeme dennoch in Einspruchsschleifen in Maschinengeschwindigkeit verfangen, das zugrunde liegende Modell der Datenextraktion und dem Data Poisoning aussetzen und zulassen, dass eine nicht authentifizierte Tool-Ebene Patientenakten im Internet offenlegt.
Auswirkungen
Eine Halluzination, die sich so lange wiederholt, bis sie als Tatsache gilt, eine Notiz, die in Richtung eines besser bezahlten Codes driftet, eine sich selbst verselbständigende Einspruchsschleife: Die KI verstärkt ihren eigenen Fehler – und genau deshalb wird eine Verteidigung, die nur auf Angreifer ausgelegt ist, das meiste, was schiefgeht, übersehen.
Die Lücke in der Verantwortlichkeit zu schließen, heißt nicht, die KI-Einführung zu verlangsamen. Es bedeutet, noch vor dem nächsten Vorfall zu entscheiden, wer für jedes generierte Artefakt verantwortlich ist, welche Nachweise vorhanden sind, um dieses mit seiner Quelle abzugleichen, und wie weit Patientendaten und Modellgewichte wandern, sobald sie den Untersuchungsraum verlassen.
AIxploit, das von TrendAI™ Research entwickelte Tool, ist ein Open Source-Framework, das agentenbasierte Systeme auf Inhalte testen kann, die als Anweisung interpretiert werden, obwohl sie nie als solche gedacht waren. Der vollständige Bericht legt ein „Defense-in-Depth“-Framework für jede Ebene dieses Problems dar sowie die konkreten Fragen, die man einem Anbieter oder einem internen KI-Governance-Ausschuss vor der nächsten Bereitstellung stellen sollte.