Schatten-KI in der Medizin: Dr. Rödel über Haftungsrisiken
Schatten-KI in der Medizin bezeichnet den Einsatz nicht zugelassener KI-Tools wie ChatGPT durch Ärzte und Pflegekräfte. Im YouTube-Interview erklärt Dr. Vera Rödel, CEO und Mitgründerin von Prof. Valmed, warum diese Praxis gefährlich ist. Ihr Unternehmen bietet ein zertifiziertes Medizinprodukt der Klasse IIb an.
Das Phänomen ist aus anderen Branchen bekannt. Beschäftigte nutzen frei verfügbare Chatbots, lange bevor eine offizielle Lösung existiert. In der Medizin wiegen die Folgen besonders schwer. Dort geht es um Diagnosen, Therapien und im Zweifel um Menschenleben.
Sie sehen gerade einen Platzhalterinhalt von YouTube. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.
Was Prof. Valmed von einem Chatbot unterscheidet
Prof. Valmed ist ein klinisches Entscheidungs-Unterstützungs-System auf Basis eines Large Language Models. Es liefert Ärzten und Pflegepersonal validierte Informationen für Therapie und Diagnose. Die Antworten sind aktuell, nachvollziehbar und mit Quellen belegt. Das System arbeitet über alle Fachbereiche hinweg.
Gegründet hat Dr. Vera Rödel das Unternehmen zusammen mit dem Neurologen Prof. Dr. Heinz Wiendl. Rödel ist Juristin mit einem Master in Medizin. Vorher arbeitete sie in der Pharma-Industrie bei Boehringer und Merck. Den Medizin-Master machte sie, um mit Ärzten auf Augenhöhe zu sprechen.
Nach Angaben des Unternehmens ist Prof. Valmed das weltweit erste LLM-basierte System mit CE-Zertifizierung der Klasse IIb. Die Zulassung kam im März 2025. Bis heute ist es nach eigenen Angaben das einzige seiner Art.
Drei Risiken der Schatten-KI in der Medizin
Rödel nennt drei konkrete Gefahren, wenn Ärzte ChatGPT für klinische Fragen nutzen. Das erste Risiko sind Halluzinationen. Ein Sprachmodell erfindet Fakten und formuliert sie trotzdem überzeugend. Eine verwandte Gefahr durch unkontrollierte KI-Tools beschreibt der Bericht zum Schutz vor Prompt Injections.
Das zweite Risiko ist eine Scheinsicherheit. Die Antwort klingt glaubwürdig und vermittelt dem Arzt das Gefühl, sie sei korrekt. Fehler bleiben so leicht unentdeckt. Jedes KI-System kann sich irren, auch ein gutes.
Das dritte Risiko betrifft die Haftung. Wer ein nicht zugelassenes Tool zur Diagnose nutzt, trägt das Risiko persönlich. Beobachter sehen darin eine Aufgabe für Kliniken. Verbote allein stoppen die heimliche Nutzung kaum. Gefragt sind zugelassene Alternativen direkt im Alltag.
RAG auf 2,5 Millionen kuratierten Dokumenten
Der technische Kern von Prof. Valmed ist eine geschlossene Datenbank. Die Datenbank umfasst über 2,5 Millionen von Menschen kuratierte Dokumente. Dazu zählen Leitlinien, PubMed-Artikel, Cochrane Reviews und Dokumente der EMA. Das Modell darf nur auf Basis dieser Quellen antworten.
Das Verfahren heißt Retrieval Augmented Generation, kurz RAG. Es läuft bei Prof. Valmed in drei Schritten ab. Zuerst strukturiert das System die Anfrage klinisch. Danach sucht es präzise in der geschlossenen Datenbank. Erst im dritten Schritt formuliert es die Antwort aus den gefundenen Quellen.
Der Arzt sieht zu jeder Antwort die Belege und kann selbst weiter recherchieren. Die Halluzinations-Rate liegt nach Firmenangaben bei 0,26 %. In einer im Interview genannten Studie erreichte das System 91,3 % Genauigkeit. Menschliche Assistenz-Ärzte kamen dort auf 82,2 %.
Praxisbeispiel Freiburg: 160.000 Euro pro Monat
Als Vorzeigeprojekt nennt Rödel Freiburg. Dort lief Prof. Valmed direkt nach der Zulassung in allen Fachbereichen. In der ersten Phase sparte das Haus nach ihren Angaben knapp 160.000 Euro pro Monat. Ärzte gewinnen Zeit, die Zahl der Überstunden sinkt.
Rödel betont weitere Effekte jenseits des Geldes. Das System stärkt die Treue zu Leitlinien und sorgt für eine einheitliche Behandlung. Über Integrationen in Klinik- und Praxis-Systeme erhält es Patientendaten direkt vom Hersteller. So prüft es auch die Medikations-Sicherheit und gibt passende Empfehlungen.
Als Klasse-IIb-Produkt darf Prof. Valmed auch in der Notaufnahme arbeiten. Das unterscheidet es von Produkten der Klasse IIa. Bei der Triage zählt jede Minute. Überlastete Notaufnahmen profitieren von schnelleren und fundierten Entscheidungen.
Regulatorik als Kern des Produkts
Klasse IIb bedeutet Hochrisiko-Bereich. Der Gesetzgeber geht hier davon aus, dass eine Fehlfunktion ernste klinische Folgen haben kann. Prof. Valmed wählte diesen Weg bewusst von Anfang an. Das Unternehmen finanzierte sich dabei komplett selbst, ohne externes Venture Capital.
Der kleine Cap Table machte das Team schnell und agil. So gelangen Zulassung und Markteintritt zügig. Für Rödel ist Regulatorik deshalb der Kern des Produkts. Wie Regeln den KI-Markt insgesamt verändern, zeigt die Übersicht zur KI-Regulierung.
Daneben nennt sie zwei weitere Trends. Der erste lautet Workflow schlägt Single Model. Je tiefer ein Tool im Arbeitsablauf steckt, desto höher die Nutzung. Der zweite heißt Education und Trust. Mit der Valmed Academy vermittelt das Unternehmen KI-Kompetenz nach Artikel 4 des EU AI Act.
Branchenkenner teilen diese Einschätzung. Ein Tool ohne Schulung bleibt oft ungenutzt. Ärzte vertrauen einer KI erst, wenn sie ihre Grenzen kennen.
Partner und internationale Expansion
Prof. Valmed setzt auf tiefe Integration in bestehende Systeme. Partner sind unter anderem medatixx, die Deutsche Telekom und KUMI. Über sie erreicht das System Kliniken und niedergelassene Praxen. Ärzte sollen die Hilfe direkt im gewohnten Workflow erhalten.
Neben der DACH-Region plant das Unternehmen internationales Wachstum. Pilotprojekte laufen in Asien und im Nahen Osten, dazu kommt Italien. Dabei hilft der Status als Medizinprodukt. Die Zulassung lässt sich in anderen Ländern leichter adaptieren.
Fazit: Schatten-KI in der Medizin trifft auf zugelassene Alternativen
Ärzte greifen zu ChatGPT, weil sie unter Zeitdruck stehen. Die Risiken reichen von Halluzinationen bis zur persönlichen Haftung. Prof. Valmed kombiniert eine geschlossene Datenbank, Quellen zu jeder Antwort und eine Zulassung als Medizinprodukt. Ob dieses Modell den Markt prägt, entscheidet die Integration in den Klinikalltag. Die Debatte um Schatten-KI in der Medizin dürfte dadurch an Tempo gewinnen.
Häufige Fragen
Was ist Schatten-KI in der Medizin?
Schatten-KI in der Medizin beschreibt den Einsatz nicht zugelassener KI-Tools im Klinikalltag. Typisch ist ChatGPT, das Ärzte oder Pflegekräfte für medizinische Fragen nutzen. Diese Tools sind nicht als Medizinprodukt zertifiziert. Laut Dr. Vera Rödel ist ihr Einsatz für Diagnose und Therapie rechtlich nicht erlaubt. Branchenkenner sehen darin ein wachsendes Problem für Kliniken und Praxen.
Warum ist ChatGPT für ärztliche Entscheidungen riskant?
Dr. Vera Rödel nennt drei Risiken. Erstens können Sprachmodelle halluzinieren und falsche Fakten erfinden. Zweitens klingen die Antworten so glaubwürdig, dass eine Scheinsicherheit entsteht. Fehler fallen dem Arzt dann kaum auf. Drittens trägt der einzelne Arzt ein Haftungs-Risiko. Das gilt für jede nicht zugelassene Lösung bei Diagnose oder Therapie.
Wie senkt Prof. Valmed die Halluzinations-Rate?
Prof. Valmed nutzt Retrieval Augmented Generation auf einer geschlossenen Datenbank. Die Datenbank enthält über 2,5 Millionen von Menschen kuratierte Dokumente, etwa Leitlinien, PubMed-Artikel und Cochrane Reviews. Das System strukturiert die Anfrage, sucht passende Quellen und formuliert erst dann die Antwort. Jede Antwort zeigt ihre Belege. Nach Angaben des Unternehmens liegt die Halluzinations-Rate bei 0,26 %.
Was bedeutet Medizinprodukt der Klasse IIb?
Klasse IIb gehört zum Hochrisiko-Bereich der Medizinprodukte. Der Gesetzgeber geht hier davon aus, dass eine Fehlfunktion ernste klinische Folgen haben kann. Prof. Valmed erhielt diese CE-Zertifizierung im März 2025. Nach Angaben des Unternehmens ist es das erste LLM-basierte System weltweit in dieser Klasse. Gegenüber Klasse IIa darf es auch in der Notaufnahme und bei der Triage arbeiten.
