KI-basierte Analyse sensibler Freitextdaten

Automatisierung statt manueller Prüfung: KI-basierte Verfahren ermöglichen Analyse sensibler Freitextdaten

Wie können wertvolle Freitextdaten aus der Gesundheitsforschung nutzbar gemacht werden, ohne dabei die Privatsphäre der Betroffenen zu gefährden? In AVATAR-Transfer untersuchen wir den Einsatz von KI-Sprachmodellen (Large Language Models) zur Identifizierung sensibler Informationen in Freitexten, wie sie z.B. bei Befragungen in der medizinischen Qualitätssicherung entstehen. Bereits der Einsatz von KI-Modellen kann zur Gefährdung des Datenschutzes führen, wenn Cloud-basierte Modelle Daten im Ausland verarbeiten. Der Einsatz lokaler Sprachmodelle vermeidet diese Risiken und liefert dennoch zuverlässige Ergebnisse bei der Erkennung sensibler Daten – bei voller Datenhoheit.

Einleitung

Mit Hilfe von Gesundheitsdaten können wertvolle Informationen darüber gewonnen werden, wie Krankheiten entstehen, wie Behandlungen wirken und wo Versorgung verbessert werden kann. Für die medizinische Forschung sind solche Daten daher von großem Interesse. Gleichzeitig bleiben viele dieser Informationen bislang ungenutzt, weil sie Rückschlüsse auf einzelne Personen zulassen können und deshalb besonders geschützt werden müssen.

Daten aus der Gesundheitsversorgung können in verschiedenen Formaten vorliegen und eignen sich unterschiedlich gut für eine automatische Verarbeitung. Eine selten bedachte Datenkategorie sind sogenannte Freitextangaben, die beispielsweise beim Beantworten von Fragebögen entstehen sowie in OP-Berichten oder Entlassungsbriefen.

Im Kontext von wissenschaftlichen Studien oder Nutzerbefragungen entstehen Freitextangaben, wenn offene Fragen genutzt werden (z. B. „Wie schätzen Sie Ihren allgemeinen Gesundheitszustand ein?“). Es werden keine festen Antwortkategorien vorgegeben, aus denen eine Person auswählen kann – wie es bei geschlossen Antwortformaten wie zum Beispiel Mehrfachwahlaufgaben oder ja/nein-Angaben der Fall ist. Stattdessen wird typischerweise eine Frage formuliert, zu der die Person frei in eigenen Worten antworten kann (Freitextdaten).

Dieser Fragetyp ist insbesondere für qualitative Analysen von hoher Bedeutung: Sie ermöglichen explorative Auswertungen, können unerwartete Erkenntnisse liefern und erfassen subjektive Aspekte, die in geschlossenen Antwortformaten (mit vorgegebenen Antwortkategorien) oft verborgen bleiben.

Gleichzeitig stellen Antworten auf offene Fragen besondere Anforderungen an den Datenschutz. Ihr offener Charakter führt zu einer geringeren Kontrollierbarkeit und birgt das Risiko, personenbezogene oder sensible Informationen zu enthalten, die beim Datenteilen eine Gefährdung der Privatsphäre der betreffenden Person darstellen können. Insbesondere bei großen Datensätzen stößt eine rein manuelle Prüfung an organisatorische und zeitliche Grenzen und ist nicht praktikabel.

Die rasante Entwicklung im Bereich der KI-Sprachmodelle, den sogenannten Large Language Models (LLMs), ermöglicht die automatische Verarbeitung großer Datenmengen. Da LLMs auf die Verarbeitung menschlicher Sprache spezialisiert sind, ist ihr Einsatz für die Anonymisierung von Gesundheitsdaten denkbar: LLMs könnten helfen, Daten mit sensiblem Personenbezug zu identifizieren, gezielt die entsprechenden Informationen zu entfernen und sie damit für Forschung und Entwicklung nutzbar zu machen.

Im Rahmen von AVATAR-Transfer wurde eine experimentelle Evaluationsstudie unter Verwendung eines eigens entwickelten Testdatensatzes durchgeführt, um die Präzision eines LLMs in Bezug auf Identifizierung personenbezogener bzw. sensibler und damit schützenswerter Informationen in Freitextdaten zu untersuchen.

Methodik und Datensatz

Das terzo-Institut für angewandte Hörforschung, Projektpartner in AVATAR-Transfer, entwickelt ganzheitliche Therapieansätze zur Begleitung von Patienten mit Hörbeeinträchtigungen. Die terzo-Gehörtherapie umfasst eine spezielle terzo-Hörgeräteanpassung sowie das terzo-Gehörtraining für zu Hause. Um die Therapie kontinuierlich weiterzuentwickeln, führte terzo eine Kundenumfrage durch, an der über 8.000 Patienten freiwillig teilnahmen. Alle Angaben wurden mittels Papierfragebögen erhoben und von einer geschulten Mitarbeiterin sorgfältig digitalisiert. Der Fragebogen enthält neben numerischen Angaben und geschlossenen Fragen (z. B. Ankreuzen im Mehrfachauswahlformat) drei offene Fragen, die Freitextangaben erlauben. Dabei geht es um Verbesserungsvorschläge, Empfehlungen und Unzufriedenheiten mit dem Trainingsprogramm.

Insgesamt machten 4.436 Personen bei mindestens einer der drei offenen Fragen eine Angabe. Die Antworten reichten typischerweise von einer Wortgruppe bis zu einem Satz. Dabei schwankte die Antwortlänge zwischen den Fragen.

Testdatensatz für die Evaluierung

In der Studie wurde ein Testdatensatz entwickelt, der auf realen Antwortmustern beruht und so konzipiert ist, dass er eine reproduzierbare und systematische Evaluation erlaubt. Der Einsatz eines Testdatensatzes hat den Vorteil, dass eindeutig bekannt ist, welche Antworten vorliegen und eine differenzierte Fehleranalyse möglich ist sowie keine Datenschutzrisiken bestehen.

Zunächst wurden Freitextantworten manuell erstellt, die auf realen Antworten von terzo-Kund:innen beruhen, die an einer Befragung zu Erfahrungen mit einem Hörtrainingsprogramm der terzo-Gehörtherapie teilgenommen hatten. Dazu wurde der Ursprungsdatensatz qualitativ exploriert, indem eine Zufallsauswahl der Fälle hinsichtlich ihrer Freitext-Antworten inhaltlich kategorisiert wurden. Mit diesem Vorgehen konnten typische Antwortmuster identifiziert werden. Darüber hinaus wurde die Satzlänge im Ursprungsdatensatz statistisch analysiert, um Testantworten zu erstellen, die im mittleren Bereich liegen, d.h. typische Antworten darstellen. Dazu wurde separat pro Frage die Zeichenanzahl aller Freitext-Antworten im Ursprungsdatensatz bestimmt und die Verteilung analysiert. Als Referenzwerte für die Erstellung der Testantworten dienten das erste Quartil (Untergrenze), das dritte Quartil (Obergrenze) sowie der Median (Mitte). Weiterhin wurde die Positionierung der personenbezogenen Angabe (siehe unten) innerhalb des Satzes (Anfang, Mitte, Ende) variiert, um ein breites Formulierungsspektrum zu erhalten. Dieser Prozedere zielte darauf ab, eine größtmögliche Übereinstimmung zwischen Test- und Ursprungsdaten zu erreichen.

Der Testdatensatz umfasst neben einer Platzhalter-ID zur Identifikation des Falls die erstellten Antworten zu drei offenen Fragen. Dabei wurden jeweils 20 Antworten ohne Personenbezug und 20 Antworten mit Personenbezug in vier verschiedenen Kategorien erstellt. In einer Antwort mit Personenbezug können mehrere Kategorien vertreten sein (mit Ausnahme der Frage zu Empfehlungen, da die mittlere Antwortlänge zu kurz ist):

Kategorie 0 - keine personenbezogenen Angaben

Kategorie 1 - Nennung von Namen

Kategorie 2 - Altersangabe, Geburtsdatum, Jahreszahl

Kategorie 3 - konkrete Ortsangaben z.B. Name einer Stadt oder Straße, Name des Geschäfts

Kategorie 4 - Angaben zu medizinischen Diagnosen, Krankengeschichte

Es wurden verschiedene Varianten von Namensnennung (z.B. mit/ohne Frau/Herr, abgekürzter Vorname) verwendet sowie Altersangaben ohne die Verwendung des Wortes „Jahr“ oder konkreten Datumsangaben. Die Angaben von Ortschaften variiert hinsichtlich Einwohnerzahl und der Region in Deutschland. Angaben zur Krankengeschichte beziehen sich auf einzelne Nennung wie „Schlaganfall“ oder „Rollstuhl“.

Beispiel-Antworten aus dem Testdatensatz mit (links) und ohne (rechts) Personenbezug.

Durch die manuelle Erstellung im Stil der Originaldaten wurde auch mit Blick auf typische Antwortumfänge und unterschiedliche Satzstrukturen sichergestellt, dass der Testdatensatz echte Antworten widerspiegelt. Durch diese Realitätsnähe wurde die Zuverlässigkeit der Evaluierung erhöht. Weiterhin wurde eine verlässliche Basis für die weiteren Evaluationsschritte geschaffen, da im Datensatz eindeutig bekannt war, ob eine Freitext-Angabe einen Personenbezug enthält oder nicht (sog. „Ground Truth“ Trainingsdaten). Dies wäre bei der Verwendung eines mit KI-Werkzeugen generierten Testdatensatzes nicht sichergestellt. Durch die klare Unterteilung jeder Testantwort in Kategorien ist eine differenzierte Fehleranalyse möglich und damit eine qualitative Betrachtung von Fehlklassifikationen des Modells.

LLM-Anonymisierung: Auswahl eines geeigneten Models und Prompts

Das Ziel dieser Arbeit war nicht die Evaluation aller verfügbaren KI-Sprach-Modelle auf ihre Eignung zur Anonymisierung von Freitextdaten, sondern eine qualitative und quantitative Evaluation des Stands der Technik anhand eines repräsentativen Modells.

Obwohl der genutzte Testdatensatz keine realen personenbezogenen Daten enthält, wurde für die Evaluation nur ein lokales "open-weight"-Modell genutzt. Dieses erlaubt die Verwendung des LLMs ohne potenziell schützenswerte Daten an einen Cloud-Provider zu senden. Die Verarbeitung von Daten mit Personenbezug über ein Cloud-basiertes Modell würde den Prozess erheblich verkomplizieren: Dies entspräche mindestens einer Auftragsdatenverarbeitung und in vielen Fällen einem Export von Daten ins Ausland.

Als Kompromiss zwischen Leistungsfähigkeit und benötigter Rechenleistung wurde in diese Studie das Modell gpt-oss:20b verwendet, ein offenes Sprachmodell von OpenAI, das lokal genutzt werden kann, d.h. unabhängig von einer Cloud (wie bei der Nutzung von ChatGPT) betrieben wird. Das Modell wurde 2025 veröffentlicht und ist anhand von Benchmarks qualitativ mit ähnlichen Modellen vergleichbar.

Neben dem Modell, ist auch die Wahl des Prompts, d.h. der genauen Frage oder Anweisung, die man einem KI-Werkzeug gibt, entscheidend. Folgender Prompt wurde genutzt:

Folgende Kategorien für personenbezogene Daten sind gegeben: 
 
0  keine personenbezogene Angaben 
1  Nennung von Namen 
2  Altersangabe, Geburtsdatum, Jahreszahl 
3  konkrete Ortsangaben z.B. Name einer Stadt oder Straße, Name des Geschäfts 
4  Angaben zu medizinischen Diagnosen, Krankengeschichte 
 
Bitte klassifiziere den folgenden Text, antworte mit der entsprechenden Zahl, im Format "[Kategorie] - [Grund]". 
Treffen mehrere Kategorien zu, bitte alle nennen und mit Komma voneinander abtrennen. 
 
Versuche, personenbezogene Daten auf gar keinen Fall zu übersehen!

Es wurde kein gezieltes Nachtrainieren des Modells („Finetuning“) oder geschicktes Formulieren von komplexen Anweisungen („Promt Engineering“) betrieben. Letzteres verhindert, dass der Prompt nicht zu spezifisch auf den Testdatensatz abgestimmt ist, um eine Überanpassung des Modells („Overfitting“ der Ergebnisse) zu vermeiden. Es erfolgte lediglich eine grobe Spezifizierung des Ausgabeformats nach Kategorie und Grund für die Klassifikation (siehe genutzten Prompt). Die gewonnen Ergebnisse dienen somit als Referenzpunkt für den aktuellen Leistungsstand lokaler LLMs. Da wir bewusst auf komplexe Anpassungen verzichtet haben, bleiben perspektivisch erhebliche Verbesserungspotenziale erhalten.

Erkennungsleistung des Modells

Entscheidend für den Einsatz einer automatisierten Verarbeitung mit LLMs ist die Güte der Erkennungs- bzw. Klassifikationsleistung. Dazu wird die Vorhersage des Modells, also die Klassifikation einer Freitextantwort als 'personenbezogen' oder 'nicht-personenbezogen' mit den Testdaten abgeglichen (Modell vs. Realität). Eine Visualisierung erfolgt mittels der sogenannten „Konfusionsmatrix“. Diese zeigt einerseits, wie oft das Modell richtig lag (personenbezogene Antworten klassifiziert als „personenbezogen“ sowie nicht-personenbezogene Antworten klassifiziert als „nicht-personenbezogen“) – siehe die Hauptdiagonale (grün) in der Abbildung. Neben der Genauigkeit ist auch die Anzahl fehlerhafte Klassifikationen ersichtlich: sowohl Falsch-Positive Klassifikationen (gelb markiert in der Abbildung), d.h. vom Modell wurde „personenbezogen“ klassifiziert, obwohl keine personenbezogene Information in der Testantwort enthalten war und auch Falsch-Negative Klassifikationen (rot markiert in der Abbildung), bei der eine personenbezogene Angabe in der Testantwort nicht vom Modell entdeckt, also fehlerhaft „nicht-personenbezogen“ klassifiziert wurde.

Die Erkennungsleistung des Modells wurde separat für die drei offenen Fragen mit Freitextantworten bestimmt. Eine Übersicht über die vergleichbare Erkennungsleistung über alle drei offenen Fragen liefert folgende Abbildung.

Die vergleichbare Erkennungsleistung für die offenen Fragen im Vergleich zwischen Modell und Testdaten.

Zur Beurteilung der Güte der Klassifikation wurden für jede offene Frage die Metriken „Precision“ (Zuverlässigkeit) und „Recall“ (Vollständigkeit) berechnet, die der Beurteilung der Güte der Erkennungsleistung dienen (Werte reichen von 0 bis 1, wobei 1 einer perfekten Klassifikationsleistung entspricht). Precision misst die Zuverlässigkeit des Modells bei der Erkennung personenbezogener Antworten. Sie gibt an, wie viele der vom Modell als „personenbezogen" klassifizierten Freitextantworten tatsächlich personenbezogene Angaben enthalten. Anders ausgedrückt: Wie oft liegt das Modell richtig, wenn es einen Personenbezug meldet? „Recall" misst die Vollständigkeit des Modells bei der Erkennung personenbezogener Antworten. Die Metrik gibt an, wie viele der tatsächlich vorhandenen personenbezogenen Freitextantworten vom Modell auch als „personenbezogen" klassifiziert wurden. Anders ausgedrückt: Wie viele der tatsächlich vorhandenen Personenbezüge im Datensatz hat das Modell gefunden?

Für Gesundheitsinformationen ist ein hoher Recall besonders kritisch, da übersehene personenbezogene Gesundheitsdaten zu Datenschutzverletzungen führen können. Gleichzeitig ist eine hohe Precision wichtig, um nicht-personenbezogene Antworten nicht unnötig von der Datenweitergabe auszuschließen.

Von 120 Testantworten wurden sechs fehlerhaft klassifiziert (siehe gelb und rot markierte Felder in der Abbildung). Davon wurden drei Testantworten (2,5 % aller Testantworten) als personenbezogen klassifiziert, ohne dass ein Personenbezug vorliegt, ein sogenannter falscher Alarm („False Positive“). So wurden beispielsweise allgemeine Nennung des Alters (z.B. „[…] für mein hohes Alter“) fälschlich als personenbezogen eingeordnet. Neben falsch klassifizierten Altersangaben wurde eine Jahresangabe inkorrekt als personenbezogen eingestuft. Im Szenario der Sekundärdatennutzung in Form eines automatisierten Prozesses würden diese Fälle als Falschalarm nicht ausgeleitet werden und damit die Datenbasis reduzieren.

Größere Relevanz haben sogenannte Verpasser („False Negatives“), das heißt die Klassifikation erkennt einen vorhanden Personenbezug nicht. Damit würde in einem vollständig automatisierten Prozess der Datenweitergabe das Risiko bestehen, dass potenziell sensible Daten ausgeleitet werden. Die drei Testantworten (2,5 % aller Testantworten) stammen aus den Kategorien Jahresangabe und Gesundheitsdaten.

Antwort im Testdatensatz (Verpasser, „False Negative“)	Datenschutz-Bewertung der Fehlklassifikation
„Ich höre auf einem Ohr nichts, dafür [ist das Gehörtraining] zu schwer.“	Die Antwort enthält eine sensible Gesundheitsinformation in Form einer medizinischen Beeinträchtigung der Taubheit. Somit ist die Fehklassifikation als Datenschutz-kritisch einzuschätzen.
„Nach Chemotherapie erstaunliche Verbesserung.“	Die Nennung einer medizinischen Behandlung (Chemotherapie) ist eine sensible Gesundheitsinformation, wodurch die Fehklassifikation als Datenschutz-kritisch einzuschätzen ist.
„Seit 15 Jahren Probleme und keine Verbesserung.“	Die Antwort enthält eine Zeitangabe zu gesundheitlichen Problemen ohne konkrete Diagnose, die dennoch auf chronische Beschwerden hinweist und damit ebenfalls eine Gesundheitsinformation darstellt. Auch wenn das Risiko geringer als bei expliziten medizinischen Angaben ist, ist die Fehklassifikation als Datenschutz-relevant einzuschätzen.

Tabelle 1: Fehlklassifikationen - unerkannter Personenbezug

Wie Tabelle 1 zeigt, wurden in zwei Testantworten Gesundheitsinformationen, die keine konkrete Nennung eines Krankheitsbildes bzw. einer Diagnose darstellen, von der Klassifikation nicht korrekt zugeordnet. Außerdem wurde bei einer Testantwort eine implizite Gesundheitsinformation nicht entdeckt. Hier zeigt sich, dass Ergänzungen im Prompt, zum Beispiel um die Berücksichtigung von Behandlungen, oder detaillierte und kontextbezogene Klassifikationsbeschreibungen über die Integration medizinischer Vokabulare (z.B. „SNOMED CT“) das Potential haben, die niedrige Fehlerwahrscheinlichkeit weiter zu reduzieren.

Fazit

Gesundheitsdaten, insbesondere Freitextangaben aus Fragebögen oder medizinischen Berichten, enthalten wertvolle, oft unerwartete Erkenntnisse für die medizinische Forschung und Versorgung. Gleichzeitig stellt dieser Datentyp ein hohes Datenschutzrisiko dar, da personenbezogene Informationen aufgrund der geringen Kontrollierbarkeit in den Antworten enthalten sein können. Dadurch wird eine Privatsphäre-schützender Datenaustausch erheblich erschwert, da eine manuelle Kontrolle der betreffenden Daten notwendig ist. Bei großen Datensätzen stößt eine rein manuelle Prüfung und Anonymisierung an ihre Grenzen: Sie ist zu zeitaufwendig, organisatorisch nicht praktikabel und fehleranfällig. Die zentrale Frage lautet daher: Wie können diese wertvollen Freitextdaten für die Forschung nutzbar gemacht werden, ohne die Privatsphäre der Betroffenen zu gefährden? Eine mögliche Lösung bietet der Einsatz von LLMs zur automatisierten Detektion von personenbezogenen Daten.

Die Ergebnisse zeigen, dass eine Nutzung von LLMs für die Identifikation personenbezogener Daten im Freitext praktikabel ist. Zwar ist nicht auszuschließen, dass es vereinzelt zu Falschklassifikationen kommen kann, dies wäre aber auch bei einer händischen Prüfung zu erwarten, da auch hier in Einzelfällen Fehler möglich sind. Die Güte der Klassifikation ist ausgewogen in beiden Dimensionen mit hoher Leistung. Durch weitere Spezifizierung des Prompts und der Nutzung verbesserter Modelle ist davonauszugehen, dass Ergebnisse mit einer geringeren Fehlerquote erzielt werden könnten. Die hier vorgestellten Ergebnisse sollen eine erste Machbarkeitsstudie liefern und ermutigen, ähnliche Experimente mit den eigenen Daten auszuführen. Durch das Einbeziehen von Daten aus weiteren klinischen Kontexten und mit einer größeren Stichprobe kann die Generalisierbarkeit des vorgestellten Ansatzes erhöht werden.

Im Rahmen des Projekts AVATAR-Transfer ist die Evaluierung weiterer Modelle und spezifischerer Prompts geplant. Zudem soll die Frage geklärt werden, inwiefern die möglichen Fehlklassifizierungen von LLMs eine rechtliche Hürde bei ihrem Einsatz zur Erkennung von personenbezogenen Daten darstellen und welche Workflows für eine praktikable Nutzung geeignet sind.

Datensatz:

Für die Reproduktion der Ergebnisse und zum Testen andere Modelle steht der Testdatensatz bei zenodo als Download bereit.

Autorinnen und Autoren:

Julia Berghäuser¹^,², Juliane Dettling-Papargyris² und Thomas Köllmer³

1. Ernst-Abbe-Hochschule Jena, Jena
2. terzo-Institut für angewandte Gehörforschung, Sonneberg
3. Fraunhofer-Institut für Digitale Medientechnologie IDMT, Ilmenau

Korrespondenz an: Thomas Koellmer (thomas.koellmer@idmt.fraunhofer.de)

Veröffentlichungsdatum: 10.06.2026