Kann eine KI wiederholen, was Sie eingetippt haben?
Ja, und es ist dokumentiert: Große Modelle speichern einen Teil ihrer Daten und können Fragmente wortwörtlich wiedergeben — personenbezogene Daten inklusive. Was die Forschung tatsächlich zeigt.
Ja, es ist möglich — und die Forschung dokumentiert es. Große Sprachmodelle „speichern“ einen Teil ihrer Trainingsdaten und können sie unter bestimmten Bedingungen wortwörtlich wiedergeben, einschließlich personenbezogener Informationen. Der Effekt wurde zuerst bei GPT-2 gemessen und dann bei Produktionsmodellen wie ChatGPT bestätigt. Die praktische Schlussfolgerung ist einfach: Was Sie in eine KI einfügen, „geht“ nicht zwangsläufig „in der Masse unter“ — der beste Schutz besteht darin, es gar nicht erst im Klartext zu senden.
Was „speichern“ bedeutet
Ein Modell wird darauf trainiert, die Fortsetzung eines Textes vorherzusagen. Bei manchen Sequenzen — insbesondere solchen, die mehrfach vorkommen — lernt es nicht nur einen Stil: Es behält die exakte Passage. 2021 zeigte ein Team unter der Leitung von Nicholas Carlini, dass man GPT-2 abfragen konnte, um es dazu zu bringen, Hunderte wortwörtliche Sequenzen aus seinen Trainingsdaten wiederzugeben, darunter Namen, E-Mail-Adressen, Telefonnummern und Kennungen. Diese Daten wurden nie „bereitgestellt“: Sie tauchten wieder auf, weil das Modell sie gespeichert hatte.
Die Speicherung nimmt mit der Modellgröße zu
Eine Folgestudie (Carlini et al., ICLR 2023) quantifizierte den Effekt und stellte drei klare Zusammenhänge fest: Die Speicherung nimmt mit der Modellgröße zu, mit der Häufigkeit, mit der ein Beispiel in den Daten dupliziert wird, und mit der Länge des Kontexts, der zum Anstoßen des Modells verwendet wird. Die Schlussfolgerung der Autoren: Die Speicherung ist weiter verbreitet als bisher angenommen und verschlimmert sich tendenziell, je größer die Modelle werden — sofern keine aktiven Gegenmaßnahmen ergriffen werden.
Und bei ChatGPT, nicht nur bei alten Modellen?
Ja. Ende 2023 beschrieb ein Team, zu dem dieselben Forscher gehörten, einen „Divergenzangriff“, der ein Produktionsmodell — ChatGPT eingeschlossen — dazu bringt, aus seinem Chatbot-Verhalten auszubrechen und Trainingsdaten auszugeben, und zwar etwa 150-mal so häufig wie üblich. Der Zweck dieser Forschung ist nicht, beim Angriff auf ein Modell zu helfen, sondern eine unangenehme Tatsache zu beweisen: Alignment und das „Assistenten“-Format beseitigen die Speicherung nicht, sie verbergen sie nur.
Zu den Arten von Inhalten, die diese Studien aus einem Modell wieder auftauchen sahen:
- personenbezogene Informationen (Namen, E-Mail-Adressen, Telefonnummern);
- Code-Ausschnitte und technische Kennungen;
- ganze Textpassagen, wortwörtlich aus dem Training kopiert.
| Studie | Getestetes Modell | Was sie zeigt |
|---|---|---|
| Carlini et al., 2021 | GPT-2 | Wortwörtliche Extraktion von Trainingssequenzen, darunter Namen, E-Mail-Adressen und Telefonnummern |
| Carlini et al., 2023 (ICLR) | GPT-Neo-Familie usw. | Die Speicherung nimmt mit Modellgröße, Duplizierung und Kontextlänge zu |
| Nasr et al., 2023 | ChatGPT (Produktion) | Ein „Divergenzangriff“ lässt Trainingsdaten ~150× häufiger wieder auftauchen |
Was das für Sie ändert
Die Prompts von heute sind nicht der Trainingsdatensatz von gestern — aber das Prinzip gilt für alles, was gespeichert und später zur Verbesserung eines Modells wiederverwendet werden kann. Wenn sensible Daten in ein System gelangen, sollten Sie davon ausgehen, dass sie eines Tages auf eine Weise wieder herauskommen können, die Sie nicht kontrollieren. Daher eine Regel des gesunden Menschenverstands:
- 1Behandeln Sie jeden Prompt als potenziell gespeichert, nicht als flüchtig.
- 2Fügen Sie niemals im Klartext ein, was Sie nicht wieder auftauchen sehen möchten: Identitäten, Kennungen, Schlüssel, Geheimnisse.
- 3Entfernen Sie die sensiblen Daten vor dem Senden — anstatt zu hoffen, dass sie sich „verdünnen“.
Genau das leistet ONYRI Sanitize: die sensiblen Daten in Ihrem Text erkennen und vor dem Senden durch umkehrbare Token ersetzen, dann die Antwort in Ihrem Browser wiederherstellen. Das Modell sieht die echte Information nie — es kann sie also weder speichern noch wiedergeben. Die Erkennung und das Token↔Wert-Mapping bleiben in Ihrem Browser.
Häufig gestellte Fragen
- Kann eine KI meine Daten wirklich wortwörtlich wiedergeben?
- Begutachtete Arbeiten haben es bei GPT-2 und dann bei Produktionsmodellen wie ChatGPT gezeigt: Ein Modell kann gespeicherte Fragmente wortwörtlich wiedergeben, einschließlich personenbezogener Informationen. Das Risiko steigt mit der Modellgröße und damit, wie häufig die Daten dupliziert sind.
- Werden meine Prompts zum Training des Modells verwendet?
- Das hängt vom Anbieter und Ihren Einstellungen ab und kann sich ändern. Am sichersten ist es, sich nicht darauf zu verlassen: Behandeln Sie jeden Prompt als potenziell gespeichert und halten Sie sensible Daten im Klartext daraus fern.
- Wie verhindere ich, dass sensible Daten gespeichert werden?
- Indem Sie sie nicht senden. Eine Anonymisierungs-Engine erkennt die sensiblen Daten und ersetzt sie vor dem Senden durch ein umkehrbares Token; das Modell erhält nur neutralisierten Text, den es nicht an Ihrer Stelle speichern kann.
Quellen & Referenzen
- Carlini et al., „Extracting Training Data from Large Language Models“ (USENIX Security 2021) — arXiv / USENIX Security
- Carlini et al., „Quantifying Memorization Across Neural Language Models“ (ICLR 2023) — arXiv / ICLR
- Nasr et al., „Scalable Extraction of Training Data from (Production) Language Models“ (2023) — arXiv
Behalten Sie Ihre sensiblen Daten in Ihrem Browser
ONYRI Sanitize erkennt und maskiert Ihre sensiblen Daten, bevor sie die KI erreichen, und stellt anschließend die Antwort wieder her — vom Namen bis zum API-Schlüssel.