So testen Sie Schwärzungssoftware, bevor Sie ihr vertrauen

Testen Sie Schwärzungssoftware mit fiktiven Dokumenten, die Ihren echten ähneln, und halten Sie alle richtigen Antworten vorher fest. Zählen Sie zuerst, was sie übersehen hat, denn ein übersehener Wert bleibt lesbar, und danach, was sie zu Unrecht geschwärzt hat. Öffnen Sie zuletzt die exportierte Datei selbst, nicht den Bildschirm, und sehen Sie nach, was sie noch enthält.

Wie bauen Sie einen Testsatz auf?

Nehmen Sie die Dokumentarten, die Sie wirklich bearbeiten: Verträge, Gehaltsabrechnungen, Briefe, Scans, Formulare. Schreiben Sie 10 bis 20 fiktive Fassungen mit erfundenen Personen wie Erika Mustermann und Max Mustermann. Nehmen Sie keine echte Datei und tauschen Sie nur die Namen aus, denn die übrigen Angaben bleiben echt.

Im Testsatz sollten vorkommen:

• Die Formate Ihres Landes für Ausweisnummern, IBAN, Telefonnummern und Adressen.
• Ein Scan und ein PDF mit ausgefüllten Formularfeldern.
• Eine Word-Datei mit Kommentaren und nachverfolgten Änderungen.
• Kopf- und Fußzeilen sowie Tabellen, in denen Namen stehen.
• Fallen, die sichtbar bleiben müssen: eine nach einer Person benannte Straße, eine Stadt, die auch ein Vorname ist, eine Person des öffentlichen Lebens, ein Produktcode.

Verwenden Sie Nummern mit gültigen Prüfziffern. Jede IBAN, die meisten Kartennummern und viele Ausweisnummern tragen Prüfziffern, die aus den übrigen Ziffern berechnet werden. Ein Programm kann eine Nummer überspringen, die die Prüfung nicht besteht. Zufällige Ziffern würden daher ein falsches Bild liefern.

Wie schreiben Sie die Musterlösung?

Schreiben Sie die Musterlösung, bevor Sie das Programm starten, nie danach. Listen Sie jedes Element auf, das eine sorgfältige Person schwärzen würde, Dokument für Dokument und mit seiner Kategorie. Wer sie nachträglich schreibt, entschuldigt die Fehler des Programms, ohne es zu merken.

Klären Sie zuerst die Grenzfälle und halten Sie jede Regel schriftlich fest. Typische Fragen:

• Ist ein Sammelpostfach wie gehalt@ personenbezogen?
• Sind alle Datumsangaben personenbezogen oder nur Geburtsdaten?
• Identifiziert eine Berufsbezeichnung jemanden in einem Team aus fünf Personen?
• Bleibt der Name einer Person des öffentlichen Lebens sichtbar?

Wie zählen Sie die Ergebnisse?

Lassen Sie jedes Dokument mit den Einstellungen laufen, die Sie wirklich nutzen würden, und speichern Sie die exportierten Dateien. Ein Element gilt nur als gefunden, wenn es vollständig verdeckt ist. Eine halb geschwärzte IBAN verrät noch immer etwas. Sie gilt als „teilweise geschwärzt“.

Hier hat das Programm 86 von 100 Elementen vollständig geschwärzt. Das ergibt eine Trefferquote (Recall) von 86 %: den Anteil dessen, was verborgen werden musste und auch verborgen wurde. Es hat 97 Schwärzungen gesetzt: 93 nötige (86 vollständige, 7 unvollständige) und 4 unnötige. Das ergibt eine Präzision von etwa 96 %: den Anteil der Schwärzungen, die nötig waren.

Wie lesen Sie eine Genauigkeitsangabe?

Anbieter nennen die Trefferquote, die Präzision oder eine Mischung aus beiden. Googles Machine-Learning-Crashkurs rät zur Trefferquote, wenn ein Übersehen mehr kostet als ein Fehlalarm. Beim Schwärzen ist das so. Ein übersehener Wert verrät einen Namen. Ein Fehlalarm verdeckt ein harmloses Wort.

Ein Durchschnitt kann außerdem eine schwache Kategorie verbergen. Sehen Sie noch einmal in die Tabelle: 86 % insgesamt, aber nur die Hälfte der Bankdaten wurde vollständig geschwärzt. Fragen Sie nach Ergebnissen je Kategorie, mit der Zahl der übersehenen Elemente.

ONYRI Sanitize veröffentlicht einen eigenen Testsatz: 48 fiktive Dokumente in 6 Sprachen aus 11 Ländern, mit Musterlösung, Bewertungsregeln und Ergebnissen je Kategorie, unter der Lizenz CC BY 4.0. Sie können dieselben Dateien durch jedes Programm laufen lassen, auch durch unseres. Die Grenze: Wir haben diesen Testsatz selbst geschrieben und unsere Detektoren darauf abgestimmt. Bauen Sie deshalb auch Ihren eigenen.

Wie prüfen Sie die exportierte Datei statt des Bildschirms?

Eine Vorschau zeigt Pixel, und die Datei kann mehr enthalten. Der Landesbeauftragte für den Datenschutz Niedersachsen rät, das fertige Dokument sorgfältig zu prüfen. Die britische Datenschutzbehörde ICO warnt, dass ein Empfänger geschwärzten Text offenlegen kann, indem er ein PDF mit schwarzen Rechtecken in den Editor einfügt. Ihre Leitlinie zur Anonymisierung beschreibt einen „motivated intruder“: eine einigermaßen versierte Person, die Menschen identifizieren will. Denken Sie wie sie.

• Alles markieren, kopieren, in einen einfachen Texteditor einfügen und nach jedem geschwärzten Wert suchen.
• In der Datei nach einem Nachnamen allein suchen, dann nach den letzten vier Ziffern einer Nummer.
• Eigenschaften, Kommentare, nachverfolgte Änderungen und Anhänge öffnen.
• Den Dateinamen lesen. Er kann einen Namen enthalten.

Scans verlangen einen weiteren Blick. Laut ihrer Dokumentation fügt OCRmyPDF Bildern in PDFs Textebenen hinzu, damit man sie durchsuchen kann. Behält ein exportierter Scan eine solche Ebene, stehen die geschwärzten Wörter womöglich noch darin. Die Prüfung einer einzelnen Datei vor dem Versand hat auf dieser Website einen eigenen Ratgeber.

Welche schwierigen Fälle gehören dazu?

Ein Programm, das mit sauberem Text zurechtkommt, kann im echten Alltag scheitern. Nehmen Sie die Fälle auf, die in Ihren Dokumenten vorkommen.

• Ein schiefer oder körniger Scan und ein Handyfoto.
• Handschrift, etwa eine unterschriebene Randnotiz.
• Ein Name in einem Logo oder in einem Unterschriftenblock.
• Eine Tabelle, in der die Werte in Zellen stehen.
• Eine Nummer, die über zwei Zeilen umbrochen ist, etwa eine IBAN.
• Namen mit Bindestrich oder Umlaut, etwa Anne-Sophie Müller-Mustermann.
• Überschriften in Großbuchstaben, etwa ERIKA MUSTERMANN.

Wie entscheiden Sie, und was bewahren Sie auf?

Legen Sie Abnahmekriterien je Kategorie fest, bevor Sie die Ergebnisse ansehen. Zum Beispiel: alle Ausweisnummern und Bankdaten vollständig geschwärzt, dazu eine Obergrenze für zu Unrecht gesetzte Schwärzungen. Das US-Institut NIST sagt in seinem Leitfaden von 2023 zur De-Identifizierung staatlicher Datensätze, Behörden könnten einen Standard mit messbaren Leistungsniveaus einführen. Die Idee gilt auch für Dokumente.

Keine Punktzahl ersetzt einen Menschen. Die ICO rät, Schwärzungen oder eine Stichprobe davon prüfen zu lassen, zum Beispiel von einer Kollegin oder einem Kollegen. Behalten Sie diese Kontrolle bei, egal wie gut das Programm abgeschnitten hat. Legen Sie eine Akte an. Darin stehen:

• Das Programm, seine Version und das Datum.
• Der Testsatz, die Musterlösung und die Ergebnistabelle.
• Die Abnahmekriterien, die Entscheidung und wer sie getroffen hat.

Diese Akte ist Ihr Nachweis. Die DSGVO verlangt, dass der Verantwortliche die Einhaltung nachweisen kann (Art. 5 Abs. 2) und seine Maßnahmen bei Bedarf überprüft (Art. 24). Lassen Sie den Testsatz deshalb nach jeder Aktualisierung neu laufen.

Häufige Fragen

Quellen und Verweise