Comment tester un outil de caviardage avant de lui faire confiance

Testez un outil de caviardage sur des documents fictifs qui ressemblent aux vôtres, avec chaque réponse notée avant de commencer. Comptez d'abord ce qu'il a oublié, car une donnée oubliée reste lisible, puis ce qu'il a masqué à tort. Enfin, ouvrez le fichier exporté lui-même, pas l'écran, et regardez ce qu'il contient encore.

Comment construire un jeu de test ?

Prenez les types de documents que vous traitez vraiment : contrats, fiches de paie, courriers, scans, formulaires. Écrivez-en 10 à 20 versions fictives, avec des personnes inventées comme Claire Exemple et Marc Exemple. Ne partez pas d'un vrai fichier en changeant les noms, car les autres détails restent réels.

Le jeu doit comprendre :

• Les formats de votre pays pour les numéros d'identification, IBAN, téléphones et adresses.
• Un scan, et un PDF aux champs de formulaire remplis.
• Un fichier Word avec commentaires et modifications suivies.
• Des en-têtes, pieds de page et tableaux où figurent des noms.
• Des pièges à laisser visibles : une rue portant un nom de personne, une ville qui est aussi un prénom, une personnalité publique, un code produit.

Utilisez des numéros dont les chiffres de contrôle sont valides. Tout IBAN, la plupart des numéros de carte et beaucoup de numéros d'identification portent des chiffres de contrôle calculés à partir des autres chiffres. Un outil peut ignorer un numéro qui échoue au contrôle. Des chiffres au hasard donneraient une image fausse.

Comment écrire le corrigé ?

Écrivez le corrigé, la liste des bonnes réponses, avant de lancer l'outil, jamais après. Listez chaque élément qu'une personne attentive masquerait, document par document, avec sa catégorie. Rédigé après coup, le corrigé excuse les oublis de l'outil sans que vous le remarquiez.

Tranchez d'abord les cas gris et notez chaque règle. Questions typiques :

• Une boîte partagée comme paie@ est-elle personnelle ?
• Toutes les dates sont-elles personnelles, ou seulement les dates de naissance ?
• Un intitulé de poste identifie-t-il quelqu'un dans une équipe de cinq ?
• Le nom d'une personnalité publique reste-t-il visible ?

Comment compter les résultats ?

Traitez chaque document avec vos vrais réglages, et gardez les fichiers exportés. Un élément n'est trouvé que s'il est entièrement couvert. Un IBAN à moitié masqué fuit encore : il est « partiellement masqué ».

Ici, l'outil a entièrement masqué 86 éléments sur 100. Son rappel est de 86 % : la part de ce qui devait être caché et qui l'a été. Il a posé 97 masques : 93 nécessaires (86 complets, 7 partiels) et 4 à tort. Sa précision est d'environ 96 % : la part des masques qui étaient nécessaires.

Comment lire une promesse de performance ?

Les éditeurs annoncent le rappel, la précision, ou un mélange des deux. Le Machine Learning Crash Course de Google conseille de privilégier le rappel quand un oubli coûte plus cher qu'une fausse alerte. En caviardage, c'est le cas. Un oubli laisse fuir un nom. Une fausse alerte cache un mot sans danger.

Une moyenne peut cacher une catégorie faible. Revenez au tableau : 86 % au total, mais la moitié seulement des coordonnées bancaires est entièrement masquée. Demandez les résultats par catégorie, avec le nombre d'oublis.

ONYRI Sanitize publie son propre jeu de test : 48 documents fictifs en 6 langues, issus de 11 pays. Il est fourni avec le corrigé, les règles de notation et les résultats par catégorie, sous licence CC BY 4.0. Vous pouvez passer les mêmes fichiers dans n'importe quel outil, le nôtre compris. La limite : nous avons écrit ce jeu et réglé nos détecteurs dessus. Construisez donc aussi le vôtre.

Comment contrôler le fichier exporté, et non l'écran ?

Un aperçu montre des pixels, et le fichier peut contenir davantage. Le commissaire à la protection des données de Basse-Saxe demande de vérifier soigneusement le document final. L'ICO, l'autorité britannique de protection des données, avertit qu'un PDF recouvert de rectangles noirs, collé dans le Bloc-notes, peut révéler le texte caviardé. Son guide sur l'anonymisation décrit un « intrus motivé » : une personne assez compétente qui cherche à identifier des gens. Pensez comme elle.

• Tout sélectionner, copier, coller dans un éditeur de texte simple, et chercher chaque valeur masquée.
• Chercher dans le fichier un nom de famille seul, puis les quatre derniers chiffres d'un numéro.
• Ouvrir les propriétés, les commentaires, les modifications suivies et les pièces jointes.
• Lire le nom du fichier. Il peut contenir un nom.

Les scans demandent un contrôle de plus. Selon sa documentation, OCRmyPDF ajoute des « couches » de texte aux images des PDF, pour qu'on puisse y faire des recherches. Si un scan exporté garde une telle couche, les mots masqués peuvent encore s'y trouver. Le contrôle d'un seul fichier avant l'envoi a son propre guide sur ce site.

Quels cas difficiles ajouter ?

Un outil à l'aise avec du texte propre peut échouer en pratique. Ajoutez les cas de vos documents.

• Un scan de travers ou granuleux, une photo prise au téléphone.
• De l'écriture manuscrite, comme une note signée en marge.
• Un nom dans un logo ou dans un bloc de signature.
• Un tableau, où les valeurs sont dans des cellules.
• Un numéro coupé sur deux lignes, comme un IBAN.
• Des noms à trait d'union ou accentués, comme Anne-Sophie Lefèvre.
• Des titres en capitales, comme CLAIRE EXEMPLE.

Comment décider, et que conserver ?

Fixez des critères de réussite par catégorie avant de regarder les résultats. Par exemple : tous les numéros d'identification et toutes les coordonnées bancaires entièrement masqués, et une limite de masquages à tort ailleurs. Le NIST, l'institut américain des normes et technologies, a publié en 2023 un guide sur la désidentification des données gouvernementales. Il explique que les agences peuvent adopter une norme à niveaux de performance mesurables. L'idée vaut pour les documents.

Aucun score ne remplace une personne. L'ICO conseille de relire les caviardages, ou un échantillon, par exemple par un collègue. Gardez ce contrôle, quel que soit le score. Conservez un dossier. Il contient :

• L'outil, sa version et la date.
• Le jeu de test, le corrigé et le tableau de résultats.
• Les critères de réussite, la décision et la personne qui l'a prise.

Ce dossier est votre preuve. Le RGPD exige que le responsable du traitement puisse démontrer sa conformité (article 5, paragraphe 2) et réexamine ses mesures si nécessaire (article 24). Relancez donc le jeu de test après chaque mise à jour.

Questions fréquentes

Sources et références