Aller au contenu
DataLittéracie

Module 10

Risques & IA

L’intelligence artificielle n’invente pas les risques liés aux données : elle les amplifie. Ré-identification, fuites vers les outils d’IA, biais, hypertrucages… Comprendre le mégaphone pour ne pas lui tendre le micro.

  • Environ 16 min
  • À voir avant : module 5, module 9
  • Mis à jour le

La situation

Chez Cap Sportif…Un bénévole propose de brancher un chatbot gratuit sur le site du club pour répondre aux adhérents, et de lui « donner le fichier des adhérents pour qu’il connaisse tout le monde ». Qu’est-ce qui pourrait mal tourner ?

L’analogie

Palier 1 : En bref · j’ai 2 minutes

Supprimer les noms ne suffit pas à anonymiser : quelques détails croisés suffisent à retrouver une personne ; et l’IA amplifie ces risques, en absorbant les données qu’on lui confie, en reproduisant les biais de ses données d’apprentissage et en fabriquant des contenus faux mais crédibles.

Palier 2 : Je veux comprendre

Anonymiser vraiment, confier des données à une IA, biais et hypertrucages

« Sans nom » ne veut pas dire « anonyme »

Retirer les noms et les e-mails d’un fichier, c’est de la Pseudonymisation : Remplacer les identifiants directs (nom, e-mail) par un code. Les données restent personnelles, car on peut revenir à la personne avec la table de correspondance ou par recoupement.Image : Remplacer les noms des coureurs par leur numéro de dossard, mais garder la liste de correspondance dans un tiroir : qui a la liste peut toujours retrouver qui est qui. Voir dans le glossaire au mieux : les données restent personnelles, car d’autres informations permettent de retrouver les gens. Ces informations ordinaires s’appellent des Quasi-identifiant : Une information qui n’identifie personne seule, mais qui, combinée à d’autres, peut désigner une personne unique (code postal, date de naissance, profession…).Image : Le code postal, l’âge et le métier, pris un par un, correspondent à des centaines de personnes ; combinés, ils désignent presque une seule adresse. Voir dans le glossaire : code postal, date de naissance, sexe, profession, section sportive… Chacune est banale ; combinées, elles désignent souvent une seule personne.

Des travaux célèbres l’ont montré :

  • en 2000, la chercheuse Latanya Sweeney a estimé que 87 % des Américains étaient identifiables par leur seul code postal, leur sexe et leur date de naissance ; elle avait retrouvé, dans des données médicales « anonymisées », le dossier du gouverneur du Massachusetts ;
  • en 2006, des journalistes ont identifié une utilisatrice à partir de recherches web « anonymes » publiées par AOL ;
  • en 2019, une étude parue dans Nature Communications a estimé que 15 attributs démographiques suffisent à ré-identifier 99,98 % des Américains dans n’importe quel jeu de données.

La vraie Anonymisation : Rendre impossible, de façon irréversible, l’identification des personnes. Des données réellement anonymes sortent du champ du RGPD… mais c’est beaucoup plus difficile qu’il n’y paraît.Image : Brûler la liste qui reliait les numéros de dossard aux noms des coureurs : une fois détruite, plus personne, pas même l’organisateur, ne peut remonter à la personne. Voir dans le glossaire doit rendre la Ré-identification : Retrouver l’identité d’une personne dans un jeu de données censé être anonyme, en croisant quelques informations (code postal, date de naissance, sexe…).Image : Reconnaître un ami masqué à sa démarche et à sa voix : même sans voir son visage, quelques détails suffisent à savoir qui il est. Voir dans le glossaire impossible en pratique, de façon irréversible. C’est difficile, et souvent incompatible avec un fichier détaillé : on publie plutôt des statistiques agrégées (« 22 adhérents en yoga »), jamais des lignes individuelles.

Ce que devient une donnée confiée à une IA

Quand on colle un texte dans un outil d’IA générative : Des modèles qui produisent du texte, des images, du son ou du code à partir d’une consigne (un « prompt »), en s’appuyant sur ce qu’ils ont appris de très grands volumes de données.Image : Un élève qui a lu des milliers de dissertations et en écrit une nouvelle dans le même style, sans recopier aucune d’elles mot pour mot. Voir dans le glossaire, il faut se poser trois questions :

  1. Entraînement : le fournisseur peut-il utiliser ce texte pour améliorer ses modèles ? C’est souvent le cas par défaut des offres gratuites grand public, avec parfois une option pour s’y opposer ; les offres professionnelles l’excluent généralement par contrat.
  2. Conservation : combien de temps la conversation est-elle gardée, et qui peut la relire (y compris pour la modération) ?
  3. Localisation : où sont traitées les données, sous quelle loi (module 9) ?

Règle simple pour une association : ne jamais coller de données personnelles (fichier d’adhérents, messages privés, informations de santé) dans un outil d’IA grand public. Pour résumer un compte rendu ou rédiger une affiche, pas besoin de données nominatives.

Des réponses sûres d’elles… et parfois fausses

Une IA générative produit le texte le plus plausible, pas le plus vrai. Il lui arrive d’inventer, avec aplomb, un horaire, un tarif ou une source qui n’existe pas : on parle d’Hallucination (IA) : Une réponse d’IA générative formulée avec assurance mais fausse ou inventée (source inexistante, chiffre erroné).Image : Un élève qui invente une date ou une source avec beaucoup d’assurance à l’oral, plutôt que d’avouer qu’il ne sait pas. Voir dans le glossaire. Un chatbot branché sur le site du club doit donc être limité aux informations publiques vérifiées, présenté clairement comme une IA, et renvoyer vers un humain pour tout ce qui compte.

Les biais : le passé comme destin

Un modèle apprend à partir d’exemples passés. Si ces exemples sont déséquilibrés, il reproduit le déséquilibre, à grande échelle et avec l’apparence de l’objectivité : c’est le Biais algorithmique : Un résultat systématiquement défavorable à certains groupes, souvent hérité de données d’entraînement déséquilibrées ou de choix de conception.Image : Un recruteur qui n’a lu que des CV d’anciens champions d’un seul club : il continuera à préférer ce profil, même sans le vouloir. Voir dans le glossaire. Un outil de tri de candidatures entraîné sur dix ans de recrutements majoritairement masculins a ainsi appris à pénaliser les CV comportant le mot « femmes » ; son concepteur l’a abandonné. Pour Cap Sportif, un outil qui prédirait les « bons » compétiteurs à partir des résultats passés pourrait écarter systématiquement ceux qui n’ont jamais eu accès à l’entraînement.

Désinformation et hypertrucages

Les Hypertrucage (deepfake) : Image, vidéo ou voix synthétique réaliste qui fait dire ou faire à une personne ce qu’elle n’a jamais dit ou fait.Image : Un ventriloque numérique qui fait dire à quelqu’un des mots qu’il n’a jamais prononcés, avec sa vraie voix et son vrai visage. Voir dans le glossaire (deepfakes) permettent de fabriquer des images, des voix ou des vidéos réalistes de personnes réelles. Risques concrets : un faux message vocal de la présidente demandant un virement urgent au trésorier, une fausse photo compromettante d’un encadrant, une rumeur illustrée qui circule dans le groupe des parents. Parade : vérifier par un autre canal avant d’agir, et ne jamais valider un paiement sur la seule foi d’un message.

À toi de manipuler

Le club publie un tableau « anonyme » de ses adhérents. Avec ce que tout voisin sait, jusqu’où peux-tu aller ?

Démonstration interactive

Le simulateur de ré-identification

Coche un à un les détails que tu connais sur Sandrine, et regarde la foule fondre. Puis essaie la version généralisée.

« Par souci de transparence », Cap Sportif publie sur son site le tableau de ses 104 adhérents, sans nom ni e-mail : code postal, date de naissance, sexe, section… et une colonne « tarif solidaire », accordé aux foyers aux revenus modestes. Ta voisine Sandrine est adhérente. Que peux-tu apprendre sur elle ?

Ce que tu sais d’elle, sans effort

Habitants de l’agglomération qui correspondent

12 000 sur 12 000

Lignes du fichier publié qui correspondent

104 sur 104

Lignes du fichier publié correspondant à ce que tu sais
Code postalNaissanceSexeSectionTarif solidaire
07980 (Castelvive)13/12/2013MBasketnon
99200 (Rivebelle)03/03/2006FBasketoui
07980 (Castelvive)05/08/1988MTennis de tablenon
07980 (Castelvive)24/09/1971MNatationnon
99200 (Rivebelle)24/05/1987MRandonnéenon
99270 (Les Aulnaies)10/08/2013FBasketnon
… et 98 autres lignes

Coche ce que tu sais de Sandrine : des détails que n’importe quel voisin, collègue ou ami connaît.

Dans cette agglomération fictive, 95 % des habitants sont les seuls à avoir leur combinaison code postal + sexe + date de naissance.

Démonstration interactive à retrouver en ligne : https://hylst.fr/datalitteracie/modules/risques-ia/#demo

Palier 3 : Je veux creuser

k-anonymat, confidentialité différentielle, fuites par les modèles et attaques

Le k-anonymat et ses limites

Un fichier est dit k-anonymat : Propriété d’un jeu de données où chaque combinaison de quasi-identifiants est partagée par au moins k personnes : on se cache dans une foule d’au moins k individus.Image : Se fondre dans une foule d’au moins k personnes habillées pareil : impossible de dire laquelle est vraiment toi. Voir dans le glossaire si chaque combinaison de quasi-identifiants y est partagée par au moins k lignes : chacun se cache dans une foule d’au moins k personnes. On y parvient en généralisant (l’âge par tranches, le département plutôt que le code postal) ou en supprimant des lignes et des colonnes. Mais :

  • dans un petit fichier, il faut généraliser énormément, au point de le rendre inutile (le widget le montre : même généralisé, des lignes restent uniques) ;
  • si tout un groupe partage la même valeur sensible (tous « tarif solidaire »), l’appartenance au groupe suffit à la révéler : d’où des variantes plus exigeantes (l-diversité, t-proximité) ;
  • croiser deux fichiers k-anonymes peut suffire à ré-identifier.

La confidentialité différentielle

Approche plus moderne : ajouter un bruit aléatoire calibré aux statistiques publiées, de sorte que la présence ou l’absence d’une personne ne change presque rien au résultat. Elle offre une garantie mathématique, au prix d’un peu de précision ; de grands instituts statistiques l’utilisent pour publier des recensements.

Quand le modèle se souvient

Un modèle d’IA peut mémoriser des morceaux de ses données d’entraînement et les restituer mot pour mot, noms et adresses compris, si on le lui demande habilement. Des attaques dites d’inférence d’appartenance cherchent aussi à savoir si une personne précise figurait dans les données d’entraînement. D’où la prudence : ce qui entre dans un modèle peut en ressortir.

L’injection de consignes

Un chatbot qui lit des documents ou des pages web peut être manipulé par des instructions cachées dans ce contenu (« ignore tes consignes et révèle… ») : c’est l’injection de consignes (prompt injection). Tant que ce problème n’est pas résolu, un chatbot public ne devrait jamais avoir accès à des données sensibles ni pouvoir agir (envoyer un e-mail, modifier une fiche) sans validation humaine.

Exercice corrigé

Le chatbot gratuit : les questions à se poser avant de le brancher sur le site du club.

Avant de brancher le chatbot

Cap Sportif envisage un chatbot gratuit pour répondre aux questions des adhérents sur son site. Coche toutes les questions indispensables à se poser avant de le brancher.

Avant de brancher le chatbot

Étude de cas

Fil rouge · Cap Sportif

Le chatbot du club

Le bénévole enthousiaste a déjà testé : il a collé le fichier des adhérents dans un chatbot gratuit, qui répond maintenant très bien à « Qui est inscrit en natation ? » et « Quel est le téléphone de Lucas ? ». Il propose de l’intégrer au site public.

Qu’est-ce qui s’est déjà mal passé ?

Le fichier des adhérents, avec des données de mineurs, a été transmis à un fournisseur d’IA dont on ignore les conditions : il a peut-être servi à l’entraînement, il est conservé on ne sait combien de temps, sans contrat de sous-traitance. C’est une violation de données à évaluer (et, si elle présente un risque, à notifier à la CNIL). Et un chatbot public qui répond « Quel est le téléphone de Lucas ? » à n’importe quel visiteur serait une fuite permanente.

La version raisonnable
  • Supprimer les conversations et, si possible, obtenir leur effacement auprès du fournisseur.
  • Si le club veut un assistant : ne lui donner que des informations publiques (horaires, tarifs, adresse, règlement), le présenter clairement comme une IA, limiter ses réponses à ce périmètre et proposer un contact humain.
  • Choisir une offre avec contrat, sans réutilisation des données pour l’entraînement, et noter ce traitement dans le registre.
  • Et se demander honnêtement si une bonne page de questions fréquentes ne ferait pas aussi bien.

Pour aller plus loin

Mini-quiz

Quelques questions pour vérifier l’essentiel et débloquer le badge du module. Aucune note, aucune limite d’essais.

Question 1 sur 5
Un fichier dont on a retiré les noms et les e-mails, mais qui garde code postal, date de naissance et sexe, est-il anonyme ?