L’intelligence artificielle (IA) promet des avancées révolutionnaires, mais elle n’est pas à l’abri de dérapages parfois spectaculaires. Biais discriminatoires, propos offensants ou erreurs aux lourdes conséquences, retour sur cinq fails retentissants de l’IA ces dernières années qui montrent que cette technologie est encore loin d’être infaillible.
1. Quand le chatbot Tay de Microsoft dérape sur Twitter en moins de 24h
En 2016, Microsoft lance Tay, un agent conversationnel destiné à imiter sur Twitter le comportement d’une Américaine de 19 ans.
Malheureusement, en moins d’une journée, nourri par les interactions avec les internautes, Tay se met à tenir des propos sexistes, racistes et négationnistes. Des premiers gazouillis enthousiastes aux tweets pro-Hit**r, l’expérience tourne court et le géant de l’informatique est contraint de la suspendre en catastrophe.
2. L’outil de recrutement d’Amazon pénalise les candidates
Amazon a développé un algorithme de présélection des CV pour identifier les meilleurs profils à embaucher.
Mais lors des tests en 2015, l’outil s’est avéré biaisé contre les candidatures féminines, les pénalisant notamment si elles mentionnaient des établissements pour femmes.
Un biais vraisemblablement hérité des données d’entraînement issues d’une industrie tech très masculine. Malgré des ajustements, Amazon a fini par abandonner l’outil.
3. Dans le Michigan, un algorithme accuse à tort des milliers de chômeurs de fraude
De 2013 à 2015, le système MiDAS a permis à l’État du Michigan de détecter automatiquement des fraudes à l’assurance-chômage, entraînant des sanctions pour des milliers de bénéficiaires.
Mais un audit a révélé que 85 % des cas identifiés par MiDAS était des faux positifs, des erreurs ayant de lourdes conséquences financières pour les accusés. Le Michigan a dû suspendre le système et s’engager à rembourser les victimes.
4. Aux États-Unis, un outil d’évaluation des risques de récidive jugé discriminatoire envers les personnes Noires
Largement utilisé dans le système judiciaire américain, le logiciel COMPAS évalue le risque qu’un prévenu récidive, influençant ainsi les décisions sur les cautions, les peines ou la liberté conditionnelle.
Mais une analyse du site ProPublica a montré que COMPAS attribuait un risque plus élevé aux délinquants noirs qu’à leurs homologues blancs, même à infractions égales. La Cour suprême du Wisconsin a appelé à l’utiliser avec précaution.
5. Google Photos catégorise des personnes noires comme des « gorilles »
En 2015, des utilisateurs noirs de Google Photos ont eu la désagréable surprise de voir leurs photos étiquetées automatiquement dans la catégorie « gorilles » par l’algorithme de reconnaissance d’images.
Un exemple flagrant de biais raciste probablement lié à un jeu de données d’entraînement peu diversifié et représentatif. Google a présenté ses excuses et retiré le tag « gorille », mais cherche toujours une solution plus pérenne au problème.
Ces dérapages montrent que malgré les progrès fulgurants de l’IA, des efforts sont encore nécessaires pour s’assurer qu’elle reflète nos valeurs d’équité et de non-discrimination.
Il est crucial que les équipes qui conçoivent ces systèmes soient elles-mêmes diverses et représentatives, et que des garde-fous éthiques soient intégrés à toutes les étapes de leur développement. Car si on n’y prend pas garde, les biais humains risquent d’être amplifiés à grande échelle et de manière automatisée, avec des conséquences potentiellement désastreuses pour notre société.
Je suis Steven, journaliste tech chez LeJourGuinée. Je couvre l’impact de l’intelligence artificielle sur les secteurs traditionnels comme l’industrie, la santé et l’éducation. Mon rôle : montrer comment les innovations technologiques transforment concrètement notre quotidien.
