Une nouvelle étude confirme que les CAPTCHA actuelles ne pourront bientôt plus opposer de résistance aux armées de bots IA pilotés par des humains, et qu’il va falloir se poser la question de la pertinence de leur maintien.
Auteur / Autrice :
Les CAPTCHA, cette barrière virtuelle d’un autre temps
« Mettez cet animal dans le bon sens », « Trouvez la paire », « Déplacez la pièce jusqu’au bon emplacement sur l’image », « Entrez les chiffres et les lettres que vous voyez » : Tout le monde a déjà été confronté aux célèbres CAPTCHA sur internet. Des petits tests mis en place pour prouver que vous êtes bien un vrai humain, avant de vous laisser accéder à un service.
Moins connu sous son vrai nom « Completely Automated Public Turing test to tell Computers and Humans Apart », le CAPTCHA est une technologie qui vise à protéger un site Web contre la fraude et les abus que pourraient créer des armées de robots pilotés par des organisations malveillantes. Les énigmes visent à garantir que seuls des humains individuels peuvent accéder au site, et non pas une armées de bots.
En 2019, la première version du système a été remplacé par Google : les CAPTCHA ont été supplantés par un outil plus avancé appelé sobrement reCAPTCHA. Mais le responsable technique de l’équipe, Aaron Malenfant, avait déclaré à l’époque au média américain « The Verge » que cette fonctionnalité ne serait plus viable d’ici 10 ans car une technologie avancée permettrait au test de Turing de fonctionner en arrière-plan.
Sans surprise, sa prédiction s’est avérée juste. Les bots d’intelligence artificielle (IA) évoluent très rapidement et battent désormais la méthodologie reCAPTCHA utilisée pour confirmer la validité et la personnalité des utilisateurs de divers sites Web. Pour ce faire, ils imitent le fonctionnement du cerveau et de la vision humaine. Plus largement, les robots IA se mesurent aux humains en terme de résultat, et les battent même sur de nombreux sujets dans ces catégories (la vue notamment).
Une nouvelle étude montre que les robots IA battent CAPTCHA et les humains
Une nouvelle étude publié le mois dernier sur arXiv (et qui n’a pas encore été examiné par ses pairs) indique que des attaques automatisées via l’IA contre les systèmes CAPTCHA ont désormais des taux de réussites qui amènent à se poser la question de leur maintien.
L’étude, menée par un groupe de chercheurs dont trois sont issus de l’Université de Californie à Irvine (UCI), un de l’ETH Zurich, un du Lawrence Livermore National Laboratory et un de Microsoft, a montré que les robots IA sont désormais meilleurs que les humains pour décoder les CAPTCHA. Ils donnent même l’impression que les humains sont davantage des robots que les robots que les CAPTCHA tentent d’éloigner. Et ils le font même beaucoup plus rapidement.
Les chercheurs ont fait appel à 1400 personnes pour tester des barrières CAPTCHA utilisées sur 120 des 200 sites Web les plus populaires du monde. L’étude a été réalisée sur la plateforme de crowdsourcing d’Amazon MTurk et impliquait différents types de CAPTCHA, notamment l’identification de cheminées et de bateaux, la rotation d’images, la coche d’une case et la saisie de texte déformé. L’étude prend aussi en compte les différents biais possibles : âge, sexe, niveau d’étude, type de device utilisé (ordinateur, téléphone, tablette)…
Les participants ont dû résoudre chacun 10 CAPTCHA, pour un total de 14 000. Puis les chercheurs ont comparé les résultats humains avec ceux obtenus par des IA. Et si l’IA surpasse l’homme, on voit aussi que le gap est déjà important :
« La capacité des robots à passer le CAPTCHA va de 85 à 100%, la majorité étant supérieure à 96%. Cela dépasse considérablement la plage de précision humaine que nous avons observée, qui va de 50 à 85%. »
Des robots plus performants, mais aussi plus rapides :
« De plus, les temps de résolution des robots sont nettement inférieurs dans tous les cas, à l’exception de reCAPTCHA, où le temps de résolution humain de 18 secondes est presque similaire au temps de résolution des robots de 17,5 secondes. »
L’article note que dans un environnement contextualisé, le temps de résolution humain ralentit à 22 secondes, ce qui indique que dans ce contexte plus naturel, les robots IA sont plus rapides que les humains pour résoudre le puzzle.
Gene Tsudik, l’un des chercheurs, a expliqué au magazine New Scientist :
« Nous savons avec certitude qu’ils [les CAPTCHA] sont très mal-aimés. Nous n’avons pas eu besoin de faire une étude pour arriver à cette conclusion. Mais les gens ne savent pas si cet effort, cet effort mondial colossal investi chaque jour, chaque année, chaque mois pour résoudre les CAPTCHA [par les humains], en vaut réellement la peine. »
Cengiz Acartürk qui est « cognition and computer scientist » à l’Université de Jagiellonian à Cracovie, en Pologne, affirme qu’il y a un problème avec la conception de meilleurs CAPTCHA car ils ont un plafond natif de capacité :
« Si c’est trop difficile, les gens abandonnent. »
La question de savoir si les puzzles CAPTCHA valent la peine d’être ajoutés à un site Web peut en fin de compte dépendre de la question de savoir si l’étape suivante est si importante pour l’expérience utilisateur qu’un puzzle difficile ne détournera pas les visiteurs tout en offrant un niveau de sécurité approprié.
Retrouvez l’étude complète à ce lien : https://arxiv.org/pdf/2307.12108.pdf
