Il est mathématiquement impossible de détecter de manière fiable du texte généré par l’IA

New Scientist est un magazine scientifique britannique qui explore les dernières avancées de la science et de la technologie. L’auteur de l’article, Alex Wilkins, est un journaliste scientifique qui écrit sur les technologies de pointe.

Dans cet article intitulé « Reliably detecting AI-generated text is mathematically impossible » et publié le 31 mars 2023, l’auteur rapporte une nouvelle preuve mathématique selon laquelle il serait impossible de détecter de manière fiable les textes générés par l’intelligence artificielle (IA × IA
Une intelligence artificielle (IA) est un système informatique capable de simuler certaines capacités cognitives humaines, telles que la perception, le raisonnement, l'apprentissage et la prise(...)
). Les auteurs de la recherche, dirigée par Soheil Feizi de l’Université du Maryland, ont utilisé des outils de paraphrase basés sur l’IA pour reformuler des textes générés par l’IA, avec et sans filigrane, et les ont soumis à plusieurs détecteurs de texte. Ils ont constaté que la plupart des détecteurs étaient réduits à une précision proche de 50%. Les chercheurs ont également utilisé une preuve mathématique pour montrer que plus les modèles d’IA deviennent similaires à la parole humaine, plus les détecteurs auront de difficulté à les identifier.

L’article indique que la facilité avec laquelle les modèles d’IA peuvent générer et paraphraser du langage a conduit à des problèmes tels que la tricherie sur les essais et les examens, ainsi que des campagnes massives de désinformation. Les méthodes proposées pour lutter contre ces utilisations malveillantes incluent l’incorporation d’un filigrane caché dans les sorties d’IA ou l’analyse de texte pour repérer des motifs que seule l’IA pourrait produire.

L’auteur suggère que plutôt que de passer beaucoup de temps à développer des détecteurs d’IA, nous devrions essayer de comprendre les conséquences des modèles génératifs d’IA et comment les utiliser comme des AI bénéfiques pour nous. La recherche de Feizi et de son équipe remet en question l’efficacité de ces méthodes, car les outils de paraphrase d’IA réduisent considérablement l’efficacité des filigranes, et les sorties des modèles de langage deviennent de plus en plus similaires à la parole humaine au fur et à mesure de leur amélioration.

En fin de compte, les auteurs de la recherche concluent que nous ne pourrons jamais dire de manière fiable si un texte est généré par un humain ou par une IA, et que nous devrions apprendre à vivre avec cette réalité.
[efn_note]https://www.newscientist.com/article/2366824-reliably-detecting-ai-generated-text-is-mathematically-impossible/[/efn_note]