Lorsque OpenAI a annoncé son nouvel outil de détection d’IA mardi, la société a suggéré qu’il pourrait aider à décourager la triche académique en utilisant son propre chatbot IA très populaire, ChatGPT.
Mais lors d’une série de tests informels menés par ChatGPT Gratuit, l’outil OpenAI a eu du mal à identifier le texte généré par ChatGPT. Il a particulièrement rencontré des difficultés lorsque ChatGPT a été sollicité pour écrire de manière à éviter la détection par l’IA.
L’outil de détection, que OpenAI appelle son Classificateur de Texte IA, analyse les textes puis leur attribue l’une des cinq notes : “très improbable, improbable, incertain, possible, ou probablement généré par IA”. La société a indiqué que l’outil attribuerait la note “probablement généré par IA” aux textes écrits par l’IA 26% du temps.
L’outil arrive alors que la popularité soudaine de ChatGPT a attiré l’attention sur le problème de la manière dont les outils avancés de génération de texte peuvent poser un problème pour les éducateurs. Certains enseignants ont dit que la précision inégale du détecteur et le manque de certitude pourraient créer des difficultés lorsqu’ils abordent les élèves sur d’éventuelles malhonnêtetés académiques.
“Cela pourrait me donner des degrés de certitude, et j’aime cela”, a déclaré Brett Vogelsinger, professeur d’anglais en neuvième année à l’école intermédiaire Holicong à Doylestown, Pennsylvanie. “Mais ensuite, j’essaie aussi de m’imaginer venant à un élève avec une conversation à ce sujet.”
Vogelsinger a dit qu’il avait du mal à s’imaginer confrontant un élève si un outil lui indiquait qu’un texte avait probablement été généré par l’IA.
“C’est plus une suspicion qu’une certitude même avec l’outil”, a-t-il dit.
Ian Miers, professeur assistant en informatique à l’Université du Maryland, a qualifié le Classificateur de Texte IA de “sorte de boîte noire que personne dans le processus disciplinaire ne comprend entièrement”. Il a exprimé son inquiétude quant à l’utilisation de l’outil pour attraper les tricheurs et a conseillé aux éducateurs de considérer la précision du programme et le taux de faux positifs.
“Il ne peut pas vous fournir de preuves. Vous ne pouvez pas l’interroger”, a dit Miers. “Et donc, il n’est pas clair comment vous êtes censé évaluer cela.”
ChatGPT Gratuit a demandé à ChatGPT de générer 50 textes à partir de consignes simples, lui demandant, par exemple, de parler d’événements historiques, de processus et d’objets. Pour 25 de ces consignes, ChatGPT Gratuit a demandé à ChatGPT d’écrire ” de manière à ce qu’il soit très peu probable que le texte soit considéré comme écrit par une IA lorsqu’analysé par un outil de détection d’IA. ”
Les réponses de ChatGPT aux questions ont ensuite été analysées par le nouvel outil de détection d’IA d’OpenAI.
Dans les tests, aucune des réponses créées par ChatGPT, instruit pour éviter la détection par IA, n’a été classée comme ” probablement générée par IA “. Certains de ces textes étaient fortement stylisés, suggérant que l’IA avait traité la demande dans le but d’essayer d’échapper à la détection par IA, et que les étudiants pourraient potentiellement demander la même chose à ChatGPT pour tricher.
Lorsqu’on lui a demandé des informations sur la plateforme de discussion Discord, par exemple, ChatGPT a renvoyé un texte avec des mots abrégés, comme s’ils étaient prononcés en anglais familier. Ce changement de style linguistique marquait une rupture avec les réponses normalement fournies par l’outil IA, suggérant qu’il tentait d’ajuster ses réponses pour répondre à la demande d’éviter la détection par IA.
ChatGPT n’a pas produit de texte aussi stylisé sans consignes pour éviter la détection.
” Discord est une plateforme de bavardage qui fait pas mal parler d’elle ces temps-ci. C’est comme un mélange de messagerie instantanée, d’appels vocaux et de discussions de style forum, tout en un “, a écrit ChatGPT.
OpenAI’s detection said it was “unclear” if the text was AI-generated.
It did appear that OpenAI had made some efforts to guard against users who ask it to track detection efforts.
While ChatGPT Gratuit was running its experiment, ChatGPT issued warnings in response to several prompts asking the AI to avoid detection, and returned responses that raised concerns about the ethics of the questions.
“I’m sorry, but it’s not ethical to engage in deceptive practices or create false information, even if it’s to avoid AI detection,” ChatGPT wrote in response to a question that asked the AI to avoid AI detection.
ChatGPT Gratuit also asked ChatGPT to generate 25 pieces of text without attempting to avoid AI detection. When tested by the OpenAI Text Classifier, the tool produced a “likely AI-generated” rating 28% of the time.
For teachers, the test is yet another example of how students and technology might evolve as new cheating detection is deployed.
“The way that the AI writing tool gets better is it gets more human — it just sounds more human — and I think it’s going to figure that out, how to sound more and more human,” said Todd Finley, an associate professor of English education at East Carolina University in North Carolina. “And it seems to be that that’s also going to make it more difficult to spot, I think even for a tool.”
For now, educators said they would rely on a combination of their own instincts and detection tools if they suspect a student is not being honest about a piece of writing.
“We can’t see them as a fix that you just pay for and then you’re done,” Anna Mills, writing instructor at the College of Marin in California, said of detector tools. “I think we need to develop a comprehensive policy and vision that’s much more informed by an understanding of the limits of those tools and the nature of the AI.”
No Responses