Un étudiant accusé à tort de tricherie par l'IA par le nouvel outil de détection de Turnitin

Par Miles Klee

Louise Stivers a toujours fait vérifier ses devoirs par un logiciel.

Étudiant de 21 ans en sciences politiques de Santa Barbara, sur le point d'obtenir son diplôme à l'Université de Californie à Davis, avec l'intention d'aller à la faculté de droit, Stivers a grandi à une époque où les étudiants sont censés soumettre des devoirs écrits via des outils anti-plagiat tels que Turnitin. Les éducateurs comptent sur ces services pour évaluer le texte et signaler tout ce qui semble être copié à partir de sources existantes, et elle ne s'est jamais heurtée à l'un d'eux. Mais ces jours-ci, les administrations scolaires sont également à la recherche de missions réalisées avec l'IA générative. C'est ainsi que Stivers a eu des ennuis – même si elle n'avait pas triché.

"J'étais comme en train de paniquer", a-t-elle déclaré à Rolling Stone.

Quelques heures après avoir téléchargé un article pour l'un de ses cours en avril (il s'agissait d'un bref résumant une affaire de la Cour suprême), Stivers a reçu un e-mail de son professeur indiquant qu'une partie de celui-ci avait été signalée par Turnitin comme écrite par l'IA. Déjà, son cas avait été transmis au Bureau du soutien aux étudiants et des affaires judiciaires de l'université, qui gère la discipline en cas d'inconduite académique. Stivers était déconcerté et stressé, mais immédiatement après, il a dû répondre à un quiz pour une classe différente. Puis elle a commencé à rassembler des preuves qu'elle avait écrit elle-même le dossier.

"C'était définitivement très démotivant", a déclaré Stivers à propos de l'accusation, qui a dégénéré en un cauchemar bureaucratique de plus de deux semaines alors qu'elle cherchait à blanchir son nom. On s'attendait à ce qu'elle analyse les politiques de tricherie denses de l'école et monte une défense formelle de son travail, avec peu de soutien institutionnel et tout en faisant face aux pressions ordinaires de la dernière année. Elle appelle cela une "énorme perte de temps" qui aurait pu être "passée à faire ses devoirs et à étudier pour les mi-parcours". À cause de cette concentration partagée, dit-elle, ses notes ont commencé à baisser.

Stivers n'est pas le seul à faire face à une telle épreuve alors que les étudiants, les enseignants et les établissements d'enseignement sont aux prises avec le pouvoir révolutionnaire des robots linguistiques artificiellement intelligents qui imitent de manière convaincante l'écriture humaine. Le mois dernier, un professeur du Texas a utilisé ChatGPT à tort pour essayer d'évaluer si les étudiants avaient terminé un devoir à l'aide de ce logiciel. Il a affirmé avoir écrit tous les essais qu'il avait rédigés – il a donc temporairement retenu les notes finales de toute une classe.

En fait, Stivers a appris qu'elle n'était même pas la première étudiante de l'UC Davis à faire face à une fausse allégation de tricherie de l'IA. Quelques jours avant qu'elle n'apprenne qu'elle serait soumise à un examen d'intégrité académique, USA Today a publié un article sur William Quarterman, un senior et une majeure en histoire au collège. Un professeur avait passé ses réponses à l'examen via une détection d'IA appelée GPTZero, qui a renvoyé un résultat positif. Le professeur a donné à Quarterman une note d'échec et l'a renvoyé au même bureau des affaires étudiantes qui statuerait sur le cas de Stivers. Stivers a rapidement appris le sort de sa camarade de classe. "Son père a pu l'aider", dit-elle, et les deux à son tour lui ont donné "beaucoup de conseils et lui ont en quelque sorte expliqué comment la politique de l'école fonctionnait à ce sujet également".

Même ainsi, les enjeux semblaient intimidants. Le premier e-mail "très long" que Stivers a reçu expliquait quand elle aurait la possibilité de raconter sa version de l'histoire lors d'une conversation Zoom en tête-à-tête avec un administrateur, mais manquait de détails sur le processus de révision, ou exactement quoi elle devait se préparer. Il a également déclaré qu'elle pourrait avoir un avocat présent pour l'appel, ce qui l'a alarmée. Dans l'ensemble, elle se sentait "dans le noir" sur ce qu'il fallait faire, sans parler de la confusion quant aux conséquences possibles de cette évaluation.

"J'étais déjà très épuisé au cours des deux derniers trimestres", a déclaré Stivers. "Et lorsque vous postulez à la faculté de droit, il y a beaucoup de pression pour maintenir votre GPA. Ouais, ce n'est tout simplement pas amusant d'avoir à comprendre les politiques d'intégrité académique compliquées de l'école tout en faisant des cours." En fait, c'est devenu quelque chose comme des devoirs supplémentaires, très stressants.

Lorsqu'elle a parlé au modérateur de la faculté évaluant son cas, Stivers a appris que l'outil de détection d'IA de Turnitin était en fait tout nouveau et que l'UC Davis avait obtenu un "accès anticipé" au logiciel. Turnitin annonce que ce produit est précis à 98 %, mais dans ses documents reconnaît « un petit risque de faux positifs ». L'entreprise souligne qu'elle n'est pas responsable de la détermination de l'inconduite. Au lieu de cela, ils "fournissent des données aux éducateurs pour prendre une décision éclairée".

Dans une déclaration à Rolling Stone, Annie Chechitelli, chef de produit chez Turnitin, a encouragé Stivers à prendre contact avec les commentaires sur le logiciel, affirmant que "ces informations nous sont très utiles alors que nous continuons à affiner et à développer nos capacités de détection". Chichitelli a ajouté: "Dans tous les cas, les professeurs et les enseignants décident si ce qu'ils voient dans les informations qui leur sont présentées justifie une attention supplémentaire."

En fin de compte, Stivers a pu prouver qu'elle n'enfreignait pas les règles de l'université, après avoir partagé "des instructions détaillées sur la façon d'ouvrir Google Docs et de consulter l'historique" avec le département judiciaire. Ces horodatages démontraient qu'elle avait écrit l'article elle-même.

Cependant, Stivers souligne que l'allégation de tricherie est quelque chose qu'elle devra signaler elle-même aux facultés de droit au cours du processus de candidature. Les barreaux d'État, dit-elle, sont connus pour poser des questions similaires sur l'histoire universitaire, ce qui signifie que ce malentendu pourrait l'occulter pendant des années. En effet, US News & World Report conseille aux candidats aux facultés de droit et aux barreaux d'État de "pécher par excès de divulgation" et de signaler de manière proactive toute "procédure disciplinaire dans leur université" en supposant que celles-ci peuvent apparaître lors de vérifications des antécédents. Et, dit-elle, la décision en sa faveur a été rendue sans excuses ni reconnaissance de l'erreur de son professeur ou du collège lui-même.

Dans une déclaration à Rolling Stone, le Bureau du soutien aux étudiants et des affaires judiciaires de l'UC Davis a déclaré que la loi sur les droits à l'éducation et la confidentialité de la famille les empêchait de commenter les cas individuels des étudiants. Cependant, le département a confirmé les mises à jour récentes de ses politiques pour faire face à l'évolution du problème de l'intelligence artificielle, et il "prévoit une campagne d'automne pour accroître la sensibilisation à l'IA et à la conduite académique, encourager la conversation entre les étudiants et les instructeurs et fournir un guide aux étudiants". En ce qui concerne le nouvel outil de détection Turnitin AI, le bureau "continue d'évaluer son utilité sans s'appuyer sur lui ni sur aucune autre méthode", en s'appuyant sur "une variété d'outils, ainsi que sur notre propre analyse du travail de l'étudiant", pour prendre des décisions en cas d'inconduite.

"De toute évidence, les gens vont l'utiliser, les étudiants vont l'utiliser, les professeurs vont l'utiliser", dit Stivers à propos d'outils comme ChatGPT, qui, selon elle, a rendu les éducateurs "paranoïaques" à propos de la triche de l'IA. "Mais je pense qu'ils doivent juste être plus prudents dans leur approche." Stivers dit que le plagiat de Turnitin et la détection de l'IA divergent clairement dans la fonctionnalité, bien que les professeurs puissent considérer les résultats comme tout aussi fiables. Dans sa déclaration, Chechitelli a noté que l'outil de détection d'IA fournit des résultats avec un "score indicateur" montrant le pourcentage de texte non original dans un document, similaire à ce que les éducateurs obtiennent de leur outil de détection de plagiat. Cependant, du côté de l'IA, les scores sont "basés sur des statistiques plutôt que sur une comparaison avec des documents sources".

Vincent Conitzer, directeur du Foundations of Cooperative AI Lab à l'Université Carnegie Mellon et responsable de l'engagement technique de l'IA à l'Institut d'éthique en IA de l'Université d'Oxford, décompose cette différence cruciale.

"Pour le plagiat, il existe des outils automatisés pour le détecter, et il peut y avoir des zones grises où il n'est pas tout à fait clair si l'étudiant a vraiment triché", dit-il. "Mais dans ce cas, il est facile pour les instructeurs et les autres membres du personnel universitaire d'évaluer directement les preuves" en faisant correspondre la langue d'un étudiant à la source à partir de laquelle il a copié. En revanche, dit-il, "si un outil prétend simplement qu'un fragment de texte est généré par l'IA, mais sans aucune preuve interprétable par les instructeurs ou le personnel universitaire, ils devraient avoir un très haut degré de confiance dans l'outil lui-même. d'accuser l'étudiant." Il s'interroge sur la confiance qu'il faut accorder à des chiffres tels que le taux de précision de "98 %" de Turnitin, en particulier lorsque l'on considère les tests internes par rapport à l'application en classe.

"Et la vraie vie peut être encore plus désordonnée", dit Conitzer, décrivant des scénarios où les étudiants "écrivent eux-mêmes le brouillon initial mais demandent ensuite à ChatGPT de trouver des moyens d'améliorer l'écriture, ou inversement demandent à ChatGPT d'écrire un premier brouillon puis de le réécrire eux-mêmes, ou une combinaison des deux." De tels inévitables, à son avis, illustrent la nécessité de politiques académiques claires et exécutoires. "Généralement, cela risque de continuer à être une course aux armements", conclut-il.

Et, alors que les professeurs et les écoles prennent de plus en plus au sérieux la répression des tricheurs d'IA (tout en surestimant peut-être l'efficacité des logiciels de détection), de plus en plus d'étudiants comme Stivers seront pris entre deux feux, avec leur vie scolaire bouleversée. Même le fait de sa propre innocence n'était pas suffisant pour la rassurer en attendant une décision disciplinaire.

"Je savais que je n'avais pas triché", déclare Stivers. "Mais en même temps, c'était comme:" Eh bien, je ne sais pas à 100% s'ils vont vraiment me croire. ""

Mise à jour,7 juin, 12h50 :Cette histoire a été mise à jour pour inclure les commentaires du Bureau de soutien aux étudiants et des affaires judiciaires de l'UC Davis.