True Crime TikTok : les victimes d'IA Deepfakes sont un cauchemar éveillé

Par Ej Dickson

"Grand-mère m'a enfermé dans un four à 230 degrés alors que j'avais à peine 21 mois", explique le bébé chérubin aux yeux bleus géants et au bandeau à fleurs dans la vidéo TikTok. Le bébé, qui parle d'une voix adorablement enfantine sur la mélodie plaintive de "Love Is Gone" de Dylan Mathew, s'identifie comme étant Rody Marie Floyd, une petite fille qui vivait avec sa mère et sa grand-mère dans le Mississippi. Elle raconte qu'un jour, elle avait faim et n'arrêtait pas de pleurer, ce qui a incité sa grand-mère à la mettre au four, entraînant sa mort. "S'il vous plaît, suivez-moi pour que plus de gens connaissent ma véritable histoire", dit le bébé à la fin de la vidéo.

Le bébé dans la vidéo n'est, bien sûr, pas réel : c'est une création générée par l'IA publiée sur @truestorynow, un compte avec près de 50 000 abonnés qui publie des vidéos de victimes de crimes réelles racontant leurs histoires. L'horrible histoire qu'elle raconte est vraie, quoique jusqu'à un certain point. Le nom du bébé n'était pas Rody Marie, mais Royalty Marie, et elle a été retrouvée poignardée à mort et brûlée dans un four chez sa grand-mère dans le Mississippi en 2018; la grand-mère, Carolyn Jones, 48 ​​ans, a été accusée de meurtre au premier degré plus tôt cette année. Mais Royalty avait 20 mois lorsqu'elle est décédée, pas 21, et contrairement au bébé de la vidéo TikTok, elle était noire, pas blanche.

De telles inexactitudes sont normales dans le monde grotesque de TikTok, une véritable victime du crime de l'IA, un sous-genre du fandom massif du vrai crime, qui utilise l'intelligence artificielle pour ressusciter essentiellement les victimes de meurtre, dont beaucoup sont de jeunes enfants. Les vidéos, dont certaines ont des millions de vues, impliquent une victime parlant à la première personne des détails horribles de sa mort ; la plupart d'entre eux n'ont pas d'avertissement de contenu au préalable.

"Ils sont assez étranges et effrayants", déclare Paul Bleakley, professeur adjoint en justice pénale à l'Université de New Haven. "Ils semblent conçus pour déclencher de fortes réactions émotionnelles, car c'est le moyen le plus sûr d'obtenir des clics et des likes. C'est inconfortable à regarder, mais je pense que cela pourrait être le but."

De nombreux comptes ont une clause de non-responsabilité indiquant que la vidéo n'utilise pas de vraies photos de victimes, comme un moyen de "respecter la famille", comme Nostalgia Narratives, un compte qui publie des vidéos d'IA de véritables victimes de crimes avec 175 000 abonnés, le met en les légendes des vidéos. Le récit ne raconte pas seulement les histoires de célèbres victimes de meurtres d'enfants comme Elisa Izquierdo, une fillette de six ans qui a été assassinée par sa mère violente en 1995, et Star Hobson, un enfant d'un an assassiné par la petite amie de sa mère en 2020. , mais aussi des adultes victimes de meurtre comme George Floyd et JFK. Aucun des comptes que Rolling Stone a contactés n'a répondu aux demandes de commentaires, mais le fait qu'ils modifient l'apparence des victimes est probablement dû aux directives de la communauté TikTok interdisant les représentations deepfakes de particuliers ou de jeunes, une politique que la plateforme a instituée en mars. . (Un porte-parole de TikTok a confirmé à Rolling Stone que @truestorynow avait été supprimé pour avoir enfreint les directives de la communauté.)

La prolifération de ces vidéos de victimes de vrais crimes d'IA sur TikTok est la dernière question éthique soulevée par l'immense popularité du genre du vrai crime en général. Bien que des documentaires comme The Jinx et Making a Murderer et des podcasts comme Crime Junkie et My Favorite Murder aient suscité un immense culte, de nombreux critiques du genre ont remis en question les implications éthiques du public consommant les histoires réelles d'agressions et de meurtres horribles comme pur divertissement. , avec la montée des détectives en fauteuil et des véritables obsédés du crime qui pourraient retraumatiser les proches des victimes.

Cette préoccupation s'applique doublement aux vidéos comme celle mettant en vedette Royalty, qui racontent l'histoire d'une victime de son point de vue et en utilisant son nom, vraisemblablement sans le consentement de la famille, avec un effet incroyablement effrayant. "Quelque chose comme ça a un réel potentiel pour revictimiser des personnes qui ont déjà été victimisées", déclare Bleakley. "Imaginez être le parent ou un parent de l'un de ces enfants dans ces vidéos d'IA. Vous allez en ligne, et dans cette voix étrange et aiguë, voici une image d'IA [basée sur] votre enfant décédé, entrant dans des détails très sanglants sur ce que leur est arrivé."

Il y a aussi des problèmes juridiques potentiellement épineux associés à la création de vidéos deepfake, ajoute Bleakley, comparant la montée des vidéos de vrais crimes d'IA à la popularité du porno deepfake. Bien qu'il n'y ait pas de loi fédérale rendant illégales les images et les vidéos deepfakes non consensuelles, la Virginie et la Californie ont interdit la pornographie deepfake, et plus tôt ce mois-ci, le membre du Congrès Joe Morelle a proposé une législation faisant à la fois un crime et une responsabilité civile pour quelqu'un qui diffuse de telles images.

Les vidéos de vrais crimes Deepfake sont différentes du porno deepfake pour des raisons évidentes, mais Bleakley pourrait voir à quel point les familles en deuil peuvent vouloir intenter des poursuites civiles contre les créateurs de telles vidéos, en particulier si elles sont monétisées, bien qu'il note qu'il serait difficile pour les familles de plaider pour diffamation en raison du décès des sujets. "C'est une zone grise très collante et trouble", dit-il.

Une chose est claire, cependant : avec la technologie de l'IA qui évolue rapidement chaque jour et peu ou pas de réglementation en place pour freiner sa propagation, la question n'est pas de savoir si des vidéos comme celles-ci deviendront plus populaires, mais plutôt de savoir à quel point le mariage de vrais crime et AI va obtenir. On peut facilement imaginer que les créateurs de vrais crimes soient capables non seulement de recréer les voix des «victimes» de meurtre, mais aussi de recréer les détails sanglants des crimes. "C'est toujours la question avec tout nouveau développement technologique", déclare Bleakley. "Où est-ce que ça va s'arrêter ?"

Mise à jour jeudi 31 mai 2023, 16 h 15 : cette histoire a été mise à jour avec plus d'informations expliquant pourquoi @truestorynow a été banni de TikTok.