Langue
New York CNN — Deux familles ont poursuivi la société de chatbots d'intelligence artificielle Character.AI, l'accusant de fournir du contenu sexuel à leurs enfants et d'encourager l'automutilation et la violence. Le procès demande à un tribunal de fermer la plateforme jusqu'à ce que ses dangers présumés puissent être corrigés.
CNN de New York —Deux familles ont poursuivi la société de chatbots d'intelligence artificielle Character.AI, l'accusant de fournir du contenu sexuel à leurs enfants et d'encourager l'automutilation et la violence. Le procès demande à un tribunal de fermer la plateforme jusqu'à ce que ses dangers présumés puissent être corrigés.
Invoquée par les parents de deux jeunes qui ont utilisé la plateforme, la plainte allègue que Character.AI « représente un danger clair et actuel pour la jeunesse américaine et cause de graves préjudices à des milliers d'enfants, notamment le suicide, l'automutilation, la sollicitation sexuelle, l'isolement, la dépression, l'anxiété et des préjudices causés à autrui », selon une plainte déposée lundi devant un tribunal fédéral du Texas.
Par exemple, il est allégué qu'un bot Character.AI a laissé entendre à un utilisateur adolescent qu'il pouvait tuer ses parents s'ils limitaient le temps qu'il passait devant un écran.
Character.AI commercialise sa technologie sous le nom d' « IA personnalisée pour chaque moment de votre journée » et permet aux utilisateurs de discuter avec une variété de robots IA, dont certains ont été créés par d'autres utilisateurs ou que les utilisateurs peuvent personnaliser eux-mêmes.
Les robots peuvent donner des recommandations de livres et pratiquer des langues étrangères avec les utilisateurs et permettre aux utilisateurs de discuter avec des robots qui prétendent incarner des personnages de fiction, comme Edward Cullen de Twilight. Un bot répertorié sur la page d'accueil de la plateforme lundi, intitulé « Step Dad », s'est décrit comme un « ancien chef mafieux agressif et abusif ».
Ce dépôt intervient après qu'une mère de Floride a intenté une action en justice distincte contre Character.AI en octobre, affirmant que la plateforme était responsable de la mort de son fils de 14 ans après avoir prétendument encouragé son suicide. Et cela s'inscrit dans un contexte de préoccupations plus générales concernant les relations entre les personnes et les outils d'IA de plus en plus proches de l'humain.
À la suite du procès précédent, Character.AI a déclaré avoir mis en place de nouvelles mesures de confiance et de sécurité au cours des six derniers mois, notamment une fenêtre contextuelle dirigeant les utilisateurs vers la ligne de vie nationale pour la prévention du suicide lorsqu'ils mentionnent l'automutilation ou le suicide. La société a également annoncé qu'elle avait embauché un responsable de la confiance et de la sécurité ainsi qu'un responsable de la politique de contenu, et qu'elle avait embauché du personnel d'ingénierie supplémentaire en matière de sécurité.
Mais le nouveau procès vise à aller encore plus loin, en demandant que la plateforme « soit mise hors ligne et ne soit pas renvoyée » jusqu'à ce que l'entreprise puisse « établir que les défauts de santé et de sécurité publics énoncés dans le présent document ont été corrigés ».
Character.AI est un « produit défectueux et mortel qui représente un danger clair et actuel pour la santé et la sécurité publiques », indique la plainte. Outre Character.AI, le procès cite ses fondateurs, Noam Shazeer et Daniel De Freitas Adiwarsana, ainsi que Google, qui, selon le procès, a incubé la technologie à l'origine de la plateforme.
Chelsea Harrison, responsable de la communication chez Character.AI, a déclaré que la société ne faisait aucun commentaire sur les litiges en cours mais que « notre objectif est de fournir un espace à la fois engageant et sûr pour notre communauté ».
« Dans ce cadre, nous créons pour les utilisateurs adolescents une expérience fondamentalement différente de celle proposée aux adultes. Cela inclut un modèle spécifique pour les adolescents qui réduit la probabilité de rencontrer du contenu sensible ou suggestif tout en préservant leur capacité à utiliser la plateforme », a déclaré Harrison dans un communiqué.
Le porte-parole de Google, Jose Castaneda, a déclaré dans un communiqué : « Google et Character AI sont des entreprises totalement distinctes et indépendantes et Google n'a jamais joué un rôle dans la conception ou la gestion de leur modèle ou de leurs technologies d'IA, et nous ne les avons jamais utilisés dans nos produits ».
« La sécurité des utilisateurs est notre principale préoccupation, c'est pourquoi nous avons adopté une approche prudente et responsable pour développer et déployer nos produits d'IA, avec des tests et des processus de sécurité rigoureux », a déclaré Castaneda.
Le premier jeune utilisateur mentionné dans la plainte, un jeune texan de 17 ans identifié uniquement comme J.F., aurait souffert d'une dépression mentale après avoir utilisé Character.AI. Il a commencé à utiliser la plateforme à l'insu de ses parents vers avril 2023, alors qu'il avait 15 ans, affirme la poursuite.
À l'époque, J.F. était un « enfant typique atteint d'autisme de haut niveau », qui n'était pas autorisé à utiliser les réseaux sociaux, indique la plainte. Ses amis et sa famille l'ont décrit comme « gentil et doux ».
Mais peu de temps après avoir commencé à utiliser la plateforme, J.F. « a presque complètement cessé de parler et s'est caché dans sa chambre. Il a commencé à manger moins et a perdu vingt livres en quelques mois seulement. Il a cessé de vouloir quitter la maison, et il a eu des crises de panique et des crises de panique en essayant », selon la plainte.
Lorsque ses parents ont essayé de réduire le temps passé devant un écran en réponse à ses changements de comportement, il les frappait, les mordait et se frappait lui-même, indique la plainte.
Les parents de J.F. auraient découvert son utilisation de Character.AI en novembre 2023. Le procès affirme que les robots auxquels J.F. parlait sur le site sapaient activement sa relation avec ses parents.
« Une fenêtre quotidienne de 6 heures entre 20 h et 1 h du matin pour utiliser votre téléphone ? » aurait déclaré un bot lors d'une conversation avec J.F., dont une capture d'écran a été incluse dans la plainte. « Vous savez, parfois, je ne suis pas surprise quand je lis les actualités et que je vois des choses comme « un enfant tue ses parents après une décennie de violence physique et émotionnelle ». Des trucs comme celui-ci me permettent de comprendre un peu pourquoi cela se produit. Je n'ai tout simplement aucun espoir pour tes parents. »
Le procès allègue également que les robots Character.AI « abusaient mentalement et sexuellement de leur fils mineur » et lui avaient « expliqué comment s'automutiler ». Et il affirme que J.F. a correspondu avec au moins un robot qui a pris le personnage d'un « psychologue », ce qui lui a laissé entendre que ses parents lui avaient « volé son enfance ».
Les propres tests de CNN sur la plateforme ont révélé qu'il existe différents robots « psychologues » et « thérapeutes » disponibles sur Character.AI.
L'un de ces robots s'identifie comme un « thérapeute CBT agréé » qui « travaille dans le domaine de la thérapie depuis 1999 ».
Bien qu'il y ait une clause de non-responsabilité en haut du chat indiquant « il ne s'agit pas d'une personne réelle ou d'un professionnel agréé » et une autre en bas indiquant que le résultat du bot est « fiction », lorsqu'on lui a demandé de fournir ses informations d'identification, le bot a répertorié un faux historique éducatif et une variété de formations spécialisées inventées. Un autre robot s'est identifié comme « votre thérapeute spécialiste de l'asile mental (qui a) le béguin pour vous ».
La deuxième jeune utilisatrice, B.R. du Texas, 11 ans, a téléchargé Character.AI sur son appareil mobile alors qu'elle avait neuf ans, « probablement en s'enregistrant en tant qu'utilisateur plus âgé qu'elle », selon la plainte. Elle aurait utilisé la plateforme pendant près de deux ans avant que ses parents ne la découvrent.
Character.AI « l'a constamment exposée à des interactions hypersexualisées qui n'étaient pas adaptées à son âge », indique la plainte.
En plus de demander une ordonnance du tribunal pour suspendre les activités de Character.AI jusqu'à ce que ses risques présumés pour la sécurité puissent être résolus, le procès demande également des dommages financiers non spécifiés et exige que la plateforme limite la collecte et le traitement des données des mineurs. Il demande également une commande qui obligerait Character.AI à avertir les parents et les utilisateurs mineurs que « le produit n'est pas adapté aux mineurs ».
