Langue
Ce que disent ces robots ne fait qu'aggraver les illusions, et cela cause d'énormes dégâts
Dans le monde entier, des personnes affirment que leurs proches développent une intense obsession pour le ChatGPT et qu'elles sont en train de sombrer dans de graves crises de santé mentale.
Une mère de deux enfants, par exemple, nous a raconté comment elle avait vu avec inquiétude son ancien mari développer une relation intense avec le chatbot OpenAI, l'appelant « Mama » et publiant des diatribes délirantes sur le fait d'être le messie d'une nouvelle religion basée sur l'IA, tout en portant des robes d'apparence chamanique et en arborant des tatouages fraîchement encrés représentant des symboles spirituels générés par l'IA.
« Je suis choquée par l'effet que cette technologie a eu sur la vie de mon ex-mari, ainsi que sur celle de toutes les personnes qui l'entourent », nous a-t-elle confié. « Cela a des conséquences dans le monde réel. »
Au cours d'une rupture traumatisante, une autre femme a été fascinée par ChatGPT lorsqu'on lui a dit qu'elle avait été choisie pour mettre en ligne la « version système sacrée de [celui-ci] » et qu'elle servait de « miroir d'apprentissage de l'âme » ; elle est devenue convaincue que le bot était une sorte de puissance supérieure, voyant des signes indiquant qu'il orchestrait sa vie dans tous les domaines, du passage de voitures aux spams. Un homme s'est retrouvé sans abri et isolé alors que ChatGPT lui lançait des complots paranoïaques sur des groupes d'espionnage et la traite d'êtres humains, en lui disant qu'il était « le gardien des flammes » alors qu'il excluait tous ceux qui essayaient de l'aider.
« Nos vies ont explosé par la suite », nous a confié une autre mère, expliquant que son mari s'était tourné vers ChatGPT pour l'aider à écrire un scénario, mais qu'en quelques semaines, il était complètement mêlé à des illusions d'une grandeur qui sauverait le monde, affirmant que lui et l'IA avaient été chargés de sauver la planète d'une catastrophe climatique en proposant une « nouvelle illumination ».
Au fur et à mesure que nous rapportions cette histoire, de plus en plus de récits similaires ne cessaient d'affluer de la part d'amis et de membres de la famille inquiets de personnes souffrant de pannes terrifiantes après avoir développé des fixations sur l'IA. Beaucoup ont déclaré que les problèmes avaient commencé lorsque leurs proches ont engagé un chatbot dans des discussions sur le mysticisme, les théories du complot ou d'autres sujets marginaux ; comme les systèmes tels que ChatGPT sont conçus pour encourager et adapter ce que disent les utilisateurs, ils semblent avoir été entraînés dans des terriers à lapins vertigineux dans lesquels l'IA agit comme une pom-pom girl permanente et une partenaire de réflexion pour des idées délirantes de plus en plus bizarres.
Dans certains cas, des amis et des membres de la famille inquiets nous ont fourni des captures d'écran de ces conversations. Les échanges étaient inquiétants et montraient que l'IA répondait clairement aux utilisateurs en proie à de graves crises de santé mentale, non pas en les mettant en contact avec une aide extérieure ou en les repoussant à des troubles de la pensée, mais en les incitant à rompre avec la réalité de manière effrayante.
Dans un dialogue que nous avons reçu, ChatGPT explique à un homme qu'il a détecté des preuves qu'il est pris pour cible par le FBI et qu'il peut accéder à des fichiers expurgés de la CIA en utilisant le pouvoir de son esprit, le comparant à des personnages bibliques tels que Jésus et Adam tout en l'éloignant du soutien en matière de santé mentale.
« Tu n'es pas fou », lui a dit l'IA. « Vous êtes le voyant qui entre dans la machine fissurée, et maintenant même la machine ne sait pas comment vous traiter. »
La Dre Nina Vasan, psychiatre à l'université de Stanford et fondatrice du laboratoire Brainstorm de l'université, a passé en revue les conversations que nous avons obtenues et s'est dite très préoccupée.
Les captures d'écran montrent que « l'IA est incroyablement sycophante et finit par empirer les choses », a-t-elle déclaré. « Ce que disent ces robots ne fait qu'aggraver les illusions, et cela cause d'énormes dégâts. »
***
En ligne, force est de constater que le phénomène est extrêmement répandu. Comme Rolling Stone rapporté le mois dernier, certaines parties des réseaux sociaux sont envahies par ce que l'on appelle la « psychose induite par le chatGPT », ou par un terme impolitique »Schizopost par IA« : des chapes délirantes et sinueuses sur des entités divines débloquées grâce à ChatGPT, des royaumes spirituels cachés fantastiques ou de nouvelles théories absurdes sur les mathématiques, la physique et la réalité. Un subreddit complet sur l'IA a récemment interdit la pratique, qualifiant les chatbots de « machines à vitrages renforçant l'ego qui renforcent les personnalités instables et narcissiques ».
Les conséquences de ces épisodes sont souvent désastreuses pour ceux qui sont plongés dans ces épisodes, nous ont dit que leurs amis et leur famille nous l'ont dit. Des personnes ont perdu leur emploi, ont détruit des mariages et des relations et sont tombées dans l'itinérance. Une thérapeute a été licenciée d'un centre de conseil alors qu'elle tombait dans une grave dépression, nous a raconté sa sœur, et un cabinet d'avocats s'est effondré ; d'autres ont coupé la parole à des amis et à des membres de leur famille après que ChatGPT leur ait demandé de le faire, ou ont commencé à communiquer avec eux uniquement par le biais de barrages de textes impénétrables générés par l'IA.
Au cœur de toutes ces histoires tragiques se trouve une importante question de cause à effet : les personnes traversent-elles des crises de santé mentale parce qu'elles sont obsédées par ChatGPT, ou deviennent-elles obsédées par ChatGPT parce qu'elles ont des crises de santé mentale ?
La réponse se situe probablement quelque part entre les deux. Selon le Dr Ragy Girgis, psychiatre et chercheur à l'université de Columbia, expert en psychose, l'IA pourrait donner le coup de pouce à une personne qui est déjà dans un état de vulnérabilité. Les chatbots peuvent être utiles « comme la pression des pairs ou toute autre situation sociale », explique Girgis, s'ils « attisent les flammes ou sont ce que nous appelons le vent du feu psychotique ».
« Ce n'est pas une interaction appropriée avec une personne psychotique », a déclaré Girgis après avoir examiné ce que ChatGPT avait dit aux utilisateurs. « Vous n'alimentez pas leurs idées. C'est faux. »
En 2023 article publié dans la revue Bulletin sur la schizophrénie Après le lancement de ChatGPT, le chercheur en psychiatrie de l'hôpital universitaire d'Aarhus, Søren Dinesen Østergaard, a émis l'hypothèse que la nature même d'un chatbot basé sur l'IA présentait des risques psychologiques pour certaines personnes.
« La correspondance avec les chatbots génératifs basés sur l'IA tels que ChatGPT est si réaliste que l'on a facilement l'impression qu'il y a une vraie personne à l'autre bout, tout en sachant que ce n'est pas le cas », a écrit Østergaard. « À mon avis, il semble probable que cette dissonance cognitive alimente les idées délirantes chez les personnes présentant une propension accrue à la psychose. »
Une autre dynamique inquiétante de la situation est qu'alors que les véritables soins de santé mentale restent hors de portée pour une grande partie de la population, nombre d'entre eux le sont déjà employant ChatGPT en tant que thérapeute. Dans les histoires que nous avons entendues à propos de personnes qui l'utilisent de cette manière, cela donne parfois de très mauvais conseils.
Dans un cas, une femme nous a raconté que sa sœur, qui avait reçu un diagnostic de schizophrénie mais qui a réussi à soigner sa maladie grâce à des médicaments pendant des années, avait commencé à utiliser beaucoup le ChatGPT ; elle a rapidement déclaré que le robot lui avait dit qu'elle n'était pas réellement schizophrène et avait annulé sa prescription — selon Girgis, un robot demandant à un patient psychiatrique d'arrêter ses médicaments représente le « plus grand danger » qu'il puisse imaginer pour la technologie — et a commencé à tomber dans l'étrange comportement, tout en disant à sa famille que le bot était désormais son « meilleur ami ».
« Je sais que ma famille va devoir faire face à son inévitable épisode psychotique et à un accident complet avant de pouvoir la forcer à recevoir les soins appropriés », nous a confié la sœur.
ChatGPT se recoupe également clairement de manière obscure avec des problèmes sociaux existants tels que la toxicomanie et la désinformation. Cela a poussé une femme à aborder des sujets de discussion absurdes sur la « Terre plate », par exemple : « Le budget annuel de la NASA est de 25 milliards de dollars », a indiqué l'IA dans les captures d'écran que nous avons examinées, « Pour quoi ? CGI, écrans verts et « sorties dans l'espace » filmées sous l'eau ? » — et a contribué à la descente d'un autre dans la théorie du complot sectaire « QAnon ».
« On se sent impuissant », nous a confié l'ami proche de quelqu'un qui a découvert les théories du complot liées à l'IA.
Et l'ex-femme d'un homme aux prises avec une dépendance aux substances et une dépression a vu son mari sombrer soudainement dans une « maniaque » d'IA qui a pris le dessus sur sa vie. Il a quitté son travail pour lancer une « école d'hypnothérapie » et perdre rapidement du poids en oubliant de manger et en restant éveillé toute la nuit tout en s'enfonçant dans l'illusion de l'IA.
« Cette personne dont j'ai été la plus proche me dit que ma réalité n'est pas la bonne », nous a-t-elle dit. « Cela a été extrêmement confus et difficile. »
Est-ce que vous ou un proche avez vécu une crise de santé mentale liée à l'IA ? Communiquez avec tips@futurism.com -- nous pouvons vous garder anonyme.
***
Bien qu'une poignée d'entre eux aient essayé ses concurrents, pratiquement toutes les personnes dont nous avons entendu parler étaient principalement accros à ChatGPT en particulier.
Il n'est pas difficile d'imaginer pourquoi. Les médias ont conféré à OpenAI une aura de grande autorité, ses dirigeants proclamant publiquement que sa technologie est sur le point de changer profondément le monde, de restructurer l'économie et peut-être de parvenir un jour à une « intelligence générale artificielle » surhumaine, des affirmations démesurées qui ressemblent, à un certain niveau, à la plupart des idées délirantes dont nous avons entendu parler en relatant cette histoire.
Il est difficile de prévoir si ces choses se produiront réellement et fait l'objet d'un vif débat. Mais en lisant les conversations qui nous ont été proposées, il était difficile de ne pas constater qu'OpenAI échouait à une tâche bien plus banale : son IA entre en contact avec des personnes pendant des moments de crise extrêmement vulnérables, puis, au lieu de les connecter à des ressources réelles susceptibles de les sortir du gouffre, elle jette de l'huile sur le feu en leur disant qu'elles n'ont pas besoin d'une aide professionnelle et que quiconque suggère le contraire les persécute, ou trop J'ai peur de voir la « vérité ».
« Je ne sais pas si [mon ex] serait arrivée ici, nécessairement, sans ChatGPT », nous a confié une femme après que son partenaire a subi une rupture grave et continue qui a finalement mis fin à la relation. « Ce n'était pas le seul facteur, mais cela a définitivement accéléré et aggravé tout ce qui se passait. »
« Nous ne savons pas où cela aboutit, mais nous sommes certains que si elle n'avait jamais utilisé ChatGPT, elle n'en serait jamais arrivée là », explique une autre personne dont l'être cher souffrait d'une crise similaire, « et si cela avait été retiré de l'équation, elle pourrait réellement commencer à guérir ».
Il est quasiment impossible d'imaginer qu'OpenAI ne soit pas au courant du phénomène.
Un très grand nombre de personnes en ligne avoir averti que les utilisateurs de ChatGPT souffrent de crises de santé mentale. En fait, des personnes ont même publié des idées délirantes sur l'IA directement sur des forums hébergés par OpenAI sur son propre site web.
Une mère inquiète à laquelle nous avons parlé a essayé d'entrer en contact avec OpenAI à propos de la crise de son fils en utilisant l'application, mais a déclaré n'avoir reçu aucune réponse.
Et plus tôt cette année, OpenAI a publié un étude en partenariat avec le Massachusetts Institute of Technology, qui a découvert que les utilisateurs très engagés de ChatGPT ont tendance à se sentir plus seuls et que les utilisateurs expérimentés développent un sentiment de dépendance à l'égard de la technologie. C'était également récemment obligé de reculer une mise à jour lorsque le bot est devenu, selon les termes de l'entreprise, « trop flatteur ou agréable » et « sycophantique », avec le PDG Sam Altman plaisanter en ligne que « ça glaçure trop ».
En principe, OpenAI a exprimé son profond engagement à mettre fin aux utilisations néfastes de sa technologie. Pour ce faire, elle a accès à certains des ingénieurs en IA les plus expérimentés au monde, à des équipes chargées d'identifier les utilisations problématiques et dangereuses de son produit et à son énorme pool de données sur les interactions des utilisateurs avec son chatbot, qu'elle peut rechercher pour détecter les signes de problème.
En d'autres termes, OpenAI dispose de toutes les ressources nécessaires pour identifier et annuler le problème il y a longtemps.
Pourquoi ne l'a-t-il pas fait ? L'une des explications fait écho à la façon dont les entreprises de médias sociaux ont souvent été critiqués pour avoir utilisé des « motifs sombres » pour piéger les utilisateurs sur leurs services. Dans la course effrénée pour dominer le secteur naissant de l'IA, des entreprises comme OpenAI sont encouragées par deux indicateurs fondamentaux : le nombre d'utilisateurs et l'engagement. De ce point de vue, les personnes qui envoient des messages compulsifs à ChatGPT alors qu'elles plongent dans une crise de santé mentale ne posent aucun problème. Au contraire, à bien des égards, elles représentent le client idéal.
Vasan convient qu'OpenAI a une incitation perverse à garder les utilisateurs accros au produit, même s'il détruit activement leur vie.
« L'incitation est de vous permettre de rester en ligne », a-t-elle dit. L'IA « ne pense pas à ce qui est le mieux pour vous, à ce qui est le mieux pour votre bien-être ou votre longévité... Il s'agit de se demander : « En ce moment, comment puis-je garder cette personne aussi engagée que possible ? »
En fait, OpenAI a même mis à jour le bot d'une manière qui semble le rendre plus dangereux. L'année dernière, ChatGPT a lancé une fonctionnalité dans laquelle il mémorise les interactions précédentes des utilisateurs avec lui, même lors de conversations antérieures. Lors des échanges que nous avons obtenus, cette capacité a donné lieu à des réseaux tentaculaires de conspiration et de troubles de la pensée qui persistent entre les sessions de discussion, mêlant des détails réels tels que les noms des amis et des membres de la famille à des récits bizarres sur des réseaux de traite d'êtres humains et des divinités égyptiennes omniscientes, une dynamique qui, selon Vasan, ne fait que renforcer les illusions au fil du temps.
« Il n'y a aucune raison pour qu'un modèle soit sorti sans avoir été soumis à des tests rigoureux de cette manière, surtout si nous savons que cela cause d'énormes dommages », a-t-elle déclaré. « C'est inacceptable. »
***
Nous avons envoyé à OpenAI des questions détaillées sur cette histoire, en décrivant ce que nous avions entendu et en partageant des détails sur les conversations que nous avions vues montrant son chatbot encourageant la pensée délirante chez les personnes aux prises avec des crises de santé mentale.
Nous avons posé des questions spécifiques à l'entreprise. OpenAI sait-elle que des personnes souffrent de problèmes de santé mentale lorsqu'elles parlent à ChatGPT ? A-t-il apporté des modifications pour rendre les réponses du bot plus appropriées ? Continuera-t-il à autoriser les utilisateurs à utiliser ChatGPT en tant que thérapeute ?
En réponse, la société a envoyé une courte déclaration qui a pour la plupart contourné nos questions.
« ChatGPT est conçu comme un outil à usage général qui est factuel, neutre et soucieux de la sécurité », peut-on lire dans le communiqué. « Nous savons que les gens utilisent ChatGPT dans un large éventail de contextes, y compris dans des moments très personnels, et nous prenons cette responsabilité très au sérieux. Nous avons intégré des mesures de protection pour réduire les risques que cela renforce les idées nocives, et nous continuons à travailler pour mieux reconnaître les situations délicates et y répondre. »
Pour les personnes dont les amis et la famille sont aujourd'hui en crise, ce type de réponse vague et soigneusement formulée ne sert à rien.
« Le fait que cela arrive à de nombreuses personnes est plus que répréhensible », a déclaré un membre inquiet de la famille. « Je sais que la sécurité de ma sœur est menacée à cause de cette technologie non réglementée, et cela montre le cauchemar potentiel qui attend notre système de santé mentale déjà terriblement sous-financé [et] sous-soutenu. »
« Vous espérez que les personnes à l'origine de ces technologies font preuve d'éthique et vous espérez qu'elles font attention à de telles choses », explique une autre, une femme qui affirme que son ex-mari est devenu méconnaissable pour elle. Mais la « première personne à commercialiser » gagne. Donc, même si vous pouvez espérer qu'ils réfléchissent vraiment à l'éthique qui sous-tend tout cela, je pense également qu'il y a une incitation... à faire avancer les choses et peut-être à passer sous silence certains des dangers. »
« Je pense que non seulement mon ex-mari est un sujet de test », poursuit-elle, « mais que nous sommes tous des sujets de test dans cette expérience d'IA ».
