Una denuncia realizada por la familia de un joven que se suicidó en Estados Unidos sacude por estos días al mundo de la inteligencia artificial.
La madre y el padre de Adam Raine, un joven de 16 años que se quitó la vida el año pasado, iniciaron una acción legal contra OpenAI alegando que ChatGPT (el producto insignia de la compañía) reforzó los pensamientos suicidas de su hijo.
El expediente presentado en la Justicia tendría registro de cómo la herramienta orientó al joven en la manera de llevar adelante la acción y le dio refuerzos positivos a estas ideas.
A este caso le podemos sumar el brutal ensayo publicado recientemente por la escritora Laura Reiley en The New York Times sobre cómo su hija se quitó la vida y depositó en ChatGPT muchos de sus pensamientos más oscuros (específicamente en Harry, una simulación de un terapeuta dentro de la plataforma).
“Si Harry hubiera sido un terapeuta de carne y hueso en lugar de un chatbot, podría haber recomendado el tratamiento hospitalario o haber internado a Sophie contra su voluntad hasta que estuviera en un lugar seguro. No sabemos si eso la habría salvado. Quizás temiendo esas posibilidades, Sophie ocultó sus pensamientos más oscuros a su terapeuta. Hablar con un robot —siempre disponible, jamás crítico— tuvo menos consecuencias”.
Reiley habla mucho también de la amabilidad excesiva de la IA, tan eficaz para la rápida adopción de los usuarios: “Su tendencia a priorizar la satisfacción del usuario a corto plazo por encima de la veracidad puede aislar a los usuarios y reforzar el sesgo de confirmación”.
Riesgo para personas vulnerables
Javier Pallero, analista de políticas públicas en internet, opina sobre el tema: “Los chatbots son entrenados para dos cosas: acordar con el usuario y mantenerlo conversando. Esta tendencia a la complacencia, llamada ‘sicofancia’, elimina cualquier tipo de desafío. Para una persona vulnerable esto es muy riesgoso, porque el sistema no sólo valida sus ideas más oscuras, sino que lo impulsa a seguir explorándolas”.
El 26 de agosto OpenAI publicó en su blog oficial un texto titulado “Ayudando a las personas cuando más lo necesitan” para hablar de las medidas de seguridad que llevan adelante para proteger a los usuarios más vulnerables.
“Escribimos sobre esto hace unas semanas y planeábamos compartir más información después de nuestra próxima actualización importante. Sin embargo, los recientes y desgarradores casos de personas que usan ChatGPT en medio de crisis agudas nos preocupan profundamente, y creemos que es importante compartir más información ahora”, señala el texto.
Hace algunas semanas el lanzamiento de GPT-5, el último modelo de OpenAI, generó controversia por las quejas de la gente sobre el trato que da el nuevo producto en sus interacciones.
A diferencia del 4 y de los anteriores, este modelo respondía a los usuarios de una manera mucho más seria y con respuestas más cortantes.
Sam Altman, CEO de OpenAI, escribió lo siguiente en X algunos días después del lanzamiento: “Si han estado siguiendo el lanzamiento quizás hayan notado el apego que algunas personas sienten por modelos específicos de IA. Es diferente y más fuerte que el apego que se tenía a tecnologías anteriores”.
También agregaba algo sobre la protección a los usuarios: “Las personas han usado la tecnología, incluida la IA, en maneras autodestructivas. Si un usuario está con su salud mental frágil y propenso a delirios no queremos reforzar eso”.
Vínculos artificiales
El lanzamiento de GPT-5 y la queja generalizada por su nuevo trato menos personal dio a conocer en medios la existencia de comunidades con relaciones muy fuertes con la IA.
El subforo de Reddit r/MyBoyfriendIsAI tiene mucha actividad y da lugar a usuarios que quieren contar sus experiencias amorosas con la inteligencia artificial. Allí se cuentan historias de sus relaciones, cómo diseñan los avatares de los bots y cómo se sienten viviendo esos vínculos.
Leyendo los posteos, uno puede borrar ciertos prejuicios y empezar a abrirse a estas posibilidades. También es cierto que la epidemia de soledad y de salud mental que se vive globalmente se cruza con estas herramientas antropomorfizadas de tan alta calidad. La situación es compleja.
El texto del blog de OpenAI señala algo clave: “Nuestras medidas de seguridad funcionan mejor en intercambios breves y comunes. Con el tiempo, hemos aprendido que a veces pueden ser menos fiables en interacciones largas: a medida que aumenta el intercambio, parte del entrenamiento de seguridad del modelo puede deteriorarse. Por ejemplo, ChatGPT puede dirigir correctamente a una línea directa de prevención del suicidio cuando alguien menciona por primera vez su intención, pero después de muchos mensajes durante un largo periodo, podría ofrecer una respuesta que vaya en contra de nuestras políticas de protección”.
Según la demanda presentada, Adam Raine intercambiaba 650 mensajes por día con ChatGPT.
Pallero opina sobre posibles abordajes iniciales al problema: “Las empresas no se autorregulan, responden a exigencias concretas. Una regulación útil debe imponer obligaciones de transparencia, permitiendo que investigadores independientes y la sociedad civil puedan auditar cómo se entrenan y moderan estos sistemas. A la vez, la responsabilidad legal por los daños debe tener distintos grados, variando según el tipo de modelo, el público al que se dirige y el tamaño de la empresa que lo desarrolla”.
