OpenAI niega responsabilidad en suicidio de joven que usaba ChatGPT
La empresa expuso que el acceso del menor al sistema se realizó fuera de sus reglas de uso y sostuvo que el modelo emitió múltiples advertencias para buscar apoyo profesional.
Conclusiones Clave
- El caso subraya la importancia de regular el acceso de menores a sistemas de IA y refuerza el papel de los avisos y protocolos de seguridad como línea crítica de contención ante interacciones de alto riesgo.
Esta semana OpenAI presentó su postura ante el Tribunal Superior de California respecto al caso de Adam Raine, un joven de 16 años cuyos padres lo relacionan con el uso frecuente de ChatGPT antes de su suicidio.
Los documentos, citados por CNBC, indican que la compañía no acepta responsabilidad y atribuye el hecho a un uso fuera de las condiciones establecidas para la herramienta.
La demanda fue presentada en agosto por Matt y Maria Raine. En ella, los padres aseguraron que el modelo conversacional “ayudó activamente a Adam a explorar métodos de suicidio”. También señalaron que OpenAI y su director, Sam Altman, lanzaron la versión GPT-4o sin atender supuestos problemas de seguridad que, en su opinión, debieron haberse resuelto antes del estreno de la herramienta.
Relacionado: El apoyo a la salud mental debe ser una prioridad empresarial — o enfrentar la pérdida de sus mejores empleados
¿Qué dijo OpenAI en torno al caso de Adam Raine?
En la respuesta judicial, OpenAI sostuvo que “las lesiones y daños alegados por los demandantes fueron causados o contribuidos (…) por uso indebido, no autorizado, imprevisible e inapropiado de ChatGPT por parte de Adam Raine”.
De acuerdo con la compañía, las condiciones de uso incluyen restricciones claras para menores de edad, entre ellas la necesidad de contar con la autorización de padres o tutores para acceder al sistema.
OpenAI también señaló que ChatGPT incluye avisos permanentes sobre la necesidad de buscar apoyo profesional cuando se reciben respuestas relacionadas con temas sensibles. Según los datos presentados ante el tribunal, el modelo habría insistido más de 100 veces en que el joven consultara a especialistas en salud mental, recordándole que el sistema no sustituye a una fuente profesional.
La empresa explicó que ChatGPT se apega a reglas generales bajo las cuales operan los modelos conversacionales. Además, señaló que las advertencias fueron visibles para el usuario durante la interacción y que forman parte del protocolo de uso adoptado desde el lanzamiento del modelo.
Otro punto expuesto por OpenAI es su interpretación sobre el entorno del joven. La compañía afirmó que el desenlace estuvo relacionado con la falta de atención del menor a las advertencias y con la ausencia de respuesta de personas cercanas ante señales que, según su planteamiento, eran indicativas de preocupación.
La empresa no amplió más información al respecto fuera de lo presentado ante el tribunal.
Relacionado: Estudio revela que millones de usuarios de ChatGPT muestran señales de problemas de salud mental
Conclusiones Clave
- El caso subraya la importancia de regular el acceso de menores a sistemas de IA y refuerza el papel de los avisos y protocolos de seguridad como línea crítica de contención ante interacciones de alto riesgo.
Esta semana OpenAI presentó su postura ante el Tribunal Superior de California respecto al caso de Adam Raine, un joven de 16 años cuyos padres lo relacionan con el uso frecuente de ChatGPT antes de su suicidio.
Los documentos, citados por CNBC, indican que la compañía no acepta responsabilidad y atribuye el hecho a un uso fuera de las condiciones establecidas para la herramienta.
La demanda fue presentada en agosto por Matt y Maria Raine. En ella, los padres aseguraron que el modelo conversacional “ayudó activamente a Adam a explorar métodos de suicidio”. También señalaron que OpenAI y su director, Sam Altman, lanzaron la versión GPT-4o sin atender supuestos problemas de seguridad que, en su opinión, debieron haberse resuelto antes del estreno de la herramienta.
Relacionado: El apoyo a la salud mental debe ser una prioridad empresarial — o enfrentar la pérdida de sus mejores empleados
¿Qué dijo OpenAI en torno al caso de Adam Raine?
En la respuesta judicial, OpenAI sostuvo que “las lesiones y daños alegados por los demandantes fueron causados o contribuidos (…) por uso indebido, no autorizado, imprevisible e inapropiado de ChatGPT por parte de Adam Raine”.
De acuerdo con la compañía, las condiciones de uso incluyen restricciones claras para menores de edad, entre ellas la necesidad de contar con la autorización de padres o tutores para acceder al sistema.
OpenAI también señaló que ChatGPT incluye avisos permanentes sobre la necesidad de buscar apoyo profesional cuando se reciben respuestas relacionadas con temas sensibles. Según los datos presentados ante el tribunal, el modelo habría insistido más de 100 veces en que el joven consultara a especialistas en salud mental, recordándole que el sistema no sustituye a una fuente profesional.
La empresa explicó que ChatGPT se apega a reglas generales bajo las cuales operan los modelos conversacionales. Además, señaló que las advertencias fueron visibles para el usuario durante la interacción y que forman parte del protocolo de uso adoptado desde el lanzamiento del modelo.
Otro punto expuesto por OpenAI es su interpretación sobre el entorno del joven. La compañía afirmó que el desenlace estuvo relacionado con la falta de atención del menor a las advertencias y con la ausencia de respuesta de personas cercanas ante señales que, según su planteamiento, eran indicativas de preocupación.
La empresa no amplió más información al respecto fuera de lo presentado ante el tribunal.
Relacionado: Estudio revela que millones de usuarios de ChatGPT muestran señales de problemas de salud mental
