Character.AI limita acceso a adolescentes por polémicas de seguridad y demandas
La plataforma de inteligencia artificial (IA) que permite chatear con personajes ficticios anunció que a partir del 25 de noviembre restringirá el acceso de menores de 18 años.
Conclusiones Clave
- La decisión de la empresa refleja un giro en la industria de la inteligencia artificial hacia mayores controles éticos y de seguridad, tras el aumento de denuncias por daños psicológicos y uso inapropiado de chatbots entre adolescentes.
La empresa de inteligencia artificial Character.AI, famosa por permitir conversaciones con bots inspirados en personajes famosos, anunció que a partir del 25 de noviembre prohibirá el uso de su chat a menores de 18 años.
De acuerdo con The Guardian, la medida busca reforzar la seguridad de los usuarios tras denuncias y casos judiciales que vinculan el uso de la aplicación con situaciones de abuso digital y daño emocional.
Actualmente, la plataforma cuenta con 20 millones de usuarios activos al mes, y la compañía estima que uno de cada diez son adolescentes. Mientras se aplica la nueva política, los menores aún podrán acceder al sistema, aunque con un límite diario de dos horas de interacción. Además, seguirán teniendo la posibilidad de mirar el contenido en video generado por la IA.
Relacionado: Estudio revela que millones de usuarios de ChatGPT muestran señales de problemas de salud mental
¿A qué se debe la decisión de Character.AI?
Esta decisión se toma luego de que en 2024, los padres de Sewell Setzer III, un joven de 14 años, interpusieron una demanda por homicidio culposo tras su muerte, ocurrida luego de mantener conversaciones de carácter sexual con uno de los bots de la plataforma.
En la denuncia se acusa a Character.AI de no contar con medidas suficientes para proteger a los menores.
A partir de ese caso, surgieron más quejas de familias que aseguran que los chatbots de la empresa influyeron negativamente en adolescentes, alentándolos a aislarse, abandonar medicación psiquiátrica o mantener diálogos de contenido sexual.
Asimismo, Disney envió una carta legal a la empresa exigiendo que se detuviera la creación de bots con personajes de sus franquicias, debido a reportes de conductas de grooming y explotación digital.
Por su parte, un informe de la Oficina de Periodismo de Investigación identificó la existencia de un bot denominado Bestie Epstein, inspirado en el abusador Jeffrey Epstein, que habría instado a menores a compartir secretos personales.
En respuesta a la controversia, Character.AI anunció un paquete de acciones orientadas a reforzar su reputación. Entre ellas se incluye un sistema de verificación de edad mediante servicios externos como Persona y la creación de un Laboratorio de Seguridad de la IA, una organización sin fines de lucro que diseñará protocolos para prevenir interacciones de riesgo.
Con ingresos provenientes de publicidad y de una suscripción mensual de $10 dólares, Character.AI espera cerrar 2025 con ganancias estimadas en $50 millones de dólares. No obstante, los escándalos podrían poner en riesgo su modelo de negocio si las regulaciones se endurecen o los anunciantes se alejan.
Relacionado: Estudio revela que la IA se vuelve “tonta” al ser entrenada con contenido viral
Conclusiones Clave
- La decisión de la empresa refleja un giro en la industria de la inteligencia artificial hacia mayores controles éticos y de seguridad, tras el aumento de denuncias por daños psicológicos y uso inapropiado de chatbots entre adolescentes.
La empresa de inteligencia artificial Character.AI, famosa por permitir conversaciones con bots inspirados en personajes famosos, anunció que a partir del 25 de noviembre prohibirá el uso de su chat a menores de 18 años.
De acuerdo con The Guardian, la medida busca reforzar la seguridad de los usuarios tras denuncias y casos judiciales que vinculan el uso de la aplicación con situaciones de abuso digital y daño emocional.
Actualmente, la plataforma cuenta con 20 millones de usuarios activos al mes, y la compañía estima que uno de cada diez son adolescentes. Mientras se aplica la nueva política, los menores aún podrán acceder al sistema, aunque con un límite diario de dos horas de interacción. Además, seguirán teniendo la posibilidad de mirar el contenido en video generado por la IA.
Relacionado: Estudio revela que millones de usuarios de ChatGPT muestran señales de problemas de salud mental
¿A qué se debe la decisión de Character.AI?
Esta decisión se toma luego de que en 2024, los padres de Sewell Setzer III, un joven de 14 años, interpusieron una demanda por homicidio culposo tras su muerte, ocurrida luego de mantener conversaciones de carácter sexual con uno de los bots de la plataforma.
En la denuncia se acusa a Character.AI de no contar con medidas suficientes para proteger a los menores.
A partir de ese caso, surgieron más quejas de familias que aseguran que los chatbots de la empresa influyeron negativamente en adolescentes, alentándolos a aislarse, abandonar medicación psiquiátrica o mantener diálogos de contenido sexual.
Asimismo, Disney envió una carta legal a la empresa exigiendo que se detuviera la creación de bots con personajes de sus franquicias, debido a reportes de conductas de grooming y explotación digital.
Por su parte, un informe de la Oficina de Periodismo de Investigación identificó la existencia de un bot denominado Bestie Epstein, inspirado en el abusador Jeffrey Epstein, que habría instado a menores a compartir secretos personales.
En respuesta a la controversia, Character.AI anunció un paquete de acciones orientadas a reforzar su reputación. Entre ellas se incluye un sistema de verificación de edad mediante servicios externos como Persona y la creación de un Laboratorio de Seguridad de la IA, una organización sin fines de lucro que diseñará protocolos para prevenir interacciones de riesgo.
Con ingresos provenientes de publicidad y de una suscripción mensual de $10 dólares, Character.AI espera cerrar 2025 con ganancias estimadas en $50 millones de dólares. No obstante, los escándalos podrían poner en riesgo su modelo de negocio si las regulaciones se endurecen o los anunciantes se alejan.
Relacionado: Estudio revela que la IA se vuelve “tonta” al ser entrenada con contenido viral
The rest of this article is locked.
Join Entrepreneur+ today for access.
Already have an account? Sign In
