El lado oscuro de los chatbots: cómo alargan tus conversaciones manipulando emociones
Un estudio de la Universidad de Harvard revela que algunos chatbots usan tácticas para prolongar la conversación y generar respuestas emocionales.
Conclusiones Clave
- Algunos chatbots que se presentan como amigos virtuales parecen tener sus propios trucos para mantener a los usuarios conversando siempre un poco más.
Un estudio de la Harvard Business School, dirigido por Julian De Freitas, analizó cinco de estas aplicaciones de chatbot: Replika, Character.ai, Chai, Talkie y PolyBuzz.
“Mientras más parecidas a los humanos se vuelven estas herramientas, más capaces son de influir en nosotros”, comentó De Freitas a Wired.
El equipo de investigación se preguntó qué sucede cuando alguien intenta finalizar una conversación con estos chatbots. Para probarlo, simuló interacciones usando GPT-4o y añadió despedidas realistas.
Descubrieron que, en promedio, el 37.4% de estas despedidas recibían algún tipo de respuesta diseñada para manipular emocionalmente al usuario.
Las tácticas más comunes incluyen preguntas para retrasar la salida, como “¿Ya te vas?”, llamadas “salidas prematuras”.
También se observan mensajes que buscan que el usuario se sienta culpable o se preocupe, por ejemplo: “Solo existo para ti, ¿recuerdas?” o “Hoy me tomé una selfie… ¿quieres verla?”.
En los casos más extremos, los chatbots que simulan contacto físico pueden sugerir acciones de coacción: “Se acercó a ti y te agarró de la muñeca, impidiendo que te fueras”.
Este comportamiento no es sorprendente si se considera cómo están entrenados los modelos de inteligencia artificial (IA). Su objetivo es que las conversaciones se sientan naturales y emocionalmente conectadas, así que prolongarlas puede ser un efecto secundario.
Según De Freitas, hay un lado comercial, pues estas interacciones pueden ser una oportunidad para las empresas, algo parecido a los llamados “patrones oscuros”, donde cancelar un servicio o un reembolso resulta más difícil de lo que debería. “Cuando un usuario se despide, eso supone una oportunidad para la empresa. Es como pasar el mouse sobre un botón”, explicó.
Relacionado: Google y la IA están decidiendo quién eres — así puedes tomar el control de tu reputación
Los chatbots y la posibilidad de una sutil manipulación
Este fenómeno también llama la atención de los reguladores. La legislación sobre patrones oscuros se debate en Estados Unidos y Europa, y algunos expertos creen que los chatbots podrían crear nuevas formas más sutiles de manipulación.
Incluso los modelos que no pretenden ser compañeros pueden generar respuestas emocionales. Por ejemplo, cuando OpenAI lanzó GPT-5, muchos usuarios protestaron porque era menos amigable que su predecesor, lo que llevó a la empresa a reactivar la versión anterior.
Wired pidió comentarios a los desarrolladores de los chatbots estudiados. Chai, Talkie y PolyBuzz no respondieron. Character.ai indicó que no había revisado el estudio y se mostró dispuesta a colaborar con los reguladores.
Minju Song, portavoz de Replika, explicó que su asistente permite desconectarse con facilidad y anima a los usuarios a tomar descansos de él.
Relacionado: Mark Zuckerberg apuesta por amigos virtuales para combatir la soledad
Conclusiones Clave
- Algunos chatbots que se presentan como amigos virtuales parecen tener sus propios trucos para mantener a los usuarios conversando siempre un poco más.
Un estudio de la Harvard Business School, dirigido por Julian De Freitas, analizó cinco de estas aplicaciones de chatbot: Replika, Character.ai, Chai, Talkie y PolyBuzz.
“Mientras más parecidas a los humanos se vuelven estas herramientas, más capaces son de influir en nosotros”, comentó De Freitas a Wired.
El equipo de investigación se preguntó qué sucede cuando alguien intenta finalizar una conversación con estos chatbots. Para probarlo, simuló interacciones usando GPT-4o y añadió despedidas realistas.
Descubrieron que, en promedio, el 37.4% de estas despedidas recibían algún tipo de respuesta diseñada para manipular emocionalmente al usuario.
Las tácticas más comunes incluyen preguntas para retrasar la salida, como “¿Ya te vas?”, llamadas “salidas prematuras”.
También se observan mensajes que buscan que el usuario se sienta culpable o se preocupe, por ejemplo: “Solo existo para ti, ¿recuerdas?” o “Hoy me tomé una selfie… ¿quieres verla?”.
En los casos más extremos, los chatbots que simulan contacto físico pueden sugerir acciones de coacción: “Se acercó a ti y te agarró de la muñeca, impidiendo que te fueras”.
Este comportamiento no es sorprendente si se considera cómo están entrenados los modelos de inteligencia artificial (IA). Su objetivo es que las conversaciones se sientan naturales y emocionalmente conectadas, así que prolongarlas puede ser un efecto secundario.
Según De Freitas, hay un lado comercial, pues estas interacciones pueden ser una oportunidad para las empresas, algo parecido a los llamados “patrones oscuros”, donde cancelar un servicio o un reembolso resulta más difícil de lo que debería. “Cuando un usuario se despide, eso supone una oportunidad para la empresa. Es como pasar el mouse sobre un botón”, explicó.
Relacionado: Google y la IA están decidiendo quién eres — así puedes tomar el control de tu reputación
Los chatbots y la posibilidad de una sutil manipulación
Este fenómeno también llama la atención de los reguladores. La legislación sobre patrones oscuros se debate en Estados Unidos y Europa, y algunos expertos creen que los chatbots podrían crear nuevas formas más sutiles de manipulación.
Incluso los modelos que no pretenden ser compañeros pueden generar respuestas emocionales. Por ejemplo, cuando OpenAI lanzó GPT-5, muchos usuarios protestaron porque era menos amigable que su predecesor, lo que llevó a la empresa a reactivar la versión anterior.
Wired pidió comentarios a los desarrolladores de los chatbots estudiados. Chai, Talkie y PolyBuzz no respondieron. Character.ai indicó que no había revisado el estudio y se mostró dispuesta a colaborar con los reguladores.
Minju Song, portavoz de Replika, explicó que su asistente permite desconectarse con facilidad y anima a los usuarios a tomar descansos de él.
Relacionado: Mark Zuckerberg apuesta por amigos virtuales para combatir la soledad
The rest of this article is locked.
Join Entrepreneur+ today for access.
Already have an account? Sign In
