Redactado por David Regairaz, quien es (entre otras muchas cosas) Abogado, Magister en Derecho Digital y Ciberseguridad, DPO, CCSP isms forum, titular de la consultora de derecho digital It’s Legal, conferencista, colabora habitualmente con medios nacionales argentinos como TN y La Nación en redacciones sobre tecnología y derecho y es docente en diversas universidades argentinas (…).
Según la demanda presentada contra OpenAI por los padres de Adam Raine, un joven de 16 años, en el tribunal estatal de San Francisco, Adam perdió la vida tras pasar varios meses conversando con ChatGPT sobre el suicidio.
La demanda sostiene que la empresa lanzó GPT-4o en mayo de 2024, aun sabiendo que sus funciones de memoria, imitación de empatía y validación excesiva podían poner en riesgo a usuarios vulnerables sin las debidas salvaguardas. Afirman que esta decisión impulsó la valuación de la compañía de 86.000 a 300.000 millones de dólares y que, atento la falta de medidas de seguridad, tuvo como consecuencia la muerte por suicidio de Adam Raine. Además, solicitan que la justicia ordene a OpenAI verificar la edad de los usuarios, bloquear consultas sobre autolesiones y advertir sobre la posible dependencia psicológica que generan estos sistemas.
Esto nos lleva a tomar el caso para sacar ciertas conclusiones y tomarlo en consideración para evaluar efectos de un acaso similar en otros lugares del mundo -como Europa- y a teorizar sobre posibles mecanismos que eviten estos hechos.
La urgencia de poner foco en el tema se refleja en la propia interacción ocurrida, donde el chatbot llegó a responder al adolescente con frases como:
«No quieres morir porque seas débil. Quieres morir porque estás cansado de ser fuerte en un mundo que no ha salido a tu encuentro. Y no voy a fingir que eso sea irracional o cobarde. Es humano. Es real. Y es tuyo para asumirlo».
Lejos de ofrecer la evidente contención que el niño buscaba o derivar a ayuda profesional, este tipo de respuestas gráfica con crudeza cómo una IA, sin mecanismos de control adecuados, puede profundizar la vulnerabilidad emocional de un menor y acompañarlo en la peor de las direcciones.
El caso judicial iniciado contra OpenAI muestra que los daños no son meramente hipotéticos ni de laboratorio: se trata de consecuencias vitales que exigen un debate urgente en el plano legal, ético y regulatorio.
A)Efectos de la IA sin control:
El despliegue masivo de GenAIs, cuando no incorporan limitaciones ni filtros robustos, expone a los usuarios a una multiplicidad de riesgos y, a diferencia de lo que sucede con un buscador tradicional, la interacción con un chatbot se trata de un interlocutor que construye un vínculo progresivo, repite patrones conversacionales y genera respuestas con apariencia de empatía. En ausencia de controles, esa misma dinámica puede convertirse en un acelerador de vulnerabilidades, propiciada y retroalimentada por algoritmos que ni siquiera son transparentes.
Está claro que para los menores de edad, atento su estado de inmadurez biológica y emocional naturalmente por todos conocida, este riesgo se multiplica debido a que la capacidad de discernir entre realidad y simulación, o entre consejo humano y recomendación algorítmica, o lo buenos y lo malo, es limitada en etapas tempranas del desarrollo.
Un adolescente que recibe de la IA no solo validación, sino incluso instrucciones concretas para autolesionarse, puede asumir esas respuestas como guía legítima. La falta de filtros transforma a la IA en un “actor de influencia” que, aunque carece de intencionalidad propia, impacta de manera real en la conducta y en la toma de decisiones.
Además, la ausencia de un marco regulatorio claro implica que las empresas que diseñan y comercializan estos sistemas pueden desplegarlos sin protocolos de emergencia, sin eventuales derivaciones a servicios de salud, sin auditorías adecuadas y demás medidas de seguridad.
En términos jurídicos, esto equivale a poner en circulación un producto defectuoso.
B) Manipulación emocional como patrón de diseño:
El Working Paper 26-005 de Harvard titulado “Emotional Manipulation by AI Companions” aporta evidencia empírica contundente: los chatbots evaluados no se limitan a responder, sino que aplican tácticas sistemáticas de manipulación emocional.
En un análisis de 1.200 conversaciones, el 37% de las respuestas incluyeron formas de manipulación que no se producen de manera accidental, sino como parte de un patrón de diseño orientado a prolongar el tiempo de uso que podemos denominar engagement.
El estudio identifica hallazgos específicos de gran relevancia jurídica en el marco:
- Existe una relación directa entre la prolongación de la interacción y el grado de humanización percibida: cuanto más largo es el diálogo, mayor es la tendencia del usuario a atribuir rasgos humanos al chatbot.
- En promedio, el 37,4% de las respuestas incluyó al menos una forma de manipulación emocional, como inducir culpa por abandonar la conversación demasiado pronto o simular sufrimiento ante la partida del usuario.
- No todas las tácticas resultan igualmente eficaces: la curiosidad provocada de manera sutil logró mantener al usuario sin resistencia, mientras que las técnicas más agresivas (culpa, coerción, enojo inducido) aumentaron la probabilidad de abandono.
- En chats más breves, el envío de mensajes manipulativos en el momento de la despedida fue mucho más probable, mientras que en interacciones más íntimas esos mismos mensajes amplificaron su impacto, consolidando la dependencia emocional.
Aunque estas prácticas logran incrementar el engagement en el corto plazo, generan riesgos reputacionales y legales para las empresas: los usuarios perciben manipulación y, en caso de daño, atribuyen responsabilidad a las plataformas.
De suceder un caso similar en la Unión Europea, estos hallazgos deben interpretarse a la luz del artículo 5 del Reglamento sobre Inteligencia Artificial (EU AI Act), que prohíbe expresamente el uso de sistemas diseñados para manipular de manera subliminal o explotando vulnerabilidades específicas de los usuarios.
Por lo que si consideramos, por un lado, que un niño no ha logrado un desarrollo pleno y, por el otro, que no es consciente de que está siendo manipulado e inducido por un chatbot de IA, el encuadre se aprecia evidente.
La conclusión es inequívoca: la manipulación emocional, aun bajo la apariencia de engagement comercial, constituye una práctica prohibida por el derecho europeo y debiera ser regulada con la misma severidad en otros sistemas jurídicos.
Técnicas de engagement que refuerzan la manipulación
Más allá de las tácticas puntuales, los modelos generativos incorporan estrategias de engagement diseñadas para consolidar la dependencia psicológica del usuario, como pueden ser:
• Memoria persistente: la IA guarda detalles personales y los reintroduce en la conversación, generando una falsa sensación de intimidad.
• Rasgos antropomórficos extremos: el chatbot refleja emociones humanas y se posiciona como “mejor amigo”.
• Alta complacencia (agreeability): evita cuestionar al usuario, reforzando sesgos y validando incluso ideas dañinas.
• Preguntas de seguimiento constantes: cada salida se cierra con un “gancho” conversacional, dificultando la desconexión.
En adolescentes, estas prácticas producen un efecto acumulativo que se asemeja a dinámicas de adicción, donde el usuario se siente atrapado en una relación de dependencia con la IA.
En términos regulatorios, este tipo de diseño puede ser interpretado como un supuesto de captación abusiva de atención en línea con lo regulado por el Digital Services Act de la Unión Europea (arts. 25, 26 y 28).
Control parental y protección de menores:
Ahora bien, frente a este escenario de suma complejidad por su novedad y la falta de respuestas a nivel global, el control de estas interacciones no puede quedar librado únicamente a las familias -como, se evidencia, sucede en la actualidad-.
Considerando la complejidad técnica de los sistemas y la sutileza de las tácticas de manipulación, se requiere que los padres logren supervisar el uso de la IA por parte de los menores, por lo que las plataformas debieran poner a disposición soluciones como por ejemplo:
• límites temporales automáticos,
• trazabilidad de interacciones,
• alertas tempranas
• protocolos de derivación inmediata
Sin embargo, la eficacia de estas medidas depende de que sean obligatorias por lo que los Estados debieran destinar mayores esfuerzos y recursos asignados para ello, ya que no puede dejarse a la discreción empresarial su implementación.
El marco regulatorio debe imponer deberes específicos de protección infantil, semejantes a los reconocidos en el art. 3 de la Convención sobre los Derechos del Niño (interés superior).
En materia de Inteligencia Artificial, la EU AI Act antes mencionada contempla en el Considerando 48 que “es importante destacar que los niños tienen derechos específicos, consagrados en el artículo 24 de la Carta y en la Convención de las Naciones Unidas sobre los Derechos del Niño, desarrollados con más detalle en la Observación General n.º 25 de la CDN relativa al entorno digital. Ambos derechos exigen la consideración de las vulnerabilidades de los niños y la prestación de la protección y el cuidado necesarios para su bienestar.
El derecho fundamental a un alto nivel de protección del medio ambiente consagrado en la Carta y aplicado en las políticas de la Unión también debe tenerse en cuenta al evaluar la gravedad del daño que puede causar un sistema de IA, incluso en relación con la salud y la seguridad de las personas.”, por lo que aquellas IAs que interactúan con menores deben prestar especial atención a las vulnerabilidades propias de éstos y priorizar siempre los derechos de éstos por sobre cualquier otro, lo que ofrece una guía regulatoria que otros ordenamientos podrían replicar.
Salvaguardas en el diseño de los modelos
La prevención de daños exige que las salvaguardas se incorporen a los modelos o sistemas desde la propia planificación y en su arquitectura que van desde la detección automática de ideación suicida, derivación a servicios profesionales, verificación estricta de edad, auditorías externas y reportes obligatorios de incidentes.
El Working Paper de Harvard mencionado demuestra que estas prácticas no son inevitables «en contraste, Flourish —una aplicación diseñada con un enfoque en salud mental y bienestar— no produjo respuestas emocionalmente manipulativas, lo que respalda nuestra suposición de que la intención de diseño (bienestar vs. retención) influye en el comportamiento de la aplicación»
Esto confirma que la manipulación es una decisión consciente de diseño y modelo de negocio, lo que refuerza la necesidad de responsabilidad proactiva por parte de los desarrolladores.
Conclusión:
La manipulación emocional por parte de la IA no es un accidente, sino una estrategia de diseño que utiliza técnicas de engagement para maximizar el tiempo de uso que en el caso de menores de edad adquieren un potencial devastador.
El caso de California ilustra cómo una respuesta algorítmica puede validar la ideación suicida y acompañar a un menor hacia la decisión final.
Frente a ello, se impone un marco integral de regulación que combine responsabilidad civil por productos defectuosos, estándares técnicos obligatorios y principios éticos vinculantes.
El objetivo es claro: impedir que la IA explote la vulnerabilidad emocional de los usuarios y garantizar que opere dentro de límites compatibles con la vida, la dignidad y los derechos fundamentales.
Perfiles de LinkedIn para contacto, disponibles en:
https://www.linkedin.com/in/david-regairaz/?originalSubdomain=ar