Antes, el debate sobre la inteligencia artificial (IA) se concentraba en su potencial y en riesgos meramente teóricos. Ese análisis, válido en su momento, ha quedado obsoleto. La irrupción de la IA generativa transformó por completo el panorama tecnológico y, en respuesta, el derecho comparado empezó a delinear un mapa regulatorio que anteriormente resultaba inexistente. Hoy, el problema de la manipulación del comportamiento ya no es una hipótesis, sino una realidad que exige una respuesta legal urgente.
Hasta el año pasado, el debate académico sobre la inteligencia artificial giraba sobre todo en torno a la productividad, la creatividad y los riesgos potenciales. Hoy, los grandes modelos de lenguaje (LLMs) y sistemas de generación de contenido sintético se utilizan también como herramientas de acompañamiento emocional, con usuarios recurriendo a ellos como si fueran terapeutas o consejeros personales. Este cambio de uso plantea riesgos concretos de manipulación de la conducta, afectando derechos fundamentales como la autodeterminación informativa y la privacidad.
La IA como “psicólogo”: riesgos y vulnerabilidades
El acceso masivo a chatbots de IA y sistemas generativos permite que los usuarios compartan información sensible, incluyendo miedos, conflictos internos y pensamientos de riesgo. A diferencia de la relación con un profesional de la salud mental, estas interacciones no están amparadas por secreto profesional ni por obligaciones éticas vinculantes. Como señaló Sam Altman, CEO de OpenAI, “las conversaciones con ChatGPT no están protegidas por secreto profesional”, lo que implica que datos altamente personales pueden ser utilizados para entrenar sus modelos sin conocimiento y mucho menos un consentimiento libre e informado, salvo en la versión Enterprise, que amerita un análisis específico aparte.
La falta de supervisión humana y de mecanismos jurídicamente regulados genera un espacio de riesgo: los modelos de IA pueden, inadvertidamente o por diseño, reforzar patrones de pensamiento nocivos, fomentar dependencia emocional o incluso inducir conductas perjudiciales. Esta situación evidencia la necesidad de salvaguardas que garanticen la autodeterminación informativa, entendida como el derecho de las personas a decidir sobre el uso y tratamiento de sus datos personales.
Autodeterminación informativa y privacidad
La autodeterminación informativa constituye un principio central para la protección de los derechos fundamentales en el contexto digital. Su relevancia aumenta frente a sistemas de IA capaces de analizar y predecir conductas, emociones y preferencias. En la práctica, el uso de IA generativa para acompañamiento emocional puede vulnerar este principio cuando los datos recopilados no se manejan con transparencia, no se obtiene consentimiento informado o se emplean para generar contenido manipulativo.
Proteger la autodeterminación informativa requiere establecer protocolos claros sobre:
- la finalidad del tratamiento de los datos,
- mecanismos de consentimiento explícito y revocable,
- transparencia sobre la funcionalidad y limitaciones del sistema,
- supervisión de riesgos, especialmente para usuarios vulnerables como menores de edad.
Riesgos de manipulación y microtargeting psicológico
El control de la IA sobre el comportamiento humano ha evolucionado más allá de los algoritmos de recomendación que influyen en nuestras compras o en el contenido que consumimos. Mucho antes de la irrupción de los modelos de lenguaje, ya convivíamos y lo seguimos haciendo cada vez más con los algoritmos de redes sociales (que fueron los primeros en evidenciar cambios en la conducta a través de fenómenos como los retos virales y la amplificación de determinados contenidos). El desarrollo de LLMs y sistemas de generación de contenido sintético ha llevado esta dinámica a un nuevo nivel, habilitando formas avanzadas de microtargeting psicológico.
Estas tecnologías analizan patrones de comportamiento y datos personales para crear narrativas hiperpersonalizadas que apelan a emociones, miedos y deseos individuales. La combinación de microtargeting y contenido sintético ultra realista puede erosionar la percepción de la realidad, facilitando campañas de desinformación o influencia directa sobre decisiones personales.
Casos recientes ilustran estos riesgos: en Reino Unido, se registró la trágica muerte de un menor vinculada a la interacción con un chatbot de IA, mostrando la vulnerabilidad de ciertos usuarios frente a sistemas no supervisados. En Estados Unidos, estados como Illinois han respondido prohibiendo el uso de IA en terapia psicológica sin intervención directa de un profesional licenciado, reflejando un enfoque preventivo frente a daños potenciales.
Marco regulatorio comparado
- Unión Europea: enfoque integral y basado en riesgos
La Ley de Inteligencia Artificial de la UE (EU AI Act) establece obligaciones diferenciadas según el nivel de riesgo de los sistemas de IA. Los sistemas de riesgo inaceptable, como aquellos destinados a manipulación subliminal o puntuación social, están prohibidos, al considerarse una amenaza para los derechos fundamentales y la seguridad de las personas. Los sistemas de riesgo alto, que puedan afectar la salud, la seguridad o derechos fundamentales, deben cumplir con evaluaciones de impacto, gestión continua de riesgos, supervisión humana y transparencia en la toma de decisiones. Los sistemas de riesgo limitado, como los chatbots de uso general, están sujetos a obligaciones de trazabilidad y notificación de riesgos, con el objetivo de proteger los derechos fundamentales sin obstaculizar la innovación. Por último, los sistemas de riesgo mínimo o nulo presentan riesgos insignificantes y, por lo tanto, no requieren regulaciones específicas, aunque su correcto funcionamiento sigue siendo recomendable para mantener la confianza de los usuarios.
En materia de responsabilidad civil, la Directiva de Responsabilidad por IA (AILD) introduce un régimen basado en presunciones procesales, facilitando la carga de la prueba para las víctimas. Sin embargo, su eficacia para garantizar compensación ha sido cuestionada. Estudios europeos coinciden en que un régimen de responsabilidad objetiva para sistemas de alto riesgo permitiría una mayor claridad en la asignación de responsabilidades, internalización de riesgos y reducción de costos de litigio, equilibrando innovación tecnológica y protección de derechos fundamentales.
- Reino Unido: regulación basada en principios
En contraste, Reino Unido ha adoptado un enfoque más flexible, centrado en principios de equidad, transparencia y responsabilidad. La implementación depende de reguladores sectoriales, dejando margen a la innovación, pero con riesgos asociados a la falta de obligaciones específicas. Casos recientes muestran que la ausencia de supervisión regulatoria efectiva puede generar graves consecuencias para usuarios vulnerables, reforzando la necesidad de medidas preventivas concretas.
- Estados Unidos: regulación sectorial y ejemplos de Illinois
En Estados Unidos, la regulación es fragmentada. Illinois ha implementado normas que prohíben el uso de IA en terapia psicológica sin intervención de un profesional licenciado y establecen sanciones civiles de hasta 10.000 USD por cada incumplimiento. Este enfoque sectorial reconoce los riesgos particulares asociados a la manipulación emocional y protege a grupos vulnerables, constituyendo un modelo replicable en otros contextos.
Reflexiones finales
La manipulación del comportamiento mediante IA es una realidad que exige respuestas jurídicas y regulatorias. La interacción con sistemas automatizados que simulan apoyo emocional plantea riesgos concretos sobre autodeterminación informativa, privacidad y seguridad psicológica.
El análisis comparado muestra que:
- La Unión Europea ofrece un modelo integral y preventivo, con obligaciones diferenciadas según riesgo y perspectivas de responsabilidad objetiva para sistemas de alto riesgo.
- Reino Unido demuestra los límites de un enfoque basado únicamente en principios.
- Illinois evidencia que las regulaciones sectoriales pueden ser efectivas para proteger a los usuarios más vulnerables.
Para América Latina estos modelos ofrecen lecciones valiosas: la regulación eficiente es condición de posibilidad para la innovación ética. Salvaguardas robustas, transparencia, supervisión humana y marcos claros de responsabilidad son indispensables para asegurar que la IA sirva a las personas y no a la inversa.
Referencias:
- Miranda, P. M. (2024, enero 29). Algoritmos en las redes sociales: Un análisis crítico de su impacto en la salud mental y la autonomía del usuario. TechSeed | Revista de Tecnología e Innovación, (3). https://ijeditores.com/pop.php?option=articulo&Hash=62d17c507877fe092cf58347fd51ae2f
- Reglamento (UE) 2024/1689 de Inteligencia Artificial.
- Bertolini, A. (2025). Artificial intelligence and civil liability: A European perspective. European Parliament, Policy Department for Justice, Civil Liberties and Institutional Affairs (PE 776.426).
- Unión Europea. (2016). Reglamento (UE) 2016/679 de protección de datos personales.
- Argentina. (2000). Ley 25.326 de Protección de Datos Personales.