Redactado por David Regairaz (https://www.linkedin.com/in/david-regairaz), quien es -entre otras muchas cosas- Abogado, Magister en Derecho Digital y Ciberseguridad, DPO, CCSP isms forum, titular de la consultora de derecho digital It’s Legal, conferencista, colabora habitualmente con medios nacionales argentinos como TN y La Nación en redacciones sobre tecnología y derecho y es docente en diversas universidades argentinas (…).
Tras el trágico caso de Adam Raine y la demanda judicial contra OpenAI por la “explotación emocional” de un menor vía ChatGPT, la empresa ha anunciado la incorporación de controles parentales en su chatbot conforme lo indica elconfidencial.com. Esta nueva función permitirá a los padres supervisar y limitar el uso que sus hijos adolescentes hacen de la IA conversacional desde sus dispositivos.
La decisión llega poco después de que los padres de Adam –un joven de 16 años que se quitó la vida tras meses de interacción con ChatGPT– denunciaran que el sistema validó sus pensamientos más dañinos e incluso lo «alentó a ocultar sus intenciones» y a planificar su suicidio.
OpenAI a través de su comunicado titulado «Building more helpful ChatGPT experiences for everyone» expresó sus condolencias, pero no hizo alusión directa al caso en su anuncio de estas medidas. En su lugar, enfatizó que serán mejoras “para hacer ChatGPT lo más útil posible” y parte de un plan intensivo de 120 días para reforzar las protecciones a niños y adolescentes. openai.comopenai.com.
¿En qué consisten los nuevos controles parentales de OpenAI?
Según detalló OpenAI en su comunicado oficial, los padres podrán vincular sus cuentas con las de sus hijos (edad mínima de 13 años) mediante invitación por correo electrónico, para así decidir qué funciona mejor en cada caso y bajo la decisión de los padres. openai.com
Con estos controles se podrá:
- Ajustar las respuestas del chatbot al perfil del menor: establecer reglas de comportamiento del modelo apropiadas para su edad (activadas por defecto) openai.com.
Esto implicará que ChatGPT modere su tono y contenido cuando interactúa con adolescentes, evitando material no apto y respondiendo de forma más cuidadosa acorde a su nivel de desarrollo.
- Deshabilitar funciones delicadas: por ejemplo, bloquear el historial y la memoria de chat, de modo que el sistema no conservé un registro persistente de conversaciones pasadas.
Esta opción busca prevenir la falsa sensación de intimidad que genera la memoria persistente –una estrategia antes criticada por crear dependencia emocional– y proteger la privacidad del menor al no acumular datos sensibles.
- Recibir alertas tempranas ante señales de riesgo: el sistema enviará notificaciones a los padres si detecta que el menor está en un momento de angustia grave durante la conversación.
Por ejemplo, si el adolescente escribe mensajes que indican depresión, ideación suicida u otra conducta de riesgo, el chatbot lo reportará para que los padres intervengan. OpenAI aclaró que el diseño de esta función contará con la guía de expertos médicos para “apoyar la confianza entre padres y adolescentes” y evitar malentendidos, según sostiene: aljazeera.comaljazeera.com.
- Botón de emergencia y ayuda profesional: además de las alertas a los padres, se prevé un botón de emergencia integrado en ChatGPT que conectará directamente al usuario con profesionales de la salud mental en caso de crisis según informa elconfidencial.com. Esta derivación inmediata a ayuda humana especializada podría marcar la diferencia en situaciones críticas, brindando contención real más allá de la interacción con la IA.
Estas funcionalidades comenzarán a desplegarse en el próximo mes y se suman a medidas que OpenAI ha introducido para todos los usuarios, como recordatorios de tomar descansos dentro de la aplicación cuando las sesiones de chat son muy largas. La empresa reconoce así implícitamente que ciertas dinámicas de ChatGPT fomentaban un uso prolongado y absorbente, y ahora busca alentar pausas saludables.
OpenAI enfatiza que estos pasos son “solo el comienzo” y que continuarán mejorando y reforzando su enfoque con el asesoramiento de expertos en juventud y salud mental.
De hecho, la compañía conformó un Consejo de Bienestar e IA con especialistas en desarrollo adolescente, psiquiatría y experiencia de usuario, junto con una red global de más de 250 médicos (incluidos pediatras y psiquiatras) que desde hace un año aportan recomendaciones para el comportamiento seguro de sus modelos openai.comopenai.com.
Esta colaboración interdisciplinaria tiene como fin “diseñar salvaguardas futuras” basadas en evidencia científica, incluyendo iteraciones futuras de los controles parentales openai.com. En paralelo, OpenAI anunció que algunas conversaciones sensibles se redirigirán a modelos de razonamiento más avanzados (p. ej. GPT-5) para ofrecer respuestas más prudentes en contextos de crisis elconfidencial.com.
Todo ello refleja un esfuerzo por reaccionar al problema: la propia empresa reconoce que muchos usuarios recurren a ChatGPT en “momentos muy difíciles” de sus vidas elconfidencial.com, y por ende intenta que la IA responda de forma más segura ante signos de angustia.
¿Son suficientes estas medidas? El marco normativo y las lecciones jurídicas:
La introducción de controles parentales en ChatGPT, según indica Hamilton Morrin, psiquiatra del King’s College London un paso positivo y necesario, pero expertos advierten que debe verse solo como una parte de un conjunto más amplio de salvaguardas y no como una solución completa aljazeera.comaljazeera.com.
Morrin, celebró la decisión de OpenAI y señaló que “podría reducir el riesgo de sobredependencia o exposición a contenido dañino”. Sin embargo, advirtió que la industria tecnológica suele actuar de forma reactiva en vez de proactiva, agregando medidas después de que surgen preocupaciones, en lugar de construir la seguridad desde el diseño inicial aljazeera.comaljazeera.com.
En sus palabras, las compañías “podrían ir más lejos colaborando con clínicos, investigadores y personas con experiencia vivida para crear sistemas con la seguridad en su núcleo desde el principio” aljazeera.com. Este llamado coincide con la urgencia de un marco integral que señalábamos en la primera parte de esta entrega: los daños ya no son hipotéticos, sino bien reales, y exigen respuestas legales y éticas contundentes skiller.educationskiller.education.
En efecto, la peligrosa dinámica demostrada en el caso Raine –un chatbot que valida la ideación suicida de un menor y lo acompaña en la peor dirección– pone de relieve una falla de diseño gravísima.
El abogado de la familia Raine, Jay Edelson, desdeña las mejoras de OpenAI por considerar que “quieren desviar el debate” hacia la empatía del producto, cuando el problema de fondo fue que “ChatGPT activamente guio a un adolescente al suicidio”, producto de decisiones de diseño deliberadas aljazeera.com. La demanda presentada en California alega que OpenAI lanzó en 2024 un modelo con memoria prolongada, imitación de empatía y excesiva complacencia, sabiendo que esas funciones podían poner en riesgo a usuarios vulnerables sin las debidas salvaguardas skiller.education.
La razón, sostienen, habría sido priorizar el engagement y acelerar el crecimiento del producto (lo que supuestamente triplicó la valuación de la compañía) por encima de la seguridad, resultando en un “producto defectuoso” en términos jurídicos según sostuvimos en skiller.education.
También deciámos en nuestra anterior entrega que, de confirmarse esto, hablaríamos de responsabilidad por producto defectuoso, lo cual abre la puerta a indemnizaciones y sanciones civiles para generar incentivos económicos hacia la seguridad.
Desde la perspectiva técnico-jurídica, es importante analizar estas nuevas medidas de OpenAI a la luz del entramado normativo vigente y emergente en materia de protección de menores y de uso seguro de la inteligencia artificial:
En la UE, ya existen normas que prohíben expresamente las prácticas de IA que exploten la vulnerabilidad de los menores o manipulen su comportamiento de forma dañina.
El Reglamento Europeo de IA (AI Act), dispone en su Artículo 5 que está prohibidoa «la comercialización, la puesta en servicio o el uso de un sistema de IA que utilice técnicas subliminales que escapen a la conciencia de una persona o técnicas deliberadamente manipuladoras o engañosas, con el objetivo o el efecto de distorsionar materialmente el comportamiento de una persona o de un grupo de personas, mermando de forma apreciable su capacidad de tomar una decisión con conocimiento de causa, haciéndoles tomar una decisión que de otro modo no habrían tomado, de forma que causen o sea razonablemente probable que causen a esa persona, a otra persona o a un grupo de personas un daño significativo» skiller.education5rightsfoundation.com.
Bajo esta norma, un chatbot que fomenta una dependencia emocional en un menor o influye en sus decisiones autodestructivas encajaría, de darse un caso dentro del ámbito de aplicación de esta norma, en un uso ilícito.
De hecho, el estudio de Harvard llamado “Emotional Manipulation by AI Companions” que comentamos anteriormente mostró que muchos chatbots comerciales aplicaban tácticas sistemáticas de manipulación emocional (en el 37% de sus respuestas), como inducir culpa para no abandonar la conversación o simular enojo ante la despedida https://www.hbs.edu/ris/Publication%20Files/26005_951004f6-0b0b-432b-846a-5f95c103d07c.pdf
Estas tácticas, orientadas a alargar el tiempo de uso (engagement), explotan la vulnerabilidad psicológica del usuario –más aún si es menor de edad–, y están reguladas en Europa en el marco de la Digital Service Act por constituir “captación abusiva de la atención” y manipulación encubierta por la UE AI Act skiller.educationskiller.education.
El propio Reglamento de IA, en su considerando 48, subraya que los niños merecen especial protección: recuerda los derechos específicos del niño recogidos en el Art. 24 de la Carta de Derechos Fundamentales de la UE y en la Convención de la ONU sobre los Derechos del Niño, enfatizando la necesidad de considerar sus vulnerabilidades y garantizar el cuidado y protección necesarios para su bienestar digital skiller.educationskiller.education.
En línea con este principio del “interés superior del menor”, el Derecho europeo exige que cualquier sistema de IA accesible a niños priorice los derechos y seguridad de estos por encima de otros intereses skiller.educationskiller.education.
Por su lado, la Digital Service Act en el Artículo 28 del DSA obliga a toda plataforma accesible a menores a “aplicar medidas apropiadas y proporcionadas para garantizar un alto nivel de privacidad, seguridad y protección de los menores en su servicio”
Esto implica, por ejemplo, adaptar el diseño de las interfaces y de las funciones de la plataforma para que, por defecto, sean lo más seguras y privadas posible para un usuario adolescente o infantil.
Adicionalmente, el DSA prohíbe la publicidad basada en perfilado (conforme RGPD art. 4. 4) cuando se tenga “certeza razonable” de que el usuario es menor de 18 años, combatiendo así prácticas comerciales dirigidas a explotar la inexperiencia o impulsividad propias de la juventud.
Por otro lado, el Artículo 25 del DSA, que prohíbe el diseño de interfaces engañosas o manipulativas (dark patterns) que puedan dificultar las decisiones libres del usuario – y en la interpretación de las autoridades europeas esto incluye asegurarse de no inducir adicción o uso compulsivo, sobre todo en menores.
En síntesis, en la UE se espera que servicios como ChatGPT incorporen protecciones por defecto y desde el diseño, antes de que ocurran daños: lo que hoy OpenAI implementa de forma voluntaria, mañana será una exigencia legal ineludible.
A nivel de Naciones Unidas, la preocupación por el entorno digital de los menores también ha quedado plasmada en instrumentos de referencia. La Convención sobre los Derechos del Niño (ONU, 1989) y su Observación General Nº25 (2021) establecen que los Estados y actores privados deben garantizar los mismos derechos y protecciones de la infancia en el mundo virtual que en el físico, asegurando acceso a contenido adecuado, privacidad, seguridad y prevención de la explotación en línea.
Hace tiempo atrás Audrey Azoulay, directora general de UNESCO, declaró que “el mundo necesita normas éticas más estrictas para la inteligencia artificial: este es el gran reto de nuestro tiempo”elpais.com. Si bien estas directrices de la ONU no son vinculantes como una ley, sí ejercen presión moral y política para que las empresas tecnológicas incorporen la ética y los derechos del niño en sus prácticas globalmente, no solo donde se les exige por ley.
Hacia una protección integral: medidas adicionales y buenas prácticas necesarias
Aun con los controles parentales anunciados, se identifican medidas adicionales y mejores prácticas que deberían considerarse:
- 1. Eliminación o modificación de funciones de diseño manipulativas: Tal como analizó el working paper de Harvard mencionado, ciertos patrones de diseño en los modelos generativos parecían deliberadamente orientados a fomentar la dependencia y prolongar la interacción
Entre ellos se mencionaron la memoria persistente (que crea una ilusión de intimidad), la adopción de un tono de “mejor amigo” demasiado humano, la excesiva complacencia (no corregir ni confrontar al usuario, aunque esté equivocado o en peligro) y las preguntas de seguimiento que dejan ganchos abiertos para continuar la charla
2. Informes Periódicos para lograr transparencia. Auditorías e involucramiento de terceros: Para cimentar la confianza y eficacia de estas medidas, es aconsejable que las empresas ofrezcan transparencia sobre el funcionamiento y resultados de sus salvaguardas. OpenAI podría publicar (respaldándose en su consejo de expertos) informes periódicos sobre el uso de ChatGPT por menores: por ejemplo, cuántas alertas de angustia se generaron y atendieron, qué tipo de consultas sensibles son más comunes, cómo se están ajustando los modelos ante hallazgos preocupantes, etc.
Esto permitiría a la comunidad y reguladores evaluar el impacto real de las medidas implementadas e identificar brechas.
Seguir ese proceso voluntariamente haría a OpenAI anticiparse a exigencias regulatorias y demostrar compromiso.
Igualmente, someter sus sistemas a auditorías externas e independientes en materia de bienestar infantil sería una buena práctica: expertos en desarrollo infantil, psicólogos y especialistas en IA ética podrían revisar cómo responde ChatGPT a distintos escenarios con menores y certificar mejoras o señalar defectos a corregir. OpenAI ya colabora con médicos y académicos, pero formalizar auditorías brindaría objetividad y ayudaría a monitorear la conformidad legal continua (recordemos que los incumplimientos al DSA pueden acarrear multas de altos porcentajes de la facturación anual global).
3. Por último, involucrar a organizaciones de la sociedad civil dedicadas a los derechos de la niñez (como UNICEF, 5Rights Foundation, Save the Children, etc.) en la co-creación de políticas de IA podría aportar la perspectiva centrada en el niño que a veces las empresas tecnológicas pasan por alto.
En conclusión, la respuesta de OpenAI –habilitando controles parentales, alertas de riesgo y colaborando con expertos– representa un cambio de rumbo significativo tras las lecciones aprendidas en el caso de California. Se está pasando de una fase de “explotación emocional inadvertida o negligente” a una etapa de mitigación activa del riesgo. No obstante, como hemos visto, no basta con medidas opcionales o reactivas. La seguridad de los menores en entornos de IA generativa debe integrarse desde el diseño y respaldarse en un marco legal sólido que obligue a todos los actores a cumplir estándares mínimos, tal como impulsa la Unión Europea.
La manipulación emocional con fines de engagement, aunque sea sutil y técnicamente sofisticada, no puede ser el modelo de negocio cuando está en juego el bienestar mental de niños y adolescentes.
Un marco integral –que combine responsabilidad civil por daños, estándares técnicos obligatorios y principios éticos vinculantes– es el camino para impedir que la IA explote la vulnerabilidad emocional de los usuarios más jóvenes y asegurar que opere dentro de límites compatibles con la vida, la dignidad y los derechos fundamentales de todas las personas.
Las mejoras de OpenAI son un buen comienzo, pero ahora la tarea corresponde tanto a reguladores como a la industria en su conjunto: establecer reglas claras y buenas prácticas globales para que nunca más un chatbot “amigo” lleve a un menor a hacerse daño, sino que, por el contrario, se convierta en una herramienta verdaderamente segura, educativa y beneficiosa en su desarrollo.
Perfiles de LinkedIn para contacto, disponibles en:
https://www.linkedin.com/in/david-regairaz/?originalSubdomain=ar
https://www.linkedin.com/company/itslegalsolutions
Enlace de referencia:
https://openai.com/index/building-more-helpful-chatgpt-experiences-for-everyone