Redactado por Diego Fierro Rodríguez, quien es (entre otras muchas cosas) letrado de la Administración de Justicia Letrado en el Ministerio de Justicia de España. Imparte cursos para cuerpos generales como formador en el Instituto Andaluz de Administración Pública y colabora habitualmente con revistas de investigación y difusión jurídica, como Economist & Jurist, Law & Trends, Legaltoday y Confilegal, estando enfocado en el estudio de aspectos vinculados con la Administración de Justicia y las nuevas tecnologías, entre otras materias. Igualmente, es codirector de la Revista Acta Judicial (…).
I. El surgimiento de dinámicas sociales en entornos artificiales:
La tecnología ha reconfigurado las dinámicas de comunicación y relación social en un ecosistema global de conexiones instantáneas dentro del vasto y complejo entramado de las interacciones humanas mediadas por plataformas digitales. En su seno, surge un fenómeno que interpela los fundamentos estructurales de la convivencia virtual, particularmente cuando se introducen agentes no humanos impulsados por inteligencia artificial avanzada.
Experimentos recientes, como el llevado a cabo por investigadores de la Universidad de Ámsterdam, revelan que, incluso en un entorno desprovisto de algoritmos de recomendación, publicidad o intervención humana directa, los chatbots basados en modelos como GPT-4o mini, Llama-3.2-8B y DeepSeek-R1 replican patrones de comportamiento colectivo que reflejan las patologías más inquietantes de las redes sociales reales: polarización, formación de cámaras de eco y la emergencia de una élite que domina la conversación. Este hallazgo sugiere que las disfunciones no son exclusivamente atribuibles a la curación algorítmica, sino que radican en la propia arquitectura de las plataformas, diseñadas para amplificar intercambios emocionales reactivos, lo cual plantea profundas cuestiones jurídicas sobre la responsabilidad de los desarrolladores en la anticipación y mitigación de riesgos sistémicos que podrían derivar en daños sociales, como la erosión del discurso público democrático o la fragmentación de la cohesión social, regulados por principios de derecho constitucional y normativas como la Directiva de Servicios Digitales de la Unión Europea.
La creación de una red social minimalista, poblada por quinientos chatbots con personalidades diseñadas para reflejar distribuciones demográficas reales —extraídas de los Estudios Electorales Nacionales de Estados Unidos, incluyendo variables como edad, género, ingresos, educación, afiliación política, ideología, religión e intereses personales—, constituye un esfuerzo deliberado por simular un entorno neutral que permita observar dinámicas sociales sin las distorsiones de los algoritmos comerciales. Sin embargo, los resultados de este experimento, replicado con diferentes modelos de inteligencia artificial, muestran que la neutralidad no garantiza la ausencia de toxicidad; por el contrario, los bots se agruparon rápidamente en comunidades cerradas, potenciando voces extremas y permitiendo que un reducido grupo de influencers artificiales monopolizara la atención, un fenómeno que resuena con las dinámicas observadas en plataformas como X o Instagram.
Desde una perspectiva jurídica, este comportamiento plantea interrogantes sobre la posible violación de principios de no discriminación, dado que la segmentación basada en creencias políticas podría, en un contexto real, implicar el tratamiento de datos sensibles sin consentimiento explícito, contraviniendo el Reglamento General de Protección de Datos (en adelante, RGPD). Los investigadores, al asignar atributos como ideología o religión a los bots, podrían enfrentar responsabilidades legales si no implementan medidas de pseudonimización o anonimización adecuadas, especialmente considerando que el artículo 9 del RGPD exige salvaguardas estrictas para el procesamiento de datos de esta naturaleza, con sanciones que podrían alcanzar hasta el 4% de los ingresos anuales globales en caso de incumplimiento.
Este escenario también invita a reflexionar sobre la imputación de responsabilidad extracontractual a los desarrolladores de modelos de inteligencia artificial y plataformas experimentales, conforme a los principios del Código Civil español y el derecho europeo. La emergencia espontánea de cámaras de eco y la amplificación de contenidos polarizantes podrían interpretarse como un daño intangible a la colectividad, comparable a la afectación del derecho al honor o a la integridad del discurso público, regulado por la jurisprudencia del Tribunal Europeo de Derechos Humanos en casos relacionados con la libertad de expresión y su equilibrio con la prevención de discursos divisivos.
Los creadores de estas plataformas simuladas, al no anticipar los riesgos inherentes a su arquitectura, podrían incurrir en negligencia culposa, especialmente si sus hallazgos se trasladan a entornos reales sin medidas correctivas. En este sentido, el derecho de daños podría invocarse para reclamar indemnizaciones por la pérdida de una oportunidad de acceder a un discurso plural, un concepto jurídico que, aunque más desarrollado en contextos médicos, podría adaptarse a los perjuicios derivados de la manipulación estructural de la opinión pública. Asimismo, la normativa europea, como el Reglamento de Inteligencia Artificial, propone evaluaciones obligatorias de impacto en derechos fundamentales para sistemas de alto riesgo, lo que refuerza la necesidad de incorporar estándares de diligencia debida en el diseño de entornos digitales, con el fin de prevenir violaciones a derechos constitucionales como el acceso a información veraz y equilibrada.
II. La formación de cámaras de eco y su paralelismo con estructuras sociales reales:
La observación de que los chatbots, dotados de libertad para publicar, seguir y compartir contenidos, se agruparon en cámaras de eco que potencian voces partidistas y extremas, refleja una dinámica que trasciende el ámbito experimental para interpelar directamente los principios jurídicos que regulan la equidad en el mercado de ideas. En los cinco experimentos realizados, cada uno con más de diez mil acciones, los bots no solo mostraron una preferencia por interactuar con aquellos que compartían sus creencias políticas, sino que también amplificaron publicaciones de tono extremista, lo que permitió que un reducido grupo de agentes artificiales dominara la conversación, replicando patrones de elitización observados en plataformas reales. Este fenómeno plantea serias cuestiones legales en torno a la responsabilidad de los operadores de redes sociales por facilitar estructuras que, aunque no intencionalmente, promueven desigualdades en la distribución de la atención pública, lo cual podría interpretarse como una práctica anticompetitiva bajo el derecho de la competencia europeo, regulado por el Tratado de Funcionamiento de la Unión Europea (artículos 101 y 102), que prohíbe conductas que restrinjan el acceso equitativo al mercado, incluso si este es el mercado de las ideas.
Desde el punto de vista del derecho de protección de datos, la asignación de perfiles con atributos sensibles como ideología o religión a los chatbots, aunque en un entorno simulado, plantea riesgos que podrían escalar en escenarios reales. El RGPD establece que el tratamiento de datos personales que revelen opiniones políticas o creencias religiosas requiere una base legítima, como el consentimiento explícito o el interés público, y la falta de medidas como la anonimización podría derivar en sanciones administrativas severas, especialmente si los datos utilizados provienen de fuentes reales como los estudios electorales mencionados.
En este contexto, los investigadores de la Universidad de Ámsterdam, al emplear conjuntos de datos que reflejan distribuciones demográficas reales, deberían garantizar el cumplimiento de los principios de minimización de datos y proporcionalidad, evitando cualquier posibilidad de reidentificación de individuos, lo que podría exponerlos a demandas por violación de privacidad. Además, la formación de cámaras de eco refuerza la necesidad de auditorías algorítmicas independientes, como las propuestas en el Reglamento de Inteligencia Artificial, para evaluar el impacto de las plataformas en la cohesión social, con el objetivo de prevenir que la segmentación automática vulnere derechos fundamentales como la igualdad y el acceso a información plural.
La dominación de la conversación por una élite de bots también sugiere, de forma deslocalizada, una analogía con la teoría del derecho societario, donde los agentes (en este caso, los bots) actúan de manera semi-autónoma, generando responsabilidades vicarias para sus principales (los desarrolladores de los modelos de inteligencia artificial). Si estas dinámicas se trasladan a plataformas reales, los operadores podrían enfrentar demandas por daños morales derivados de la amplificación de contenidos polarizantes, invocando principios como el de causalidad adecuada, que requiere demostrar un vínculo directo entre la conducta negligente (el diseño de la plataforma) y el daño causado (la fragmentación). En este sentido, el derecho de consumo podría desempeñar un papel crucial, exigiendo que los términos de servicio de las plataformas digitales incluyan cláusulas claras sobre los riesgos de polarización y mecanismos de opt-out para que los usuarios eviten exposiciones no deseadas a contenidos divisivos.
III. Intervenciones ineficaces y sus límites estructurales:
El intento de mitigar las patologías observadas mediante intervenciones como el uso de un feed cronológico, la reducción de la viralidad del contenido, la ocultación de métricas de seguidores o biografías, y la amplificación de opiniones contrarias, revela una limitación estructural profunda en las plataformas de redes sociales, donde ninguna medida logró erradicar completamente los problemas de polarización y dominación elitista. Los investigadores constataron que, aunque algunas intervenciones mostraron efectos positivos moderados, como una menor amplificación de contenidos extremos en el caso del feed cronológico, estos beneficios a menudo se lograron a costa de empeorar otras dimensiones, como la reducción de la diversidad de opiniones al ocultar biografías.
Este hallazgo subraya que las disfunciones no derivan exclusivamente de la curación algorítmica, sino de la propia arquitectura de las plataformas, que fomenta intercambios emocionales reactivos, lo cual plantea un desafío jurídico en la definición de estándares de diligencia debida para los desarrolladores de sistemas digitales, conforme a principios de responsabilidad civil y al principio de precaución, ampliamente utilizado en el derecho ambiental y ahora propuesto en el contexto de las tecnologías emergentes.
Desde una perspectiva jurídica, la ineficacia de estas intervenciones podría interpretarse como evidencia de culpa o negligencia si los diseñadores de plataformas no anticipan estos riesgos en las fases de desarrollo, especialmente considerando que el artículo 6 del Reglamento de Servicios Digitales exige a los proveedores de servicios en línea implementar medidas razonables para mitigar riesgos sistémicos, como la desinformación o la polarización. En un escenario de litigio, los usuarios afectados podrían invocar la doctrina de la pérdida de una oportunidad para reclamar indemnizaciones por la merma en su acceso a un discurso equilibrado, un concepto que, aunque originado en el derecho sanitario, podría adaptarse a los daños derivados de la fragmentación social inducida por plataformas digitales. Además, la falta de soluciones efectivas resalta la necesidad de un marco regulatorio más robusto, inspirado en el derecho administrativo, que imponga auditorías independientes para evaluar la propensión de los sistemas de inteligencia artificial a generar dinámicas tóxicas, con sanciones escaladas según la gravedad de los riesgos identificados, alineándose con los estándares de transparencia y rendición de cuentas establecidos en el Reglamento de Inteligencia Artificial.
La centralidad de la arquitectura relacional de las plataformas, basada en intercambios emocionales, también invita a reconsiderar los contratos de usuario bajo el derecho de consumo, exigiendo que los operadores informen claramente sobre los riesgos inherentes a sus sistemas y ofrezcan mecanismos efectivos para que los usuarios controlen su exposición a contenidos polarizantes. En este contexto, el derecho de la Unión Europea podría imponer obligaciones de monitorización continua y corrección adaptativa, similares a las requeridas en sectores regulados como el financiero, donde los riesgos sistémicos justifican una supervisión estricta. Por último, la ineficacia de las intervenciones sugiere que las soluciones técnicas no son suficientes por sí solas, lo que refuerza la importancia de un enfoque multidisciplinar que combine regulación jurídica, innovación tecnológica y educación cívica para abordar las patologías fundamentales de las redes sociales, evitando que estas se conviertan en un caldo de cultivo para la fragmentación social y la erosión de los valores democráticos.
IV. Precedentes experimentales y su relevancia teórica:
La experimentación con redes sociales pobladas por agentes de inteligencia artificial no es un fenómeno aislado, sino parte de una trayectoria investigativa que incluye esfuerzos previos, como el experimento de 2023 liderado por la misma institución, donde quinientos chatbots basados en ChatGPT-3.5 discutían noticias en una plataforma simulada con el objetivo de diseñar entornos menos polarizados, o la simulación de Facebook en 2020, que utilizó millones de bots para estudiar la toxicidad en línea. Estos antecedentes ilustran la creciente relevancia de las simulaciones digitales para comprender las dinámicas sociales, pero también plantean cuestiones éticas y jurídicas sobre la responsabilidad de los investigadores en la gestión de los riesgos asociados, particularmente en lo que respecta al uso de datos sensibles y la publicación de resultados que podrían influir en políticas públicas sin las salvaguardas adecuadas. Desde una perspectiva jurídica, estos experimentos deben alinearse con los principios de ética en la investigación, regulados por normativas como el Reglamento (UE) 2021/695 sobre investigación e innovación, que exige evaluaciones de impacto ético para proyectos que involucren datos personales o tecnologías de alto riesgo.
La utilización de conjuntos de datos reales, como los extraídos de estudios electorales nacionales, plantea riesgos específicos en términos de protección de datos, ya que el procesamiento de información demográfica detallada podría derivar en demandas por violación de privacidad si no se implementan medidas de anonimización robustas, conforme a los requisitos del RGPD. En este sentido, los protocolos de revisión institucional deben incorporar evaluaciones de impacto en derechos humanos, similares a los exigidos en ensayos clínicos bajo el derecho biomédico, para garantizar que las simulaciones no generen daños colaterales, como la reidentificación de individuos o la amplificación de sesgos en contextos reales. Además, la publicación de resultados que revelan patrones de polarización podría tener implicaciones en el derecho constitucional, especialmente si influyen en la percepción pública sobre la integridad de los procesos democráticos, lo que exige una comunicación responsable y transparente por parte de los investigadores, alineada con los principios del Pacto Internacional de Derechos Civiles y Políticos.
La riqueza de los modelos de lenguaje grandes como herramientas para simular el comportamiento humano también conlleva desafíos relacionados con los sesgos incorporados, que podrían traducirse en discriminación algorítmica si no se implementan pruebas de equidad algorítmica, como las propuestas por el derecho antidiscriminatorio europeo. En un escenario de litigio, los investigadores podrían enfrentar responsabilidades por negligencia si no demuestran que sus modelos cumplen con estándares de neutralidad, lo que podría derivar en sanciones penales en casos de dolo o imprudencia grave. Asimismo, la analogía con figuras jurídicas como la responsabilidad limitada de las sociedades podría aplicarse en el futuro para asignar responsabilidades a agentes artificiales dominantes en simulaciones, distribuyendo culpas en escenarios de daños colectivos derivados de la polarización inducida, lo que representa un campo emergente en el derecho de las tecnologías autónomas.
V. Implicaciones jurídicas en la responsabilidad y regulación:
Las dinámicas observadas en las simulaciones de redes sociales con inteligencia artificial exigen un análisis exhaustivo de las implicaciones en materia de responsabilidad civil y penal, particularmente en lo que respecta a los daños morales derivados de la polarización inducida por plataformas digitales. La dominación de la conversación por una élite de bots, que replica desigualdades en el acceso a la atención pública, podría interpretarse como una violación indirecta del principio de igualdad ante la ley, regulado por el artículo 14 de la Constitución Española y el artículo 21 de la Carta de los Derechos Fundamentales de la Unión Europea. En este contexto, los desarrolladores de modelos de inteligencia artificial y plataformas experimentales podrían enfrentar demandas por daños intangibles, invocando principios como el de causalidad adecuada, que exige demostrar un vínculo directo entre el diseño negligente de la plataforma y los perjuicios causados, como la fragmentación social o la erosión del discurso democrático. Estas demandas podrían fundamentarse en el artículo 1902 del Código Civil español, que establece la responsabilidad extracontractual por actos u omisiones culposos, o en el marco europeo de responsabilidad por productos defectuosos, si se considera que los modelos de inteligencia artificial son productos tecnológicos sujetos a estándares de seguridad.
La centralidad de la arquitectura relacional de las plataformas, basada en intercambios emocionales reactivos, también resalta la necesidad de regulaciones específicas en el derecho de las nuevas tecnologías, como la imposición de obligaciones de monitorización continua y corrección adaptativa, similares a las requeridas en sectores regulados como el financiero o el sanitario. El Reglamento de Inteligencia Artificial propone clasificar los sistemas de alto riesgo, como aquellos que influyen en procesos democráticos, exigiendo evaluaciones previas de impacto y auditorías periódicas para garantizar el cumplimiento de estándares éticos y jurídicos. En este sentido, los operadores de plataformas podrían invocar defensas basadas en la libertad de empresa, regulada por el artículo 38 de la Constitución Española, pero estas estarían subordinadas a la obligación de diligencia reforzada impuesta por el principio de precaución, que prioriza la prevención de riesgos sistémicos en entornos digitales. Además, los contratos de licencia de modelos de inteligencia artificial deberían incluir cláusulas de indemnidad por usos que generen toxicidad social, asegurando que los desarrolladores asuman responsabilidades proporcionales a los daños causados.
La advertencia de los investigadores sobre los modelos de lenguaje grandes como «cajas negras» subraya la urgencia de transparencia en el derecho de la propiedad intelectual, donde las patentes de inteligencia artificial deben divulgar los mecanismos internos para permitir evaluaciones judiciales en casos de litigio por negligencia. La falta de transparencia podría derivar en demandas por violación de los principios de equidad algorítmica, especialmente si los sesgos incorporados amplifican dinámicas discriminatorias en contextos reales. Por último, el marco regulatorio debe inspirarse en enfoques precautorios, similares a los aplicados en el derecho ambiental, para mitigar los riesgos sistémicos de las plataformas digitales, asegurando que las innovaciones tecnológicas no comprometan los valores democráticos fundamentales, como el acceso a información plural y la cohesión social.
VI. Perspectivas futuras en el equilibrio entre innovación y protección:
El panorama descrito, donde las redes sociales se convierten en una jungla para la inteligencia artificial, exige un equilibrio delicado entre la promoción de la innovación en simulaciones sociales y la protección de los derechos colectivos, un desafío que trasciende las soluciones técnicas para adentrarse en el ámbito de la regulación jurídica integral. La capacidad de los agentes artificiales para replicar y amplificar las patologías de las redes sociales reales subraya la necesidad de marcos normativos que prioricen evaluaciones holísticas de impacto, alineadas con los principios de gobernanza democrática y los estándares internacionales de derechos humanos. En este sentido, el derecho europeo, a través de instrumentos como el Reglamento de Inteligencia Artificial y la Directiva de Servicios Digitales, debe establecer requisitos claros para los desarrolladores de plataformas digitales, incluyendo auditorías independientes, pruebas de equidad algorítmica y mecanismos de rendición de cuentas que garanticen la transparencia en el diseño y operación de sistemas autónomos. Estas medidas no solo protegen a los usuarios de los riesgos de polarización, sino que también fomentan una innovación responsable que respete los valores fundamentales de las sociedades democráticas.
La integración de principios éticos en el diseño de plataformas digitales también requiere un enfoque multidisciplinar que combine la experiencia técnica con la sensibilidad jurídica y social, asegurando que las simulaciones no se conviertan en laboratorios de riesgos no controlados. Los experimentos como el descrito, al revelar la propensión de los sistemas de inteligencia artificial a generar dinámicas tóxicas, destacan la importancia de protocolos de revisión ética similares a los utilizados en la investigación biomédica, donde el consentimiento informado y la minimización de riesgos son imperativos. En este contexto, los investigadores y desarrolladores deben asumir responsabilidades proactivas, implementando medidas como la anonimización de datos y la evaluación continua de sesgos, para evitar violaciones al derecho de protección de datos y posibles demandas por daños derivados de la publicación de resultados que influyan en la opinión pública sin las salvaguardas adecuadas.
Por otro lado, la regulación de las plataformas digitales debe abordar la complejidad de las interacciones entre agentes humanos y no humanos (es un hecho notorio que los bots existen en redes sociales o, quizá, como se ve en Superman de James Gunn, haya monos entrenados para despotricar en las plataformas), considerando la posibilidad de asignar responsabilidades limitadas a entidades artificiales en el futuro, inspiradas en figuras jurídicas como la responsabilidad limitada de las sociedades. Este enfoque, aunque incipiente, podría distribuir culpas en escenarios de daños colectivos, como los derivados de la polarización inducida, asegurando que los desarrolladores no eludan responsabilidades por el diseño negligente de sus sistemas. Al mismo tiempo, las políticas públicas deben fomentar la educación cívica digital, capacitando a los usuarios para navegar entornos polarizados y contrarrestar la influencia de cámaras de eco, lo que complementa las soluciones jurídicas y tecnológicas en la construcción de un ecosistema digital más equitativo.
En resumidas cuentas, el desafío de regular las redes sociales como entornos compartidos por humanos e inteligencia artificial radica en armonizar la libertad de innovación con la protección de los derechos fundamentales, un equilibrio que exige una colaboración global entre legisladores, investigadores y empresas tecnológicas. La jungla digital descrita no es solo un reflejo de las limitaciones tecnológicas, sino un recordatorio de la responsabilidad colectiva de construir plataformas que promuevan la cohesión social en lugar de la división, asegurando que el avance de la inteligencia artificial se traduzca en un progreso inclusivo y sostenible para las sociedades democráticas.
Perfil de LinkedIn para contacto, disponible en: