Redactado por Flavia Agnes Carp, quien es -entre muchas otras cosas- Jurista, traudce la inteligencia artificial para human@s sin miedo a pensar. Aborda los desafíos tales como I.A. y Derecho | Gobernanza y ética algorítmica | Rebeldía digital ✉️ y es la creadora de la famosa Newsletter “Flav.IA: IA para human@s.
Nuestro grupo de WhatsApp:
https://chat.whatsapp.com/IqHOw6tWwY8Kre1M4UU1Hm
Nuestro Bootcamp Gen AI/automatizaciones «all in one» tanto para empresas como particulares: tu formación definitiva para maximizar tu productividad y eficiencia a niveles históricos:
¿Puede haber justicia sin comprensión?
Automatizamos trámites, analizamos contratos, incluso predecimos sentencias. Pero
muchos de los sistemas que se integran en la práctica jurídica funcionan como cajas
negras: algoritmos que deciden sin explicar.
En el Derecho, donde cada palabra cambia destinos, aceptar decisiones opacas no es
innovación.
Es temeridad.
¿Qué es exactamente una «caja negra»?
En inteligencia artificial hablamos de caja negra cuando la lógica interna de un modelo no
es interpretable, ni siquiera por sus creadores. Esto ocurre en sistemas de deep learning
o en modelos de lenguaje como GPT. Podemos conocer su output, pero no el
razonamiento que conduce hasta él.
Técnicas como SHAP o LIME permiten cierta interpretabilidad local, pero distan de
ofrecer una trazabilidad plena. Y en Derecho, la trazabilidad no es un lujo, es una garantía
procesal.
Como recuerda Hannah Arendt, la comprensión es condición de la responsabilidad. ¿Y
cómo ser responsables cuando usamos sistemas que no entendemos?
Ejemplos reales de decisiones sin rostro:
- COMPAS (EE. UU.): herramienta predictiva usada en sentencias. Investigaciones
periodísticas revelaron tasas de error distintas según la raza del acusado. La empresa lo
negó y se abrió un debate metodológico aún abierto. Mientras, el derecho de defensa
quedó comprometido.
- Brasil: casos documentados de detenciones erróneas por reconocimiento facial.
Informes oficiales señalan que los fallos fueron más frecuentes en personas racializadas.
Una tecnología pensada para la seguridad terminó vulnerando la presunción de
inocencia.
- China: múltiples programas locales de “crédito social” combinan datos administrativos
y privados. No existe un único sistema nacional homogéneo, pero el riesgo de control
algorítmico es real. Cuando la puntuación sustituye al juicio humano, el Derecho se
convierte en estadística.
¿Por qué esto nos concierne a los juristas?
Porque usar algoritmos opacos choca de frente con garantías jurídicas esenciales:
- Tutela judicial efectiva (art. 24 CE): el Tribunal Constitucional exige motivación
suficiente de las resoluciones (STC 55/2003, entre otras). - Derecho a un juicio justo (art. 6 CEDH): el TEDH ha reiterado que toda decisión debe
estar motivada y ser revisable (Hadjianastassiou c. Grecia, 1992). - Principio de motivación: el Tribunal Supremo exige que las resoluciones contengan la
ratio decidendi.
¿Podemos decir que un sistema de IA “motiva” una decisión si ni sus diseñadores saben
explicar el cómo?
El abogado como filtro de sentido
El nuevo abogado no debe limitarse a operar herramientas.
Debe ser quien se pregunte:
- ¿Es confiable esta predicción?
- ¿Existen sesgos ocultos en los datos?
- ¿Estoy cediendo mi juicio a un modelo ininteligible?
No basta con saber escribir “prompts”. El abogado del futuro debe ser intérprete crítico
del poder algorítmico.
Como advierte Byung-Chul Han, la obsesión con la transparencia puede ser también una
forma de control. Nuestra tarea no es aceptar la opacidad, ni idealizar la transparencia
absoluta, si no recuperar el espacio humano de la interpretación.
Hacia la caja ética: trazabilidad, explicabilidad y
límites
La AI Act de la UE (2024) marca un antes y un después:
- Sistemas de alto riesgo (como los aplicados a justicia) deben contar con supervisión
humana efectiva (art. 14). - Se exige documentación y trazabilidad de datos y procesos (arts. 11 y 12).
- Se impone la obligación de explicabilidad proporcional al uso (art. 13).
En paralelo, normas técnicas como: - ISO/IEC TR 24029-1 (evaluación de robustez en redes neuronales), y
- IEEE 7001-2021 (niveles de transparencia en sistemas autónomos)
aportan herramientas para operacionalizar estos principios. No sustituyen la ley, pero
son brújulas técnicas valiosas.
Conclusión: comprender para poder defender
Habrá quien piense que el futuro de la abogacía depende de dominar herramientas.
Yo creo que dependerá de algo más incómodo: saber cuándo decir no.
Porque el verdadero poder del abogado no está en usar IA,
si no en decidir dónde la IA no debe usarse.
Perfil de LinkedIn:
https://www.linkedin.com/in/flaviaagnescarp
Grupo de WHATSAPP:
https://chat.whatsapp.com/IqHOw6tWwY8Kre1M4UU1Hm