Por Diego Fierro Rodríguez
Hay historias sobre inteligencia artificial que parecen diseñadas para alimentar los discursos más apocalípticos sobre la tecnología. Y luego están las que resultan mucho más sencillas, pero quizá por eso mismo más inquietantes. No hace falta imaginar una IA tomando el control de una central eléctrica o diseñando por sí sola una operación militar. A veces basta con algo mucho más cotidiano: un agricultor que pregunta a un chatbot cómo proteger su cosecha, confía en la respuesta y decide llevarla directamente al campo.
Eso es, precisamente, lo que ocurrió con un agricultor de 67 años identificado como Wu, residente en Chuzhou, China. Después de aproximadamente un año utilizando herramientas de inteligencia artificial, el agricultor había pasado de cierta desconfianza inicial a considerar que aquellas respuestas podían ser una ayuda práctica para su trabajo. La experiencia acumulada había sido positiva. La herramienta le había dado consejos que funcionaban y, poco a poco, esa sucesión de aciertos fue construyendo algo mucho más poderoso que una simple utilidad tecnológica: confianza.
El problema llegó cuando aparecieron malas hierbas y plagas en su plantación de sésamo. Wu recurrió de nuevo a la inteligencia artificial y le pidió una solución. El sistema le proporcionó una combinación de productos destinada, según la información recibida, a acabar con las plantas que estaban perjudicando la cosecha sin dañar el cultivo. Wu preparó la mezcla, la introdujo en un dron agrícola y pulverizó la sustancia sobre unas diez hectáreas.
La respuesta del campo llegó al día siguiente. No quedaban malas hierbas, pero tampoco quedaban prácticamente plantas de sésamo. El tratamiento había cumplido una parte de su cometido de una manera extraordinariamente eficaz: había acabado con todo lo que encontraba a su paso. Las pérdidas económicas se estimaron en unos 22.000 dólares.
Lo más llamativo de la historia llegó después. Cuando Wu volvió a consultar a la inteligencia artificial y le explicó lo sucedido, el propio sistema reconoció que uno de los productos recomendados no era adecuado para el sésamo. Entre ellos se encontraba el flufenacet, un herbicida empleado para combatir determinadas malas hierbas en cultivos como la soja, pero que no resultaba apropiado para la plantación de Wu.
La ironía es difícil de pasar por alto. La misma herramienta que había recomendado el producto terminó explicando posteriormente que ese producto era precisamente uno de los problemas. Y ahí aparece la verdadera lección de esta historia.
El problema no fue solamente una respuesta equivocada
Sería sencillo presentar lo sucedido como otro ejemplo de las conocidas «alucinaciones» de la inteligencia artificial. La máquina se equivocó, el agricultor siguió el consejo y la cosecha quedó destruida. Caso cerrado. Pero esa explicación se queda corta.
Lo verdaderamente interesante no es únicamente que una IA pudiera proporcionar una recomendación incorrecta. Lo preocupante es el camino que llevó desde una respuesta generada estadísticamente hasta una decisión física con consecuencias económicas reales.
Wu no utilizó la inteligencia artificial como quien realiza una búsqueda preliminar o consulta una curiosidad. Había construido durante meses una relación de confianza con ella. Al principio dudaba de sus respuestas. Después comprobó que algunas funcionaban. Esa sucesión de experiencias satisfactorias redujo progresivamente sus reservas hasta que, cuando apareció un problema importante, la herramienta ya no era para él una fuente experimental de información, sino prácticamente un asesor.
Y ahí se encuentra uno de los grandes desafíos de la expansión de la IA. Una respuesta puede ser incorrecta incluso cuando está formulada con una seguridad impecable. El sistema no necesita expresar dudas, mostrar incertidumbre o reconocer que carece de información suficiente. Puede construir una explicación perfectamente convincente y, al mismo tiempo, equivocarse en el elemento que más importa.
La confianza humana funciona de una manera muy distinta. Si alguien nos ofrece diez consejos y nueve son acertados, nuestra percepción sobre esa persona cambia. Tendemos a concederle mayor autoridad en el futuro. Con los sistemas de inteligencia artificial puede suceder exactamente lo mismo. La acumulación de respuestas útiles genera una sensación de fiabilidad que puede terminar siendo desproporcionada respecto de las verdaderas capacidades del sistema.
Una respuesta convincente no equivale a una respuesta segura
Hay algo particularmente delicado en este tipo de situaciones: la inteligencia artificial no necesariamente «sabe» aquello que aparenta saber.
Según explicó la empresa responsable de la herramienta utilizada por Wu, el sistema no disponía de una base de conocimiento propia específicamente diseñada para resolver ese problema agrícola. Sus respuestas se generaban a partir de información procedente de otras fuentes. Esa circunstancia resulta fundamental.
Un agricultor puede conocer perfectamente un producto químico, haberlo visto utilizar en otros cultivos y saber que funciona contra determinadas malas hierbas. Pero la pregunta importante no es si el producto existe ni siquiera si funciona como herbicida. La cuestión decisiva es si resulta adecuado para ese cultivo concreto, en esa fase de crecimiento, con esa concentración, bajo esas condiciones ambientales y dentro de las restricciones de uso correspondientes.
Una inteligencia artificial puede combinar correctamente muchas piezas de información y, aun así, equivocarse precisamente al establecer la conexión entre ellas.
Eso es lo que convierte este caso en algo más que una anécdota agrícola. El problema aparece siempre que una recomendación automatizada abandona la pantalla y se transforma en una actuación sobre el mundo físico.
Una equivocación en la redacción de un correo puede corregirse. Una respuesta errónea en una conversación puede simplemente ignorarse. Una recomendación equivocada sobre un producto químico aplicada mediante un dron sobre diez hectáreas puede no tener vuelta atrás.
Del chatbot al asesor universal
Durante mucho tiempo hemos utilizado los buscadores y las herramientas digitales como instrumentos para encontrar información. La inteligencia artificial introduce una diferencia importante: ya no nos limitamos a localizar documentos, sino que recibimos una respuesta sintetizada que parece adaptada específicamente a nuestro problema. Eso resulta extraordinariamente cómodo. También puede ser peligroso.
Cuando una persona busca «qué herbicida se utiliza contra determinada mala hierba», tiene ante sí múltiples fuentes y debe comparar la información. Cuando pregunta a un chatbot y obtiene directamente una combinación concreta de productos, cantidades y procedimiento, desaparece buena parte de esa fricción. La respuesta parece más útil precisamente porque evita al usuario el trabajo de comprobarla.
Y cuanto más natural es la conversación, más sencillo resulta olvidar que detrás de ella no existe necesariamente un profesional que esté asumiendo responsabilidad por la recomendación.
La cuestión no consiste en demonizar la inteligencia artificial. Al contrario: puede convertirse en una herramienta extraordinariamente valiosa para el sector agrícola. Puede ayudar a analizar datos meteorológicos, detectar enfermedades en las plantas, optimizar el riego, estudiar imágenes obtenidas mediante drones, identificar patrones o facilitar el acceso a información técnica.
Pero una cosa es utilizarla como instrumento de apoyo y otra muy diferente convertirla en la última autoridad antes de tomar una decisión que pueda generar un daño irreversible.
El error estaba también en el procedimiento
Hay una segunda enseñanza especialmente importante. La recomendación de la IA no llegó directamente al campo por sí sola. Entre la respuesta del sistema y la destrucción de la cosecha hubo una decisión humana.
Wu recibió la información, preparó los productos, cargó el dron y realizó la fumigación.
Esto importa porque permite evitar una conclusión excesivamente cómoda: «la culpa fue de la IA». La inteligencia artificial no tomó físicamente el mando del dron. Fue una persona quien decidió que la respuesta era suficientemente fiable como para aplicarla.
Eso no significa que toda la responsabilidad deba trasladarse al usuario. Significa que la utilización segura de estas herramientas requiere establecer barreras entre la recomendación automatizada y la decisión material.
En un ámbito como el agrícola, esas barreras pueden ser especialmente importantes. Una recomendación sobre productos fitosanitarios debería contrastarse con documentación técnica fiable y, cuando exista riesgo relevante, con un profesional cualificado. La inteligencia artificial puede servir para formular preguntas, ordenar información o detectar posibilidades. No debería convertirse, por sí sola, en la validación definitiva de una intervención química sobre una explotación.
La confianza es también una cuestión tecnológica
Quizá el elemento más humano de toda esta historia sea precisamente la confianza. Wu no comenzó utilizando la inteligencia artificial porque creyera que era infalible. Ocurrió algo mucho más habitual: empezó con dudas y fue cambiando de opinión a medida que obtenía resultados que consideraba satisfactorios. Ese mecanismo es perfectamente comprensible.
El problema es que una máquina puede acumular una larga serie de respuestas correctas y seguir siendo incapaz de garantizar que la siguiente lo será. El usuario, sin embargo, no necesariamente mantiene esa distinción. La experiencia anterior pesa. Si el sistema ha funcionado muchas veces, resulta natural concederle mayor crédito.
Por eso los avisos que aparecen en las herramientas de IA acerca de la posibilidad de errores pueden resultar insuficientes. No porque sean falsos, sino porque terminan integrándose en el paisaje de la interfaz. Igual que sucede con tantos mensajes de advertencia que aparecen constantemente en nuestra vida digital, llega un momento en que dejamos de prestarles atención. Wu reconoció que no había reparado en esa advertencia.
La cuestión, por tanto, no es únicamente informar al usuario de que la IA puede equivocarse. También hay que diseñar sistemas y procedimientos que impidan que una respuesta potencialmente errónea pueda convertirse sin controles intermedios en una actuación de alto impacto.
Cuando la automatización llega al mundo físico
Existe una diferencia fundamental entre equivocarse dentro de una pantalla y equivocarse fuera de ella.
La expansión de los agentes de inteligencia artificial, los sistemas conectados a herramientas y la automatización mediante dispositivos físicos hace que esa frontera sea cada vez más importante. La IA ya no tiene por qué limitarse a escribir un texto o responder una pregunta. Puede interactuar con programas, ordenar operaciones, controlar determinados sistemas y, en algunos ámbitos, intervenir indirectamente sobre el entorno físico.
La historia de Wu ofrece una versión modesta, pero muy ilustrativa, de ese fenómeno. El chatbot no fumigó las diez hectáreas. Sin embargo, proporcionó la información que precedió a una operación automatizada mediante un dron.
El resultado demuestra que el verdadero riesgo no siempre está en que la IA tenga una capacidad extraordinaria. A veces basta con que una persona confíe demasiado en una respuesta ordinaria.
Y cuanto más accesibles sean los sistemas capaces de ejecutar físicamente las decisiones sugeridas por la IA, mayor será la importancia de los mecanismos de supervisión. No necesitamos desconfiar de la IA; necesitamos saber cuándo confiar
La lección final no debería ser que hay que dejar de utilizar inteligencia artificial. Sería una conclusión tan exagerada como poco útil. Lo que este episodio aconseja es algo más razonable: debemos aprender a diferenciar entre utilidad y autoridad.
Una IA puede ser extraordinariamente útil sin ser una autoridad. Puede ayudarnos a formular hipótesis sin estar capacitada para confirmarlas. Puede proporcionarnos una primera aproximación sin ofrecer una garantía. Puede ahorrar horas de trabajo y, al mismo tiempo, necesitar que una persona cualificada revise su resultado antes de aplicarlo.
En el caso de Wu, esa pequeña diferencia habría podido cambiarlo todo. Una consulta adicional a un técnico agrícola, una comprobación del etiquetado del producto, una revisión específica de su autorización para el cultivo de sésamo o incluso una prueba limitada antes de tratar toda la explotación podrían haber evitado que una recomendación equivocada se transformara en una pérdida de 22.000 dólares.
La inteligencia artificial no destruyó por sí sola aquellas diez hectáreas. Lo que las destruyó fue una cadena de confianza mal calibrada: una respuesta aparentemente segura, un usuario que ya había aprendido a confiar en ella, la ausencia de una comprobación profesional y una tecnología capaz de aplicar el tratamiento a gran escala en muy poco tiempo.
Y quizá esa sea la verdadera advertencia que deja esta historia. El peligro de la IA no siempre aparece cuando la máquina se equivoca. Aparece cuando nosotros dejamos de imaginar que puede hacerlo.