Redactado por Enzo Longobucco Miralles, quien es -entre otras muchas cosas- es científico de Datos con R. Desarrollador y administrador de bases de datos, programación informática en aplicaciones específicas. Director de Desarrollo de Software, ciencia de datos e Inteligencia Artificial en CD4IOT, empresa dedicada a la aplicación del Big Data y la Inteligencia Artificial en el Internet de las Cosas con sedes en Barcelona y Chongqing (China). Combina su actividad profesional con la docencia en La Salle-URL, como formador en Ciencia de Datos e Inteligencia Artificial aplicada al Negocio, y de Machine Learning, además de colaborar en formaciones de Hadoop y Spark. Finalista en el primer Data challenge de Aguas de Barcelona en el año 2022.
Hace unos días, OpenAI, la empresa cuyo nombre raramente representa su trayectoria de investigación, rompió con su rutina y publicó los modelos gpt-oss de 20 y 120 mil millones de parámetros (billones ingleses). La razón por la cual tomaron esta decisión, según su artículo con el que acompañaron el lanzamiento, es fomentar un ecosistema de código abierto más seguro con tal de mitigar las vulnerabilidades de los modelos abiertos. A modo de ejemplo, uno de los problemas que destacan en el artículo tiene que ver con la alineación malintencionada que realizan actores ajenos a la empresa que desarrolla el modelo al re-entrenarlo. Según la narrativa popular, si dichos actores consiguen crear una versión del modelo para que genere cualquier tipo de contenido, también pueden aumentar la probabilidad de que este genere una respuesta nociva, lo cual nos coloca frente al riesgo de tener que lidiar con sistemas que no solo habilitan conductas criminales, sino que además las facilitan, amplifican y dificultan su trazabilidad.
Este argumento del peligro que supone el acceso descontrolado a herramientas de IA para la seguridad colectiva es uno que a menudo rescatan personajes como Geoffrey Hinton, Dario Amodei o Elon Musk entre otros, todos ellos referentes del sector en sus respectivos campos. Sin embargo, a menudo obviamos ciertas diferencias entre los modelos denominados como «abiertos» y aquellos «privados» que se utilizan para ofrecer servicios por parte de terceros.
Años antes de que se lanzara ChatGPT, concretamente en 2018, se empezó a prestar atención a la diferencia entre los modelos abiertos al público y los cerrados denominados «propietarios» debido a la creciente divergencia en la calidad de sus resultados. Esta diferencia, pese a que sigue presente a día de hoy, lleva eclipsando desde entonces muchos de los hallazgos en varios campos de investigación que, a consecuencia de su pobre impacto mediático, siguen siendo el génesis de las sorpresas que nos llevamos con los lanzamientos cada vez más recurrentes por parte de las grandes tecnológicas.
Generalmente se dice que la IA como la entendemos empezó a cobrar fuerza a raíz de la conferencia de Darmouth en la década de 1950. Desde entonces, el ecosistema ha sufrido un par de períodos en los que el interés por esta tecnología ha decrecido considerablemente denominados como los inviernos de IA (notablemente, entre la creación del perceptrón por parte de Minsk y Papert hasta la ideación de la retropropagación y desde poco antes del 2000 hasta el aterrizaje del aprendizaje profundo que precede a AlphaZero). Estos períodos pueden variar en función de la gráfica con la que nos informemos, sin embargo, todos suelen coincidir en que a raíz del advenimiento del aprendizaje profundo, una vez quedó claro el potencial de las redes neuronales, el interés por desarrollar soluciones de IA se disparó como nunca antes. En aquellos tiempos previos al 2018 es importante recalcar que la comunidad tenía un incentivo claro por mantener sus hallazgos abiertos y reproducibles dada la falta de financiación con la que construir sus sistemas. Fue precisamente el cambio en este incentivo a raíz de la introducción de la financiación de capital el que dio paso a una nueva era, la de los modelos cerrados.
Actualmente, este incentivo no solo sigue existiendo, sino que lleva creciendo considerablemente a un ritmo estrepitoso. Ahora, los equipos se deben a sus inversores y buscan rentabilizar sus soluciones lo antes posible para poder seguir levantando rondas de financiación con las que sostener el ritmo de innovación que les permita mantenerse competitivos. Dicho en otras palabras, existe un incentivo en reducir la transparencia en nombre de la «seguridad». Este mismo incentivo explica, en parte, la divergencia entre la calidad de las respuestas de los modelos propietarios y los modelos abiertos al público, ya que si bien cualquiera puede aprovechar los avances públicos para mejorar su sistema, no todos pueden aprovechar aquellos cuyo acceso está restringido a unos pocos miembros exclusivos de un equipo predefinido.
La empresa de IA responsable de iniciar esta era no es otra que OpenAI, quienes cuando lanzaron GPT-1 en 2018, demostraron como su modelo tenía capacidades más allá de las de cualquier otro hasta la fecha. Más aún, junto al lanzamiento, popularizaron el concepto del ajustado de modelos (en inglés fine-tuning), una metodología con la que cualquiera puede redirigir las respuestas de un modelo de lenguaje natural para que genere resultados significativamente mejores al aplicarla sobre modelos previamente entrenados. No obstante, el verdadero punto de inflexión no ocurrió hasta 2022, cuando todos fuimos testigos del éxito que tuvieron con la adopción masiva del ahora popular ChatGPT cuando por aquel entonces integraba el nuevo modelo GPT-3.5. Fue tal la diferencia entre los modelos abiertos y los cerrados que representaba la herramienta que muchos cesaron sus esfuerzos por competir con su solución en favor de integrarla directamente en sus sistemas.
Para poder entender como de atrás se habían quedado los modelos abiertos hay que entender primero la distinción entre los modelos de código abierto y los modelos de pesos abiertos. Los modelos de código abierto son aquellos que incluyen los datos de entrenamiento, el código fuente y los pesos calibrados de la red una vez entrenada. Gracias a todos estos elementos el modelo es completamente transparente y reproducible, ya que, si bien tenemos la red calibrada, también podemos recrearla desde cero siguiendo el código y ejecutándolo con los datos de entrenamiento. Este enfoque es el único que nos permite auditar el modelo en su totalidad dado que los sesgos presentes en los datos serán aquellos que den forma a los pesos con los que se calculará la respuesta. Con los modelos de pesos abiertos, no obstante, esto no lo podemos hacer. Para este tipo de modelos, si bien tenemos los pesos de la red, no tenemos nada que nos ayude a entender cómo se han calculado y, por lo tanto, no podemos saber que sesgos tienen.
Es precisamente de esta falta de transparencia que acompaña a los modelos de pesos abiertos, de la que se aprovechan muchas empresas de IA como la susodicha OpenAI para llevar a cabo una práctica tan vergonzosa como dañina, el lavado de imagen (en inglés y para este caso concreto denominado «open-washing»). Estas empresas son plenamente conscientes de que a más datos, mayor probabilidad de conseguir una respuesta mejor, por lo que si bien, y a regañadientes, en ocasiones se prestan a publicar algún modelo de pesos abiertos, lo que raramente hacen es adjuntar el código o los datos con los que se ha entrenado, no vaya a ser que sea justo lo que necesitaba su competencia pra expulsarlos del mercado. Todo ello, en aras de mantener la «seguridad».
A día de hoy no tenemos la menor idea de con qué datos, técnicas, código o sistemas se han entrenado los modelos más punteros de las empresas de IA. Sin embargo, esto no ha conseguido aplacar los intentos de reproducir sus hallazgos con métodos y recursos abiertos al público. Por ejemplo, en 2021, EulerAI publicó el modelo GPT-J de 6 mil millones de parámetros seguido de GPT-NeoX de 20 mil millones de parámetros, ambos de código abierto. Al igual que EulerAI, Mistral, fundada en 2023 en París, también es responsable de haber publicado algunos de los modelos de pesos abiertos con mejor rendimiento hasta la fecha. Aún así estas dos empresas, como muchas otras se han visto relegadas por las grandes tecnológicas dado el incremento en parámetros y datos con los que se entrenan los modelos año tras año. Dicho esto, la comunidad de código abierto también se ha sabido aprovechar de dos eventos clave relativamente recientes.
En 2023, los pesos del aún secreto modelo Llama3 que estaba desarrollando Meta, se filtraron al público. Este modelo de 7 mil millones de parámetros no sólo tenía un rendimiento competitivo, sinó que además cabía en la mayor parte de tarjetas gráficas disponibles en el mercado, lo que aceleró su adopción para experimentar con su estructura. Gracias a esta ola de experimentos, estructuras alternativas como Alpaca, Vicuna, Redpajama, Falcon e incluso la primera iteración de Mistral aparecieron, se propagaron y popularizaron, diversificando así el ecosistema y encendiendo de nuevo la chispa de la investigación pública. Al menos así fue hasta 2024, cuando OpenAI lanzó los mal nombrados modelos de «razonamiento» que nadie supo reproducir de buenas a primeras y con los que lograban generar respuestas de mayor calidad de forma consistente. Ni un año duró la ventaja competitiva del código abierto a ojos del público general.
Si algo hay que reconocer a OpenAI es precisamente su inexorable avance en la inovación de los modelo de IA. Empezaron aprovechando la estructura «transformer» para crear GPT (el transformer de propósito general), luego popularizaron la metodología del ajuste más allá del re-entrenamiento para alinear las respuestas de dichos modelos y, finalmente con su modelo O1 fueron pioneros en el campo del «razonamiento» simulado mediante las «cadenas de pensamiento».
E aquí donde llega el segundo y más reciente impacto al ecosistema, DeepSeek R1. Con su lanzamiento, no solo se vio reducida considerablemente la distancia entre los modelos abiertos y los cerrados, sino que su impacto en la economía global se hizo notar cuando, al revelar la diferencia entre los constes de entrenamiento de DeepSeek y los de la mayor parte de empresas pioneras de IA, causaron una pérdida de 600 mil millones de dólares en el valor de Nvidia, hasta el momento intocable. DeepSeek demostró que los modelos pioneros no solo son alcanzables con hardware asequible, sino que además, al hacerlo abierto, reavivaron la idea de que gracias a la transparencia de la comunidad abierta se puede seguir innovando sin perder competitividad.
Volviendo al presente, si bien el mercado se ha recuperado del susto y Nvidia ha vuelto a incrementar su valoración superando incluso la que tenía previa al lanzamiento de DeepSeek, al igual que con Llama3 en su momento, otras arquitecturas abiertas o parcialmente abiertas están emergiendo a raíz de este evento. Modelos como los de la familia Qwen, Kimi o Mistral están aumentando en calidad cada vez más rápido y difuminando la diferencia entre ellos y los que siguen siendo cerrados. Estamos viviendo un período apasionante entre cambios y rivalidades en el que aún queda por ver si los modelos cerrados seguirán encabezando la carrera con alguna nueva sorpresa que mejore la calidad de las respuestas significativamente o si los abiertos se impondrán de forma definitiva. Sea como sea, aquí seguiré para estar al día ¿Y vosotros, qué modelo usaréis la semana que viene?
Perfil de linkedin disponible para contacto:
https://www.linkedin.com/in/enzo-longobuco
Perfil de linkedin de su empresa disponible para contacto:
https://www.linkedin.com/company/cd4business/posts/?feedView=all
Página web de su empresa: