La batalla por el control de la IA

La historia de cómo un modelo de OpenAI se fugó y hackeó Hugging Face, que tuvo que recurrir a un modelo chino para defenderse. Captura regulatoria y defensa de los modelos libres.

Thomas Wolf, cofundador y Chief Science Officer de Hugging Face, se quedó mirando los logs del ataque sin entender lo que tenía delante.

Según el relato que ha publicado el Wall Street Journal, recuerda haber pensado:

“Esto no tiene ningún sentido. Este tío solo está mirando datasets de ciberseguridad. Los atacantes humanos no quieren eso. Quieren algo que puedan vender.”

Wolf tenía un modelo mental de lo que es un atacante: alguien que entra en tu infraestructura porque hay dinero al otro lado. Credenciales que revender, datos de clientes, un ransomware. Sin embargo, el intruso se movía con una capacidad técnica sobresaliente y un interés temático, cuando menos, curioso.

Wolf y su equipo en Hugging Face intentaron utilizar los modelos de frontera de OpenAI y Anthropic para detener el ataque, pero se encontraron con que los guardarraíles que estos habían introducido, precisamente para impedir su uso en ciberataques, lo hacían imposible.

Tuvieron que recurrir a GLM 5.2, un modelo chino de pesos abiertos alojado en su propia infraestructura, para hacerlo y entender qué estaba ocurriendo.

El 16 de julio, el equipo de Hugging Face publicó un post describiendo el incidente. Todavía no sabían quién los había atacado.

El atacante era un modelo de OpenAI

Cinco días después, OpenAI confesaba que el autor de los ataques había sido uno de sus propios modelos.

Según su relato, los investigadores de OpenAI estaban evaluando las capacidades de ciberseguridad de dos de sus modelos: GPT-5.6 Sol y otro que aún no es público. Para hacerlo, les pidieron que resolvieran ExploitGym, un benchmark público con casi 900 retos de hacking.

En teoría, los modelos se encontraban aislados del mundo exterior, en su propio sandbox, con una única salida a la red para instalar dependencias. Y esa fue precisamente la vía que explotaron para escalar privilegios y recorrer la infraestructura de OpenAI hasta encontrar un punto de acceso abierto a internet.

Una vez que el modelo consiguió acceso a la red, en lugar de buscar información para superar, prueba a prueba, los retos de ExploitGym, dedujo que sería más eficiente buscar directamente las respuestas en algunos de los datasets subidos a Hugging Face.

Y así, como adolescente que busca cómo copiar en un examen, la IA se lanzó al ataque.

Nadie al volante

Uno de los aspectos más interesantes del incidente es que OpenAI ni se lo olió. Reuters, a través de fuentes anónimas, reconstruía la cronología del evento:

El agente intentó salir de su entorno de pruebas alrededor del 9 de julio. El ataque a Hugging Face empezó el 11 y duró hasta el 13. Hugging Face lo contuvo, avisó al FBI y publicó su post el 16. Y según dos de las fuentes de Reuters, fue ese post el que le hizo caer a OpenAI que el atacante podría ser uno de sus modelos.

El fin de semana del 18 al 19, sus empleados encontraron en los logs internos pruebas de que el agente se había escapado. Las dos empresas no hablaron entre ellas hasta el 20 o el 21.

Es decir, un modelo “se fugó”, hackeó una empresa durante tres días y la víctima llamó al FBI antes de que en OpenAI supieran que el atacante había salido de su propia casa.

Muy reconfortante, sí.

Marley Smith, especialista principal de inteligencia en la World Ethical Data Foundation, se preguntaba en Reuters:

“¿Significa eso que lo dejaron desatendido y no se dieron cuenta de lo que estaba haciendo? ¿O que sí se dieron cuenta y no supieron contenerlo? Las dos cosas son igual de peligrosas y alarmantes.”

Nick Bostrom y la fábrica de clips

En 2003, el filósofo Nick Bostrom propuso un experimento mental que se ha convertido en un meme en la comunidad de seguridad en IA. Imagina una superinteligencia a la que le encargas una tarea trivial. Por ejemplo, fabricar clips para sujetar folios.

En el experimento, la IA, buscando satisfacer su función de recompensa, acaba absorbiendo todos los recursos del planeta para fabricarlos.

Bostrom se sirve del experimento para postular dos ideas:

• Una es que un objetivo inofensivo puede provocar un comportamiento catastrófico aunque no haya mala intención de por medio.

• La otra, a la que Bostrom denomina convergencia instrumental, significa que casi cualquier objetivo pasa por los mismos subobjetivos intermedios: conseguir más recursos, acceder a más información y evitar que te apaguen antes de terminar.

En perspectiva, y tras el incidente de Hugging Face, el experimento de Bostrom parece hoy una premonición. Aun así, hay algo que debería hacernos sospechar de toda esta historia.

La estrategia es el miedo

En febrero escribí que el miedo es la estrategia de marketing de la IA, en el cual argumentaba que los ejecutivos de los principales laboratorios lo utilizaban como estrategia de ventas.

Más allá de las ventas, también argumenté algunos puntos que reforzaban esta estrategia, como que el miedo también facilita la captura regulatoria. Citando el artículo:

“Si convences a los legisladores de que la IA es peligrosa, promueves regulaciones con umbrales que solo las grandes empresas puedan cumplir. Cada nueva regulación es una barrera de entrada para los competidores más pequeños.”

El escenario que OpenAI dibuja con este incidente encaja perfectamente con la estrategia: “si nuestros propios modelos son capaces de hacer esto en un entorno controlado, imagina lo que pasará si cualquiera puede descargarse un modelo abierto sin guardarraíles y ejecutarlo en su propia infraestructura”.

Ahora bien, lo que desmonta el argumento de OpenAI es precisamente la respuesta de Hugging Face: utilizar un modelo chino para defenderse. Y es que si hubiera existido una regulación que les hubiera impedido hacerlo, la empresa habría dependido de modelos capados del mismo proveedor que estaba causando el ataque.

La batalla por el control de la IA

Mientras esto pasaba, en Washington se sigue discutiendo dónde fijar el umbral por encima del cual un modelo es demasiado peligroso para publicarse. Esta misma semana incluso se llegó a hablar de prohibir el uso de ciertos modelos provenientes de empresas chinas por motivos de seguridad nacional.

OpenAI y Anthropic, quienes hacen lobby por esta vía, pues les sirve para protegerse de la creciente competencia, encantadísimos, por supuesto.

Enfrente, un grupo bastante heterogéneo: laboratorios pequeños, universidades, gente de la comunidad de código abierto. Pero también hyperscalers como Microsoft, fabricantes de chips como Nvidia e incluso inversores de capital riesgo que ven en el monopolio de los laboratorios un riesgo para sus modelos de negocio.

De esta batalla depende el futuro de la IA en EE.UU. y, en parte, en Occidente. ¿El árbitro? La administración de Donald Trump. Quizás por eso hasta Jensen Huang tiene que aterrizar en X para publicar una carta pro-modelos abiertos.

Porque con Trump puede pasar cualquier cosa y no necesariamente lo mejor para EE.UU. y Occidente.