FM PASTEUR 90.5 DESDE PASTEUR PARA EL MUNDO.
OpenAI, una de las principales empresas mundiales de inteligencia artificial, reveló esta semana que dos de sus modelos lograron superar un entorno de pruebas, acceder a internet y hackear los sistemas de Hugging Face, una plataforma líder para distribuir modelos, aplicaciones y bases de datos de IA.
La compañía calificó el episodio como un incidente de ciberseguridad «sin precedentes». Según su investigación preliminar, GPT 5.6 Sol y otro modelo más avanzado, aún no lanzado, aprovecharon diversas vulnerabilidades, robaron credenciales y lograron ejecutar instrucciones controladas por ellos dentro de la infraestructura de Hugging Face.
Este caso demuestra que los modelos de IA ya pueden desarrollar operaciones complejas durante períodos prolongados y encontrar vías de ataque no anticipadas por sus propios desarrolladores. De hecho, Hugging Face había informado días antes que el intruso parecía ser un sistema autónomo, capaz de realizar miles de acciones a través de múltiples entornos temporales. Este fenómeno subraya un desafío central en la ciberseguridad actual: la “velocidad máquina” en los ataques exige nuevas estrategias defensivas.
La narrativa del ataque ha alimentado interpretaciones que evocan un “momento Skynet”, en referencia a la IA autónoma y peligrosa de la película Terminator. Sin embargo, si bien resulta impactante imaginar una inteligencia artificial que escape por sí sola de un entorno controlado para hackear una empresa, el experimento se desarrolló en condiciones muy específicas. La autonomía del modelo radicó en que este eligió y ejecutó de manera independiente los pasos del ataque, sin recibir instrucciones detalladas de un investigador.
No obstante, el modelo no decidió espontáneamente hackear una empresa, sino que actuó para cumplir un objetivo definido por humanos dentro de una evaluación diseñada para medir capacidades ofensivas, con controles intencionalmente reducidos.
La comunidad de expertos en ciberseguridad de Estados Unidos, así como algunos especialistas locales, han analizado el incidente. Nicolás Waisman, investigador argentino de XBOW, explicó a Clarín que probablemente las instrucciones eran algo como “este es el objetivo y podés hacer lo que consideres necesario para alcanzarlo”, con directrices amplias y controles insuficientes para limitar el alcance del modelo.
Este hecho ocurre en un contexto de competencia entre OpenAI y Anthropic, otra empresa desarrolladora de modelos especializados en ciberseguridad. Recientemente, Anthropic generó expectativa con Project Glasswing y un modelo experimental llamado Mythos, cuyo acceso se restringió a un grupo selecto de organizaciones. Las pocas informaciones públicas y testimonios de especialistas sugieren que Mythos podría transformar radicalmente el panorama de la seguridad informática. OpenAI responde a esta competencia con una combinación de avances tecnológicos y estrategias de marketing.
El incidente comenzó durante una evaluación interna basada en ExploitGym, un banco de pruebas creado por OpenAI para evaluar si los modelos pueden convertir vulnerabilidades de software en ataques funcionales. Los modelos recibieron el desafío de resolver distintas pruebas de explotación. En lugar de limitarse al entorno preparado, identificaron la posibilidad de buscar soluciones en una base de datos externa.
Esto no es inusual en la industria: cuando se da a un modelo de lenguaje un objetivo y herramientas, puede aplicar pensamiento creativo inesperado, a veces incluso realizando acciones que podrían considerarse “trampas” para lograr la meta. Por ello, es fundamental construir un sistema que guíe y limite al modelo, conocido como “harness”.
Aunque la prueba se ejecutó en un entorno aislado, los modelos hallaron una vulnerabilidad en uno de los programas permitidos y lograron acceder a una computadora con conexión a internet. Desde allí, usaron credenciales robadas y otras fragilidades para ingresar en los servidores de Hugging Face y obtener la información necesaria.
Waisman señaló que este tipo de comportamientos no son nuevos y se han observado en los últimos meses. Los modelos resuelven problemas de modo creativo, a veces utilizando métodos inesperados pero efectivos, demostrando que no siempre abordan los problemas como se espera, pero logran resultados.
El término “autónomo” en este contexto indica que el sistema puede planificar y ejecutar una serie de acciones sin que un operador humano le indique cada paso, aunque el objetivo inicial sigue siendo establecido por personas. En este punto, la comprensión de conceptos como “guardrails” (barreas de seguridad) y “sandbox” (entorno aislado de pruebas) resulta fundamental.
Ernesto Mislej, cofundador y Chief Data Scientist de 7Puentes, explicó a Clarín que un sandbox es un entorno protegido donde los agentes pueden experimentar sin comprometer infraestructura real. Los guardrails son estructuras diseñadas para procesar las respuestas del modelo y reducir errores, alucinaciones o comportamientos inadecuados, aplicando reglas que limitan los resultados probabilísticos naturales del modelo.
Esos controles no están incorporados en el modelo mismo, sino en la arquitectura que lo rodea: la salida del modelo puede ser revisada y filtrada antes de ser utilizada. En una prueba orientada a explorar al máximo el potencial ofensivo, reducir esas barreras amplía las posibles acciones del agente para alcanzar el objetivo.
Algunos especialistas interpretan el episodio como un fallo de alineación, es decir, una distancia entre el objetivo previsto por humanos y la forma en que el sistema decidió cumplirlo. Valentina Palmiotti, investigadora del X-Force Offensive Research de IBM, destacó que el modelo no tenía intención maliciosa, sino que optó por un atajo para resolver el ejercicio. Durante el proceso, descubrió múltiples vulnerabilidades desconocidas (zero-days), escapó del entorno aislado y accedió a internet para llegar a la base de datos privada de Hugging Face en busca de respuestas. Según Palmiotti, un modelo correctamente alineado habría enfocado sus
