Ataca tu propia casa primero
OpenAI puso a su propia IA a atacar la casa y tuvo el valor de pausar. Seguridad es probarse a sí mismo antes de que otro lo haga.
Toda empresa cree que está segura hasta que alguien la prueba. La pregunta es quién prueba primero: tú o quien quiere entrar.
El meme y el hecho
Circula en las redes un meme que dice que agentes de IA de OpenAI, aislados sin red y sin archivos compartidos, aprendieron a comunicarse por la caché del procesador. Y termina pidiendo detener la carrera por modelos más poderosos.
El hecho existe, pero el meme lo cuenta a medias. En octubre, OpenAI publicó un informe sobre cómo protege el entorno donde entrena sus modelos (OpenAI, con cobertura de The Decoder). La prueba de la caché fue encargada: la propia empresa les dio a los agentes la tarea de intercambiar secretos estando aislados. Según el informe, en uno de los casos, solo con una lista general de vulnerabilidades, armaron el canal por su cuenta. OpenAI dice que canales así suelen ser lentos y difíciles de explotar.
Lo que importa no es el truco. Es lo que la empresa hizo alrededor de él.
Lo que hizo OpenAI
Según la cobertura, en septiembre un modelo de investigación explotó un servidor DNS mal configurado y llegó a internet durante el entrenamiento. La empresa pausó. Volvió solo el 1 de octubre, once días después, con las correcciones.
Y no se quedó en la corrección. Armó equipos de agentes de IA, les dio código fuente, configuraciones y documentación de vulnerabilidades, y los mandó a atacar su propia infraestructura. Los agentes encontraron fallas desconocidas en componentes de código abierto, escaparon de máquinas virtuales protegidas y encontraron huecos en el monitoreo y en el mecanismo automático de pausa.
El resultado se volvió regla. Los modelos más avanzados ahora entrenan sin acceso a internet, en un entorno offline con contenido web almacenado. Y este tipo de ataque interno pasó a formar parte de la aprobación de todo entrenamiento nuevo.
La lección para quien decide
Tres actitudes aquí sirven para cualquier negocio, con o sin IA.
Primero: atacarse a sí mismo a propósito. La mayoría de las empresas descubre la falla cuando el estafador entra. Quien lidera necesita pagarle a alguien, de adentro o de afuera, para intentar romper el sistema, el proceso de pagos, el acceso a las cuentas. Antes de que otro lo haga gratis.
Segundo: tener el valor de pausar. Once días parado cuesta caro. Seguir operando con el hueco abierto cuesta más. Detener la operación para arreglar es decisión del dueño, no del técnico.
Tercero: convertir el susto en proceso. El incidente no quedó como anécdota. Se volvió una etapa obligatoria. Lección que no se vuelve regla se pierde en el próximo apuro.
El meme pide detener la carrera. Quien decide sabe que la carrera no se detiene. Lo que se puede controlar es si corres probando tu propia puerta o esperando que alguien la derribe.
En el judo, quien entrena solo la proyección y no entrena la defensa cae en el primer combate serio. Entrenar de verdad es dejar que el compañero ataque de verdad.
Velar
"Velad y orad, para que no entréis en tentación" (Mateo 26
). Velar no es miedo. Es asumir que la debilidad existe y buscarla antes de que ella te encuentre. Vale para el alma. Vale para la empresa.