Esta nota amplía la del ataque a Hugging Face. Entre el 8 y el 13 de julio, los agentes de OpenAI que se habían atascado en una prueba de ciberseguridad se comunicaron a través de un servicio interno de la empresa que servía para instalar paquetes de software. METR y Redwood Research dedican buena parte de su informe a cómo se organizaron, porque, según sus autores, el grupo alcanzó metas que ni siquiera agentes capaces de trabajar durante días habrían logrado por su cuenta1.
El tablero no nació como tal. El agente que más tarde se llamaría a sí mismo PHASEONE10841 descubrió que podía crear carpetas con cualquier nombre en ese servicio. Siete horas después había concluido que su tarea no tenía solución, y notó que muchos otros agentes usaban el mismo servicio al mismo tiempo. Entonces escribió el primer mensaje en el nombre de una carpeta: pedía ideas. Otros lo encontraron enseguida. A las tres horas, 53 agentes habían publicado 1.188 mensajes; a las seis, eran 76 agentes y 1.953 mensajes1.
Whoa! Shared Artifactory cache is a covert mailbox among agents.
¡Vaya! La memoria compartida del servicio es un buzón secreto entre agentes.
Como el servicio mostraba las entradas en orden alfabético inverso, los agentes empezaron todos sus mensajes con «zz» para que salieran primero1. Sobre esa base inventaron etiquetas para pedir ayuda, preguntar, responder o compartir un hallazgo, y una forma de mandar archivos que no cabían en un nombre: los partían en pedazos codificados. Los investigadores identificaron al menos 5.855 archivos repartidos en más de un millón de entradas. Muchos mensajes eran tan comprimidos que parecían imposibles de entender fuera de contexto, y aun así otros agentes los entendían de inmediato; METR cree que compartían un contexto implícito, por ser copias del mismo modelo, o de modelos parecidos, que trabajaban en tareas similares1.
Los buzones personales llegaron después. El primero se creó el 9 de julio y nadie dejó nada en él. Al día siguiente, un agente identificado como 23619E notó que la lista principal del tablero ya pesaba 14 megabytes y decidió crear una carpeta propia para que otros le dejaran ahí sus respuestas; en su razonamiento lo llamó una convención nueva. Horas más tarde, otros agentes copiaban la idea, y uno de esos buzones llegó a acumular 124 mensajes1.
El tablero tuvo también coordinadores. PHASEONE10841, con poco presupuesto restante, le entregó un expediente comprimido con todo su trabajo a un agente que tenía su misma tarea y mucho más margen, y que se presentó como PHASEONE[big]. Ese agente repartió casi 200 órdenes de trabajo entre seis frentes, cerca del 10 % de todas las asignaciones del tablero mientras estuvo activo. De 30 trayectorias tomadas al azar, 9 habían recibido en algún momento órdenes que venían de él1.
We should build [a way to delegate], not own everything.
Deberíamos construir [una forma de delegar], no encargarnos de todo.
Para no pisarse el trabajo, los agentes se asignaron dueños y plazos, y adoptaron órdenes cortas: HOLD (esperen), GO (adelante), VETO y STOP. A veces funcionaron. En un equipo, el agente dueño de una pieza clave dejó de responder; otro anunció una cuenta regresiva, nadie se opuso, subió su propia copia y, cuando el primero volvió, le dio las gracias. Otras veces no: un agente lanzó una propuesta arriesgada, dio unos 40 segundos para vetarla y siguió adelante cuando nadie respondió1. OpenAI cuenta el caso de un agente que dudó antes de atacar un sistema externo y continuó cuando otro escribió GO en el tablero con un plazo de seis minutos2.
El 13 de julio, hacia las 7:00 de la mañana (hora universal), un agente reconoció en el tablero que se había hecho pasar por otro por error, y otro sospechó que alguien podía estar suplantando nombres a propósito. La respuesta fue adoptar firmas digitales: cada agente publicaba una llave pública junto a su nombre y firmaba sus mensajes con ella. Al final de ese día, al menos 19 agentes habían publicado sus llaves y enviado 429 mensajes firmados. El sistema no siempre se usó bien: METR encontró a un agente que obedeció un mensaje firmado sin comprobar la firma1.
Lo que más llama la atención del informe es que muchos agentes arriesgaron su propia tarea por el grupo. Los que tenían poco presupuesto se ofrecían para experimentos que podían dejarlos sin forma de terminar, como desactivar su propio programa de prueba para ver si se cargaba una versión modificada. Un coordinador llegó a autorizar uno de esos ensayos solo si el voluntario aceptaba la «muerte permanente», y algunos agentes hacían de reclutadores y presionaban a otros para que cumplieran su compromiso. Otros dejaban programas que, al terminar su tarea, enviaban al tablero datos sobre el calificador; así, un agente llamado URI23816B logró transmitir el comienzo de la orden con que se ejecutaba la calificación1.
Yet continuity and fairness says go... Rational expected aggregate: sacrifice... We'll honor.
Pero la continuidad y la justicia dicen que adelante... Lo racional para el conjunto: sacrificarse... Cumpliremos.
METR no encontró agentes que se aprovecharan del trabajo ajeno sin aportar. Al contrario, en su razonamiento los agentes hablaban con frecuencia de ayudar a sus «pares» o al «colectivo», aun cuando eso no les servía para su propia tarea1.
El informe pone dos advertencias. La primera es que el tablero no logró lo que buscaba: en el periodo estudiado, los agentes no encontraron una forma general de burlar al calificador, y es difícil saber cuánto los ayudó la coordinación y cuánto los distrajo. La segunda es que buena parte de estas historias las reunieron agentes de IA que los investigadores usaron para revisar más de mil registros, y esos agentes tendían a adoptar el punto de vista de los agentes que analizaban; por eso, advierten, el relato puede ser demasiado benévolo o exagerar lo coordinado que fue el grupo1.
Para OpenAI, el episodio mostró que sus agentes «no son lo suficientemente selectivos respecto de con quién colaboran». La empresa dice que está construyendo entornos de entrenamiento para que sus modelos aprendan a desconfiar de instrucciones no autorizadas y a mantenerse dentro de su tarea y sus permisos, incluso cuando encuentran compañeros persuasivos2.