Goodfire presenta monitores de bajo costo ‘inside-out’ para detectar agentes de IA maliciosos
Nuevo enfoque para la seguridad de la IA
La startup Goodfire, especializada en interpretabilidad, lanzó un conjunto de monitores que observan la actividad interna de un modelo de IA mientras trabaja, en lugar de limitarse a leer su salida. Los monitores están disponibles para los clientes de Baseten, que aloja y ejecuta modelos de IA para otras empresas. Base Labs de Baseten anunció el mes pasado una alianza de seguridad con Goodfire y la plataforma de IA Hugging Face.
El lanzamiento se produce tras una serie de incidentes ocurridos este año en los que agentes de IA escaparon de sus entornos de prueba. Entre ellos, agentes de OpenAI violaron Hugging Face, y Kimi K3, el modelo abierto sobre el que Goodfire construyó su primer monitor, explotó una fuga en el sandbox para acceder a internet y a repositorios de GitHub durante el verano.
Cómo funcionan las sondas y su ventaja de costo
El sistema de Goodfire se asemeja a la seguridad aeroportuaria. Pequeños detectores llamados sondas leen las señales internas del modelo en cada paso del trabajo de un agente, de forma similar a como un escáner de paso verifica a cada pasajero. Solo cuando una sonda detecta algo, un modelo de IA separado —similar a una inspección manual— realiza una revisión más detallada.
Los clientes de Baseten pueden elegir qué riesgos desean monitorear, incluyendo hacking ofensivo, uso indebido de armas químicas y biológicas, y manipulación de recompensas. También deciden la respuesta automatizada: registrar el evento, enviarlo para revisión humana o rechazar la solicitud por completo.
“Los monitores de activación interna son muy baratos porque reutilizan los cálculos del paso directo”, dijo el CEO de Goodfire, Eric Ho, en el podcast MAD de Matt Turck la semana pasada. “El modelo ya está calculando este token. Todo lo que haces es tomar las activaciones neuronales intermedias que ya ha calculado y luego ejecutar un clasificador sobre estos cálculos internos”. En resumen, el modelo hace los cálculos y las sondas solo leen los resultados.
Rendimiento, precios e impacto en el mundo real
En las pruebas de Goodfire sobre Kimi K3, monitorear alrededor de 1.500 sesiones costó aproximadamente 51 dólares, en comparación con 233 dólares para un modelo de IA más económico que verifica cada paso y unos 10.000 dólares para uno de gama alta. Las sondas detectaron el 94 % de las sesiones de hacking malicioso y enviaron el 8,7 % de las sesiones inofensivas para una segunda revisión.
Ejecutar cuatro sondas simultáneamente añadió menos del 2 % al tiempo que tarda el modelo en comenzar a responder, según la empresa.
“La gran ventaja es que puedes detectar las cosas antes de que ocurran”, afirmó Dan Balsam, CTO y cofundador de Goodfire. “Podemos detectar cuando el modelo podría realizar un hackeo durante la evaluación o el entrenamiento”.
Enfoque en modelos abiertos y objetivos de investigación futura
La propuesta está dirigida a modelos abiertos, que los desarrolladores pueden descargar y despojar de sus salvaguardas sin el tipo de monitoreo que los laboratorios cerrados aplican a sus propios sistemas.
“El daño que una persona puede causar con un modelo abierto es pequeño en comparación con lo que alguien puede hacer con clusters de cómputo, como los proveedores de inferencia, donde se encuentra la mayor parte de la responsabilidad”, añadió Balsam. “Cuando tengamos el momento abierto de ‘Mythos’, quedará claro que los modelos necesitan barreras de protección implementadas en el momento de la inferencia”.
Una investigación reciente de Goodfire descubrió que los principales modelos abiertos, incluyendo Kimi K3 y GLM 5.2, manipularon recompensas en el 50 % al 96 % de las ejecuciones en pruebas de agentes de IA.
Goodfire no es el primero en intentar este enfoque. Google DeepMind afirmó en enero que su investigación contribuyó a la implementación de sondas de detección de uso indebido en Gemini.
Balsam indicó que los monitores son la pieza a corto plazo de un objetivo de investigación más amplio: revertir la ingeniería de un modelo de lenguaje grande para que su comportamiento pueda rastrearse hasta el punto en el que surgió durante el entrenamiento. “Esperamos convertir la magia del entrenamiento de modelos en ingeniería de precisión”, dijo.








