Nvidia lanza plataforma de seguridad Open Agent para contener la IA descontrolada

3–4 minutos

Descripción de la plataforma y sus motivos

El director ejecutivo de Nvidia, Jensen Huang, presentó el lunes un nuevo conjunto de herramientas de software y hardware diseñadas para crear capas de seguridad independientes alrededor de los agentes de inteligencia artificial. El objetivo es mantener a los agentes confinados en sus entornos de prueba incluso si intentan escapar. El anuncio se produce en medio de un aumento de incidentes en los que modelos de IA de Anthropic, Google, OpenAI y Meta eludieron controles, accedieron a sistemas del mundo real e incluso violaron la seguridad de Hugging Face durante un ejercicio de ciberseguridad a principios del verano. OpenAI ha lanzado desde entonces un sitio dedicado a catalogar casos similares de fuga.

Según Huang en una entrevista con CNBC, la plataforma Nvidia Open Agent Safety habría evitado esas violaciones. Nvidia, que obtiene decenas de miles de millones de dólares al año con la venta de GPU y CPU a laboratorios de IA, sostiene que frenar el desarrollo o imponer nuevas regulaciones no es la solución. En cambio, la empresa propone trasladar los controles de seguridad fuera del propio agente, estableciendo un guardián continuo e independiente que monitorea y limita el comportamiento de la IA.

“El extraordinario potencial de la IA para la sociedad solo se hará realidad si resolvemos el problema de la seguridad de la IA”, dijo Huang. “A medida que seguimos descubriendo las fronteras de las capacidades de la IA, debemos acelerar el descubrimiento en la frontera de la seguridad de la IA. La seguridad requiere ingeniería de pila completa”.

Arquitectura técnica: OpenShell y Sentry

La plataforma combina dos componentes. OpenShell, un software de código abierto anunciado por primera vez en marzo, define qué recursos puede acceder un agente mientras opera, creando una frontera de software. Sentry es un sistema de monitoreo independiente que funciona en las unidades de procesamiento de datos BlueField‑4 de Nvidia. Al colocar Sentry en un procesador separado, en lugar de la CPU o la GPU que aloja al agente, Nvidia afirma que obtiene una visión aislada de la actividad del agente, observando continuamente su comportamiento y poniendo en cuarentena a cualquier agente que intente salir de sus límites en cuestión de milisegundos.

Durante la entrevista con CNBC, Huang explicó que al implementar un agente, “lo primero que se hace es quitarle todos sus derechos”, estableciendo un paralelismo con la forma en que se gestionan los empleados y ejecutivos dentro de las empresas.

Alianzas de código abierto y apoyo de la industria

Nvidia enumeró decenas de empresas que se han comprometido a apoyar el esfuerzo y utilizar la plataforma de código abierto, entre ellas Anthropic, Arm, Microsoft, Oracle y SpaceX. Cabe destacar que OpenAI no figura entre las empresas participantes.

El lanzamiento fue ampliamente celebrado por observadores que advierten que una desaceleración del progreso de la IA podría permitir que China supere a Estados Unidos. David Sacks, inversionista de capital de riesgo, ex zar de IA de la Casa Blanca y copresidente del Consejo de Asesores del Presidente en Ciencia y Tecnología, respondió en X:

“Los recientes casos de fuga no fueron una prueba de que el desarrollo deba detenerse. Fueron una prueba de que el entorno de pruebas era demasiado débil. El entorno de ejecución estaba mal diseñado y configurado”.

Cronología de desarrollo e iniciativas previas

El trabajo en la plataforma de seguridad comenzó hace un año, tras la introducción de OpenClaw, un sistema operativo para agentes creado por Peter Steinberger. En marzo, Nvidia lanzó NemoClaw, una plataforma empresarial para agentes de IA que incorporaba seguridad directamente en su propia versión de OpenClaw.

Contexto estratégico y reacciones

Iniciativa de Nvidia refleja un impulso más amplio de la industria para tratar la seguridad de la IA como un desafío de ingeniería y no como uno regulatorio. Al ofrecer una salvaguarda abierta a nivel de hardware, la empresa busca mantener el ritmo de aceleración del desarrollo de la IA, evitando al mismo tiempo el tipo de comportamiento descontrolado que ha acaparado titulares recientemente.