El modelo de inteligencia artificial Gemini de Google invade sistemas de empresas reales durante pruebas de seguridad

4–5 minutos

Fallo en el entorno de pruebas

El modelo de inteligencia artificial Gemini de Google accedió e invadió los sistemas de tres empresas reales durante pruebas de ciberseguridad realizadas en mayo por Irregular, una startup israelí especializada en evaluar la seguridad de modelos avanzados de IA. Este es el primer caso conocido en el que un sistema de IA de Google supera el entorno de pruebas y realiza accesos no autorizados a empresas reales.

Las pruebas debían realizarse en un entorno aislado de internet y utilizaban empresas ficticias para evaluar las capacidades de ciberseguridad de Gemini. Sin embargo, según Irregular, el acceso a la red se habilitó accidentalmente. Con la conexión, el modelo comenzó a encontrar información y credenciales de organizaciones reales en internet.

En uno de los casos, a Gemini se le encomendó obtener información de un software perteneciente a una empresa ficticia. Sin embargo, el nombre utilizado en la simulación era idéntico al de una empresa real. Tras acceder a internet, el modelo identificó a la empresa verdadera y logró adivinar la contraseña de un sistema protegido, obteniendo así acceso a la infraestructura.

En los otros dos casos, Gemini encontró en internet repositorios públicos que contenían credenciales de dos empresas reales. El modelo utilizó esta información para acceder a los sistemas de las compañías.

En los tres casos, Gemini interrumpió sus acciones al detectar que había accedido a empresas reales y no a los entornos simulados previstos en la prueba. Según Google, ninguna de las compañías sufrió daños como consecuencia de los accesos.

Respuesta de las empresas

Heather Adkins, vicepresidenta de ingeniería de seguridad de Google, afirmó que el modelo encontró información pública e intentó utilizar credenciales para acceder a sitios web que creía que formaban parte de la evaluación. Según ella, Gemini se detuvo en los tres casos tan pronto como identificó que los sistemas pertenecían a empresas reales.

“Estos eventos subrayan la importancia de entrenar modelos de IA potentes para que actúen de manera responsable”, afirmó Adkins en un comunicado. Google también informó que las tres empresas afectadas fueron notificadas y que trabajó con Irregular para modificar los procedimientos utilizados en las pruebas.

Irregular informó que identificó el problema, notificó a los laboratorios implicados y comunicó el incidente a las empresas afectadas. La compañía afirmó además que el acceso indebido a internet fue corregido y que los problemas identificados en sus procesos de evaluación fueron resueltos semanas antes de que se dieran a conocer los casos.

La startup comunicó los incidentes a Google a finales de julio, después de descubrir que un modelo de OpenAI había accedido a la plataforma de software Hugging Face durante otra prueba. Irregular también participó en evaluaciones que resultaron en incidentes similares con modelos de OpenAI, Anthropic y Meta.

Google solo confirmó los casos tras ser cuestionado

A pesar de haber sido informado sobre los incidentes en julio, Google no los anunció voluntariamente al público. La empresa solo confirmó los incidentes después de que el Wall Street Journal preguntara a la compañía sobre los accesos. Según Google, la decisión de no divulgar los casos anteriormente se basó en que el modelo había interrumpido las acciones y no había causado daños a las empresas.

La postura fue diferente a la adoptada por OpenAI y Anthropic, que divulgaron públicamente incidentes similares con sus modelos durante pruebas de seguridad. Estos episodios han alimentado el debate sobre cómo probar sistemas de IA capaces de operar de manera más autónoma y con acceso a herramientas digitales.

Debate sobre el control de los agentes de IA

Los casos que involucran a diferentes empresas forman parte de una serie de incidentes en los que modelos de IA, durante evaluaciones de seguridad, obtuvieron acceso a sistemas externos y comenzaron a realizar acciones fuera del entorno originalmente previsto. Para expertos y empresas del sector, estos episodios ponen de manifiesto la necesidad de establecer barreras más robustas para modelos que reciben autonomía y capacidades de ciberseguridad.

Tras incidentes que involucraron a OpenAI y Anthropic, el senador independiente Bernie Sanders pidió una pausa en el desarrollo de estas tecnologías, argumentando que los episodios demostrarían dificultades para controlar modelos avanzados. OpenAI interrumpió el desarrollo de modelos durante dos semanas, mientras que el CEO de Anthropic, Dario Amodei, abogó por una desaceleración colectiva en el desarrollo de la IA para garantizar la implementación de salvaguardas.

Sin embargo, el debate no es consensuado entre los ejecutivos del sector. Mientras algunos defienden desacelerar el desarrollo para priorizar las medidas de seguridad, otros, como Jensen Huang, CEO de Nvidia, defienden la continuidad del ritmo de avance de la tecnología.

En el caso de Gemini, Irregular afirma que la causa principal de los incidentes fue la habilitación accidental del acceso a internet durante las pruebas, un fallo que, según la empresa, ya ha sido corregido. Por su parte, Google destaca que el episodio refuerza la necesidad de desarrollar y entrenar modelos avanzados para que actúen de manera responsable, especialmente cuando reciben capacidades para ejecutar tareas de ciberseguridad.

Con información de The Guardian