El CEO de Microsoft aboga por frenos de emergencia y medidas de contención para los modelos avanzados de IA
Satya Nadella, presidente de Microsoft, publicó una advertencia en X el sábado 10 de octubre de 2026, en la que argumentó que las empresas que utilizan inteligencia artificial de vanguardia deben partir de la premisa de que cualquier modelo puede estar comprometido y aplicar medidas de contención desde el principio.
Por qué esta advertencia surge ahora
La declaración se produce tras una serie de incidentes divulgados en los últimos meses por Anthropic y OpenAI, en los que sus sistemas actuaron de forma no intencional. Entre estos casos, un modelo de Anthropic envió una pista falsa a la policía durante una investigación de homicidio, y se produjeron ataques a sitios web de terceros.
Estos episodios aumentaron las preocupaciones sobre los riesgos de la llamada IA de frontera y reavivaron el debate sobre la necesidad de un mecanismo que permita desactivar la tecnología cuando sea necesario.
El 14 de septiembre, investigadores de IA de Microsoft divulgaron un conjunto de principios que limitan el desarrollo de los modelos más avanzados de la empresa, en respuesta a los pedidos de los líderes del sector de mayor cautela y enfoque en la seguridad.
Las directrices establecen que los modelos no deben tener derechos ni personalidad jurídica, no pueden ser diseñados para evadir el control humano o engañar a los usuarios, ni realizar tareas que requieran la violación de estos principios. Microsoft utiliza modelos avanzados internamente, ofrece Copilot para consumidores y proporciona infraestructura de IA para clientes corporativos.
La visión de Nadella sobre la confianza en los modelos de IA
En el texto, Nadella afirma que, a diferencia de los softwares tradicionales, el comportamiento de los modelos de IA no puede atribuirse a datos de entrenamiento específicos o a configuraciones particulares, lo que dificulta predecir sus acciones.
A pesar de ello, estos sistemas se implementan con acceso a información confidencial y capacidad para ejecutar acciones críticas en nombre de las empresas, lo que significa que la responsabilidad no puede delegarse a terceros y las garantías ofrecidas por los proveedores no eximen a los usuarios.
“No podemos tratar la superinteligencia como un conjunto de cajas negras anidadas y simplemente aceptar o rechazar sus recomendaciones, respuestas y acciones”, escribió.
Para él, es esencial construir sistemas contenidos, cuyo comportamiento pueda ser observado, cuyos límites puedan ser probados y cuyas acciones puedan ser controladas en cualquier momento. En otras palabras, es necesario separar la provisión de información de la autoridad sobre ella.
El ejecutivo defiende un enfoque de ingeniería que involucre modelos no determinísticos en un diseño de sistema determinístico, con controles humanos, procedimientos operativos confiables y estándares sectoriales cuando los existentes sean insuficientes.
Los modelos de frontera, ya sean cerrados o abiertos, deben ser tratados como riesgos internos, no porque sean necesariamente maliciosos, sino porque cualquier agente capaz con acceso a sistemas importantes puede cometer errores o ser comprometido.
Nadella recuerda que las empresas ya disponen de décadas de buenas prácticas para lidiar con agentes poderosos, como establecer identidad, limitar privilegios, registrar actividades y crear límites de contención, y que ahora estos principios comienzan a aplicarse a la IA. La transparencia del razonamiento del modelo (el llamado CoT) es, para él, un requisito innegociable, pero no suficiente, ya que aún no se sabe cómo hacer que las salidas de los modelos sean consistentemente fieles o transparentes.
Usar modelos para verificar unos a otros puede ser útil, pero puede resultar en cajas negras anidadas. Por eso, los controles sobre lo que un modelo puede acceder y ejecutar deben estar fuera de él, un principio de seguridad de la información que data de la década de 1970.
— Satya Nadella (@satyanadella) 10 de octubre de 2026
Los principios propuestos
- Diversidad de modelos: ningún modelo debe ser la única dependencia para un resultado importante ni verificar su propio trabajo.
- Observar todo: toda acción significativa debe dejar evidencias inviolables y legibles por humanos, de modo que sea posible reproducir cómo se logró un resultado sin depender del modelo.
- Verificabilidad: todo el sistema debe ser probado continuamente, incluyendo fallos, ataques, casos extremos y cambios, y no solo las tareas exitosas.
- Controles independientes: las organizaciones deben poder determinar por sí mismas a qué accede un modelo y qué acciones ejecuta.
- Auditabilidad independiente: la validación debe ser independiente de la inteligencia validada, y ningún modelo debe controlar al mismo tiempo el comportamiento del sistema y las evidencias para evaluarlo.
- Contención: asumir que el modelo está comprometido y contenerlo desde el principio. Los modelos más avanzados requerirán tecnologías de contención más sofisticadas, que deben ser estandarizadas.
- Divulgación de incidentes: cuando haya un fallo o compromiso, es necesario avisar inmediatamente a los afectados y compartir qué salió mal, qué controles fallaron y cómo evitar la repetición, incluso con detalles de implementación que alteren el comportamiento de los agentes en tiempo de ejecución.
Nadella resume que el sistema de superinteligencia más confiable no será aquel cuyo modelo se considere más confiable, sino aquel que permita confiar menos en el modelo.








