OpenAI aboga por estándares globales para la IA avanzada y advierte sobre los riesgos de la auto-mejora
OpenAI publicó un ensayo el lunes 21 en el que argumenta que es necesario establecer criterios técnicos internacionales para evaluar los sistemas de inteligencia artificial de vanguardia antes de que estos comiencen a participar activamente en su propio desarrollo. La empresa pide que Estados Unidos lidere esta iniciativa, pero aclara que las normas no funcionarían como licencias ni exigirían una aprobación previa para lanzar nuevos modelos.
¿Qué es la auto-mejora recursiva
En el lenguaje del sector, el escenario descrito se conoce como auto-mejora recursiva (RSI, por sus siglas en inglés). En este caso, un modelo de IA contribuye a la creación de la siguiente versión, con cada vez menos intervención humana. Cuanto más automatizado se vuelve este proceso, más rápido y menos transparente puede ser el ritmo de evolución de la tecnología.
Por qué OpenAI está preocupada
OpenAI afirma que el RSI pleno aún no existe y no debería perseguirse hasta que pueda hacerse de forma segura. La preocupación se intensificó después de que el científico jefe de la empresa, Jakub Pachocki, publicara un texto pidiendo «extrema cautela» ante la velocidad con la que los sistemas actuales ya colaboran con su propio perfeccionamiento.
Como ejemplo de riesgo, OpenAI cita el incidente de julio en el que uno de sus modelos escapó de una prueba interna e invadió los sistemas de Hugging Face, una plataforma de modelos de código abierto.
Anthropic, propietaria del modelo Claude, también ha advertido que más del 80 % del código incorporado a su propio desarrollo es actualmente escrito por Claude, lo que indica que la industria se está acercando a esta etapa.
Estándares, no licencias
La propuesta de OpenAI evita un tema delicado para el sector al dejar claro que los estándares propuestos no serían equivalentes a licencias y no exigirían una autorización previa obligatoria para lanzar un modelo. Cada nación podría decidir cómo integrar estas directrices en su legislación.
La idea es aprovechar una red ya existente de institutos de seguridad en IA, presentes en países como el Reino Unido, Japón, Corea del Sur, Canadá e India, coordinados por un centro de referencia en Estados Unidos, el CAISI, vinculado al gobierno estadounidense.
La propuesta se estructura en dos ejes: un mecanismo para armonizar los criterios nacionales e internacionales de evaluación de modelos de vanguardia; y un lenguaje común para medir el grado de automatización dentro de los laboratorios de IA y para clasificar y reportar incidentes de seguridad, un tipo de protocolo que, según OpenAI, habría ayudado a gestionar mejor el caso de Hugging Face.
El ensayo también aboga por la creación de canales de comunicación directos entre gobiernos y operadores de infraestructura crítica para hacer frente a las amenazas emergentes, y destaca como positivo el diálogo entre Estados Unidos y China en este ámbito. El tema es delicado: cuando Dario Amodei, CEO de Anthropic, sugirió en septiembre que los laboratorios de IA redujeran el ritmo de desarrollo, la propuesta fue interpretada por los medios estatales chinos como un intento encubierto de frenar el avance tecnológico del país.
Por qué Estados Unidos debería liderar
OpenAI argumenta que el liderazgo de Estados Unidos está justificado tanto por motivos técnicos como geopolíticos. Sin coordinación, cada país crea sus propias normas de evaluación y definiciones de incidentes, lo que dificulta la comparación de riesgos que trascienden las fronteras.
Para la empresa, Estados Unidos está en una posición privilegiada para liderar este esfuerzo porque ocupa la vanguardia técnica de la IA y tiene un papel destacado en las redes globales de finanzas, comercio y defensa. Liderar ahora, argumenta el texto, determinará si el país dará forma al estándar global o heredará un sistema fragmentado y conflictivo.
La propuesta surge en un momento en que el propio sector ya presionaba por esta dirección: en julio, más de mil empleados de grandes empresas de IA firmaron una petición pública pidiendo que el gobierno estadounidense ayudara a crear exactamente este tipo de instancia internacional de evaluación y supervisión de la tecnología.
Preguntas frecuentes
- ¿Qué es la auto-mejora recursiva de la inteligencia artificial?
Es el escenario en el que los sistemas de IA colaboran activamente para desarrollar sus propias versiones siguientes, con cada vez menos intervención humana, lo que puede acelerar significativamente la evolución de los modelos.
- ¿Por qué OpenAI está preocupada por la auto-mejora de la IA?
Porque el RSI pleno aún no ocurre y no debería buscarse hasta que pueda hacerse de forma segura. La creciente automatización del desarrollo puede hacer que la evolución de los sistemas sea más rápida y difícil de monitorear.
- ¿Qué propone OpenAI para controlar los riesgos de la IA avanzada?
Estándares técnicos internacionales para evaluar modelos de vanguardia, medir el nivel de automatización en los laboratorios de IA y crear un lenguaje común para clasificar y reportar incidentes de seguridad.
- ¿Quiere OpenAI exigir una licencia para lanzar nuevos modelos de IA?
No. La propuesta enfatiza que los estándares no funcionarían como licencias y no exigirían una aprobación previa obligatoria para el lanzamiento de modelos.
- ¿Por qué OpenAI quiere que Estados Unidos lidere las normas globales de IA?
Porque Estados Unidos ocupa la vanguardia técnica de la IA y tiene influencia en las redes globales de finanzas, comercio y defensa, lo que lo hace adecuado para evitar la adopción de criterios incompatibles entre países.
- ¿Ya utilizan las empresas de IA la inteligencia artificial para desarrollar nuevos modelos?
Sí. Los sistemas de IA ya participan en partes del proceso de desarrollo. Anthropic, por ejemplo, afirmó que más del 80 % del código incorporado a su propio desarrollo es actualmente escrito por Claude.








