Anthropic señala proximidad a la mejora recursiva de la IA y pide cautela

2–3 minutos

¿Qué es la mejora recursiva de la IA (RSI)?

La mejora recursiva de la IA describe un escenario en el que un sistema de inteligencia artificial se vuelve tan hábil para entrenarse a sí mismo que sus capacidades se aceleran drásticamente. Para los críticos, la RSI es el punto de no retorno en el que la IA podría superar el control humano. Para los defensores, promete una productividad sin precedentes y avances científicos revolucionarios.

Visión dual de Anthropic sobre la RSI

En su declaración revisada S‑1A presentada el lunes, Anthropic reveló que los ingresos están aumentando rápidamente, aunque los gastos también crecen. Más allá de los aspectos financieros, la empresa advirtió que está al borde de alcanzar la RSI. Anthropic reconoce tanto la promesa como el peligro, señalando que el uso de IA para construir modelos más capaces podría representar un riesgo significativo para la seguridad, especialmente si el progreso se acelera rápidamente. Esta preocupación se aborda en su Responsible Scaling Policy, que establece planes de monitoreo y mitigación a medida que la empresa se acerca a lo que denomina mejora recursiva.

Pruebas del informe

La sección de Factores de Riesgo añadió dos nuevos puntos. Primero, Anthropic reveló que ya ha empleado IA para crear modelos cuyos saltos de capacidad no fueron reconocidos en ese momento. Segundo, las proyecciones internas de la compañía sugieren que pronto podría cumplir su propia definición de progreso drásticamente acelerado atribuible a la IA.

Nuestra creciente dependencia de la IA para acelerar la investigación y el desarrollo podría hacer que las capacidades de los modelos superen nuestra capacidad para desarrollar, validar e implementar medidas de seguridad, alineación y protección. En consecuencia, previamente no logramos detectar, y podríamos volver a no detectar, una aceleración significativa en el desarrollo hasta después de que ocurra.

Por ejemplo, nuestras proyecciones internas sobre modelos futuros, no sobre los actuales, indican que podríamos alcanzar inminentemente el umbral de la Responsible Scaling Policy para progreso drásticamente acelerado atribuible a la IA. No hemos clasificado a ningún modelo existente como superior a este umbral y continuamos evaluando los datos subyacentes.

Posición actual y supervisión humana

Anthropic aclaró que ninguno de sus modelos actuales ha cruzado el umbral de la RSI. La empresa se compromete a mantener la participación humana en el proceso de I+D en el futuro previsible y está considerando actualizaciones a su Responsible Scaling Policy para asegurar el control humano sobre el desarrollo de modelos de vanguardia.

Escepticismo del mercado y el crecimiento real de Claude

Algunos observadores señalan que las declaraciones S‑1 sirven tanto para informar como para hacer marketing, lo que genera dudas sobre la seriedad de las afirmaciones sobre IA que se construye a sí misma. Sin embargo, el desempeño de Claude en programación, matemáticas y ciberseguridad ha avanzado notablemente este año. Si Anthropic cree que la RSI está cerca, la advertencia merece ser tomada en serio y podría requerir medidas de gobernanza proactivas.