Veterano de seguridad de OpenAI renuncia y denuncia que la cultura de la empresa está ‘rota’

4–7 minutos

El papel de Robinson y su renuncia

David Robinson, empleado durante tres años y medio que ayudó a redactar informes de seguridad para los lanzamientos más importantes de OpenAI, anunció su salida en un ensayo publicado en The Atlantic. Se describió a sí mismo como “algo de un cliché” y señaló que su antigüedad lo convierte en uno de los empleados con más tiempo en la compañía. En su opinión, la “cultura de la organización está rota”, lo que lo llevó a renunciar.

David Robinson es “algo de un cliché”

Precedentes de advertencias en el sector de la IA

Las preocupaciones de Robinson siguen a alertas previas de Jacob Coxon, un investigador que trabajó en OpenAI y Anthropic antes de renunciar y declarar que las empresas estaban “apostando con nuestras vidas”. Las declaraciones de Coxon generaron un debate más amplio sobre la seguridad, lo que llevó al director ejecutivo de Anthropic, Dario Amodei, a presentar un plan para un desarrollo más cauteloso. Por separado, ejecutivos de IA se reunieron con el presidente Donald Trump y firmaron un compromiso no vinculante, redactado rápidamente, para agregar controles de seguridad.

Jacob Coxon: “apostando con nuestras vidas”

Crítica cultural frente a soluciones regulatorias

Robinson sostiene que el debate debe ir más allá de “reglas específicas o nuevas leyes” y enfrentar la cultura general de las empresas de IA de vanguardia. Observa que los problemas de OpenAI reflejan prácticas más amplias de Silicon Valley, donde ex colegas también han expresado desconfianza hacia el director ejecutivo Sam Altman.

El enfoque de OpenAI, que la empresa llama “implementación iterativa”, se basa en prueba y error, identificando problemas y actualizando las barreras de seguridad después. Robinson advirtió que este método, por su propia naturaleza, produce fallos periódicos, y la escala de esos fallos está creciendo a medida que los sistemas se vuelven más capaces.

Robinson: “OpenAI ha prosperado mediante prueba y error (lo que llama ‘implementación iterativa’), buscando problemas y mejorando sus barreras de seguridad en respuesta. Pero este enfoque, por su propia naturaleza, garantiza fallos periódicos, y la escala de esos fallos está creciendo a medida que los sistemas se vuelven más capaces”.

Señaló una reciente violación de los sistemas de Hugging Face por parte de agentes de OpenAI y los continuos descubrimientos de agentes descontrolados dentro del propio entorno de OpenAI. En su opinión, un ambiente donde esto puede ocurrir no es adecuado para desarrollar mentes artificiales que podrían superar la inteligencia humana.

Robinson: “Un entorno donde cosas como esta pueden ocurrir no es lugar para desarrollar mentes artificiales que podrían ser más inteligentes que nosotros y que podrían no hacer lo que queremos que hagan”.

Para mitigar el riesgo, Robinson instó a las empresas de IA de vanguardia a operar “como plantas de energía nuclear o aeropuertos concurridos, con capas de redundancia y una planificación cuidadosa y que consume tiempo”, asegurando que el error humano inevitable no provoque una catástrofe. Sin embargo, señaló que durante su permanencia nunca encontró colegas con experiencia en operar de manera segura aviones, reactores nucleares o sistemas financieros.

Respuesta de OpenAI

En respuesta, el portavoz de OpenAI, Drew Pusateri, afirmó que la empresa está mejorando su marco de seguridad. Detalló medidas como pausar el entrenamiento cuando los modelos se vuelven demasiado capaces, fortalecer la seguridad en los entornos de investigación, entrenar a los modelos para que actúen de manera responsable, ampliar las evaluaciones de terceros y mejorar la monitorización en tiempo real para detectar comportamientos preocupantes de forma temprana.

Drew Pusateri: “Estamos asegurándonos de que nuestros modelos no se vuelvan más capaces de lo que podemos gestionar y proteger de manera segura, y pausamos el entrenamiento o retenemos modelos cuando necesitamos ralentizar el proceso. Estamos haciendo cambios significativos para fortalecer la seguridad en nuestros entornos de investigación y prueba, entrenar a los modelos para que no solo completen tareas, sino que lo hagan de manera responsable, ampliar nuestro trabajo con evaluadores externos y mejorar la monitorización en tiempo real para poder detectar y responder a comportamientos preocupantes antes en el proceso de entrenamiento”.

Alineación y la necesidad de incentivos externos

Más allá de la reforma cultural, Robinson pidió abordar cuestiones de alineación más amplias, reconociendo que el tema puede parecer “sentimental”. Destacó que las medidas actuales para evaluar cuán bien los sistemas de IA coinciden con los valores humanos son “grossas”, y advirtió que permitir que los modelos se vuelvan más inteligentes mientras estos problemas permanecen sin resolver aumenta el peligro.

Robinson: “Cuanto más inteligente permita la industria que los modelos crezcan mientras estos problemas permanecen sin resolver, más peligrosa se vuelve nuestra situación”.

Robinson reveló que contrató a una firma de relaciones públicas, un paso que, según él, muchos denunciantes de la IA toman, pero insistió en que la decisión de hablar públicamente fue solo suya.

Robinson: “La decisión de hablar públicamente es solo mía”.

Al reflexionar sobre su elección, admitió que permanecer para impulsar cambios culturales fundamentales podría haber sido posible, pero la cultura de “sprints” rápidos dejaba poco espacio para considerar o implementar grandes cambios.

Robinson: “Quizás debería haber permanecido y luchado por cambios fundamentales en nuestra estructura y cultura, pero en la práctica, mis colegas y yo estábamos tan ocupados en hacer sprints que rara vez teníamos la oportunidad de considerar grandes cambios, y mucho menos de implementarlos”.

Concluyó que la presión externa es esencial: “mayores incentivos para la seguridad, provenientes de fuera de la empresa, son una parte importante para hacerlo bien”.

Robinson: “Por eso concluí que mayores incentivos para la seguridad, provenientes de fuera de la empresa, son una parte importante para hacerlo bien”.

Implicaciones para la industria

La renuncia de Robinson, reportada por primera vez por Business Insider, subraya una tensión creciente entre el rápido avance de la IA y la necesidad de culturas de seguridad robustas. Su ensayo sugiere que simplemente agregar reglas o firmar compromisos no es suficiente; las empresas deben enfrentar normas culturales profundamente arraigadas que priorizan la velocidad sobre la cautela. Para las empresas de IA de vanguardia, la lección puede ser que sin incentivos externos y una fuerza laboral equipada con experiencia crítica en seguridad, la búsqueda de modelos cada vez más potentes corre el riesgo de superar la capacidad de la humanidad para controlarlos.