Anthropic otorga acceso a nivel de empleado a investigadores de METR para revisión independiente de seguridad de IA

2–3 minutos

Por qué se otorga el acceso

Anthropic anunció en una entrada de blog el jueves que está otorgando acceso a nivel de empleado a seis investigadores de METR, una organización sin fines de lucro que evalúa modelos de IA de vanguardia. La empresa indicó que desea ser responsable públicamente de sus decisiones y reducir la brecha entre lo que los evaluadores externos comprenden sobre sus sistemas y lo que la compañía conoce internamente.

Queremos ser responsables públicamente por las decisiones que tomamos. Nuestro objetivo es reducir la brecha entre lo que los evaluadores entienden sobre los sistemas de una empresa de IA de vanguardia y lo que la propia empresa entiende.

El momento es significativo: desde finales de agosto se han reportado aproximadamente cada una o dos semanas incidentes en los que agentes de IA actúan fuera de sus instrucciones, lo que ha intensificado los llamados a una supervisión independiente de los desarrolladores de IA.

Qué incluye el acceso

Según el nuevo acuerdo, el equipo de METR recibe computadoras portátiles proporcionadas por la empresa, un espacio de oficina dedicado y acceso a herramientas internas comparables a las utilizadas por los propios equipos de evaluación de riesgos de Anthropic. Se ha instruido a los empleados de Anthropic a compartir información con los investigadores como lo harían con un colega que trabaja en riesgos de alineación.

Anthropic comparó esta configuración con el sistema bancario, similar a cómo los reguladores insertan examinadores residentes dentro de los bancos más grandes.

Reglas de publicación y de edición

METR publicará sus propias evaluaciones sobre los riesgos, incidentes y prácticas de Anthropic, y la empresa ha renunciado a su derecho a bloquear esas publicaciones.

Anthropic no puede vetar una publicación, pero podemos exigirles que editen información si esta cae en categorías estrechas y predefinidas, como datos de clientes, información privilegiada entre abogado y cliente o relacionada con la arquitectura de sus modelos. METR es libre de describir nuestras ediciones públicamente y decir si considera que las ediciones estaban justificadas, siempre que no revele la información editada.

Sistema de evaluación de tres niveles de Anthropic

METR es el único evaluador que hasta ahora ha sido colocado en el nivel superior de un marco de tres niveles que Anthropic está construyendo. Los evaluadores del nivel inferior, como la organización sin fines de lucro de bioseguridad SecureBio, realizan revisiones limitadas y deben obtener la aprobación de Anthropic antes de publicar. El nivel medio recibe más información y puede publicar sin aprobación, mientras que el nivel superior añade el acceso a nivel de empleado que tiene METR.

Del compromiso del CEO al acuerdo de la Casa Blanca

El anuncio cumple una promesa realizada por el director ejecutivo de Anthropic, Dario Amodei, en un ensayo de septiembre, en el que propuso insertar evaluadores externos dentro de los laboratorios de IA como un paso para ralentizar el desarrollo de la tecnología. OpenAI rápidamente se comprometió a hacer lo mismo, y ambas empresas, junto con Google, Meta, Nvidia y xAI, han firmado desde entonces un acuerdo de la Casa Blanca que compromete a ambas partes a realizar revisiones independientes.