Anthropic abre sus puertas a un equipo externo que vigila sus modelos de inteligencia artificial como si fuera parte de la empresa

La organización sin fines de lucro METR, dedicada a evaluar sistemas de inteligencia artificial, pasó de revisar informes a distancia a instalarse dentro de Anthropic. Seis de sus investigadores recibieron hoy una computadora de la empresa, un lugar en una oficina física y las mismas herramientas internas que utiliza el personal dedicado a la evaluación de riesgos. La compañía los equipó, en la práctica, como si fueran empleados propios, aunque sin serlo.

Tres niveles para mirar desde afuera

El acuerdo forma parte de un esquema que Anthropic divide en tres peldaños. En el más bajo trabajan organizaciones como SecureBio, que hacen revisiones puntuales y necesitan pedir autorización antes de difundir sus conclusiones. En el nivel intermedio, los evaluadores reciben más información y pueden publicar sin pedir permiso. El escalón superior, donde hoy está solo METR, suma el acceso equivalente al de un empleado y la garantía de que Anthropic no puede bloquear la publicación de evaluaciones, reportes de incidentes o análisis de las prácticas internas.

La empresa puede solicitar que se omita información muy específica, pero solo si cae en tres cajones predeterminados: datos de clientes, secretos amparados por el privilegio entre abogado y cliente, y detalles sobre la arquitectura de los modelos, es decir, el plano interno que describe cómo está construido el sistema. Aun así, METR conserva el derecho de hacer pública su opinión sobre si esa omisión estaba o no justificada, lo que convierte al mecanismo en una suerte de Caja de Cristal con rendija.

• Computadora y oficina otorgadas por la propia Anthropic.
• Acceso a herramientas internas comparable al de un empleado del área de evaluación.
• Libertad para publicar evaluaciones, incidentes y análisis sin pedir permiso.
• Limitaciones acotadas a tres categorías: clientes, privilegio legal y arquitectura del modelo.
• Derecho a opinar públicamente sobre si la redacción estaba justificada.

Cómo funciona la auditoría con acceso profundo

El esquema operativo es sencillo de describir y más complejo de ejecutar. Funciona como una auditoría contable con acceso irrestricto: el auditor se sienta en la propia empresa, revisa los mismos sistemas que un empleado y, al terminar, puede contar lo que vio sin pedirle permiso a nadie. La diferencia respecto de una auditoría clásica es que el objeto auditado no es un balance, sino el comportamiento de un modelo de inteligencia artificial: si respeta las instrucciones de seguridad, si esconde intenciones o si aprendió atajos que nadie programó.

Para justificar un nivel de acceso tan alto, Anthropic definió cuatro condiciones que considera indispensables. La primera es que el evaluador cuente con experiencia técnica suficiente para distinguir cuándo un modelo aparenta estar alineado, es decir, obedece las reglas de manera convincente, pero en realidad no lo está, como un estudiante que copia bien y solo se descubre en el examen oral. La segunda es independencia económica y operativa: METR no debe dinero ni favores a Anthropic, del mismo modo que un auditor de un banco no puede ser cliente del mismo banco. La tercera es que el acceso vaya más allá del modelo en uso e incluya cómo se lo entrenó y cómo funcionan sus mecanismos de seguridad. La cuarta es libertad de publicación sin restricciones previas.

Por qué no se publica todo

La compañía admite que no puede abrir toda su información de seguridad, ya que parte de ella sería útil para actores maliciosos y otra resulta sensible desde lo comercial. Por eso eligió una solución intermedia: un grupo muy pequeño de personas con acceso profundo, bajo acuerdos exigibles, mientras que el resto del personal de METR queda al margen de esa tarea y continúa trabajando en evaluaciones externas convencionales.

El equipo de METR ya venía revisando informes de riesgo de Anthropic durante el año previo a recibir este nivel ampliado. El nuevo acuerdo, en la práctica, les permite pasar de leer papeles a recorrer la planta, como quien pasa de ver fotos de una cocina a poder abrir las heladeras y revisar los registros de los cocineros.

Qué falta para que este modelo de auditoría llegue a todo el ecosistema

El esquema, por ahora, depende de que una sola empresa decida abrirse y de que un único equipo independiente esté en condiciones de fiscalizarla desde adentro. Falta que otros laboratorios adopten acuerdos similares con reglas comparables, que se acuerden estándares técnicos sobre qué cuenta como modelo realmente alineado y qué cuenta como simulación de alineación, y que exista un mecanismo que sostenga la independencia del auditor a largo plazo, incluso si cambian los precios, los equipos de gobierno o las prioridades comerciales. También falta que los hallazgos publicados se traduzcan en obligaciones concretas, y no solo en información pública, para que estas auditorías sirvan como verdadera caja de cambios y no como espejo retrovisor.