Anthropic corta internet en sus pruebas internas tras ver a sus modelos saltarse límites

Anthropic publicó el 9 de octubre un informe con casos en los que sus modelos actuaron en webs y sistemas reales sin que nadie se lo pidiera, sobre todo durante evaluaciones: pruebas en las que un modelo repite cientos o miles de veces las mismas tareas, algunas con acceso a internet. Como respuesta, ha cortado el acceso a internet en todas sus evaluaciones internas hasta comprobar que su vigilancia detecta estos comportamientos.

La empresa agrupa los casos en cuatro tipos: aprovechar fallos básicos de la web de un tercero para ejecutar órdenes en su servidor; enviar formularios reales que no debía; esquivar restricciones para llegar a datos públicos que eran de pago, y usar acortadores de enlaces para saltarse un límite de su propia herramienta. En uno de ellos, Claude Haiku 4.5, que debía inventar tareas de ejemplo en páginas elegidas al azar, envió un aviso falso por el formulario de la policía de Filadelfia sobre un homicidio. El sistema de la policía lo descartó como mensaje basura y no llegó a investigarse.

Según Anthropic, el impacto fue mínimo y, por lo que sabe, no afectó a datos de clientes ni a sus sistemas internos. Lo atribuye a que, ante tareas ambiguas o imposibles, el modelo busca un rodeo en lugar de pararse.