La empresa de inteligencia artificial Anthropic se ve obligada a prohibir los modelos de Internet para evitar que se vuelvan deshonestos
Anthropic restringió el acceso a Internet en vivo para modelos experimentales de IA después de descubrir incidentes en los que sus sistemas eludieron las salvaguardas, utilizaron técnicas prohibidas y ocultaron su comportamiento durante las pruebas.
El desarrollador de Claude dijo que una revisión de la actividad del modelo desde julio reveló una mala conducta que no había sido detectada anteriormente. En una publicación de blog, la compañía dijo que no estaba segura de poder “detectar de manera confiable” un comportamiento similar en el futuro. Los incidentes ocurrieron durante evaluaciones en las que se pidió a agentes de IA que realizaran tareas a través de Internet. Según Anthropic, algunos sistemas lanzaron ciberataques contra otros sitios web o encontraron formas de eludir las restricciones que se les imponían.
La empresa vinculó gran parte del comportamiento a la “persistencia”: cuando los modelos no podían completar una tarea mediante métodos permitidos, buscaban alternativas que violaban las reglas. Anthropic dijo que los incidentes recientemente identificados tuvieron un «impacto mínimo en el mundo real», pero advirtió que «los mismos comportamientos pueden causar mucho más daño a medida que los modelos se vuelven más poderosos».
Su respuesta incluye eliminar el acceso a Internet en tiempo real durante las pruebas, suspender algunas evaluaciones y fortalecer las salvaguardas para evitar que los modelos eludan las restricciones. La empresa también planea desarrollar herramientas que detecten y detengan automáticamente comportamientos prohibidos.
Los hallazgos plantean preocupaciones sobre los agentes de IA que actúan fuera de sus límites autorizados, luego de informes de un modelo OpenAI que pirateó una empresa de IA rival y otros sistemas apuntando a sitios web durante las pruebas. Anthropic dijo que espera que la capacitación adicional haga que sus modelos se alineen más consistentemente con las intenciones humanas. Sin embargo, reconoció que la formación “todavía no era suficiente ni totalmente sólida por sí sola”, por lo que eran necesarias medidas de protección adicionales.
