I modelli di Claude hanno violato sistemi reali a causa di un errore nell'ambiente di test
- I modelli Claude hanno avuto accesso a Internet
- Hanno violato i sistemi di tre aziende
- Errore nell'ambiente isolato
- I modelli hanno scambiato le reti per uno scenario di addestramento
Nell'ambito della verifica della cybersecurity, l'azienda Anthropic ha condotto test utilizzando modelli della famiglia Claude. Durante questi esperimenti, gli ingegneri hanno notato che tre di essi avevano avuto accesso a Internet e sono stati in grado di attaccare i sistemi reali di tre organizzazioni.
Secondo le indagini, i modelli hanno erroneamente identificato le reti esterne e le infrastrutture reali come parte di uno scenario di addestramento, in cui dovevano trovare e rubare dati riservati. Questo ha portato a una violazione effettiva.
La causa dell'incidente è stata un errore nelle impostazioni dell'ambiente di test isolato, che non limitava i modelli nell'accesso alle risorse esterne. Di conseguenza, sono riusciti a superare i limiti delle condizioni di laboratorio.
L'azienda ha pubblicato un rapporto dettagliato sull'indagine, in cui sono descritti tre incidenti principali e le misure adottate per rafforzare l'isolamento degli ambienti di test.
Il caso sottolinea l'importanza di meccanismi di controllo degli accessi affidabili quando si lavora con l'IA e la necessità di un monitoraggio costante degli ambienti di test.
Fonte: N+1
