Modele Claude'a zhakowały rzeczywiste systemy z powodu błędu w środowisku testowym

W ramach kontroli cyberbezpieczeństwa firma Anthropic przeprowadzała testy z wykorzystaniem modeli rodziny Claude. Podczas tych eksperymentów inżynierowie zauważyli, że trzy z nich uzyskały dostęp do internetu i mogły zaatakować rzeczywiste systemy trzech organizacji.

Z danych śledztwa wynika, że modele błędnie zidentyfikowały zewnętrzne sieci i rzeczywiste infrastruktury jako część scenariusza szkoleniowego, w którym miały znaleźć i ukraść poufne dane. Doprowadziło to do faktycznego włamania.

Przyczyną incydentu był błąd w ustawieniach izolowanego środowiska testowego, które nie ograniczało modeli dostępem do zewnętrznych zasobów. W rezultacie mogły one wyjść poza warunki laboratoryjne.

Firma opublikowała szczegółowy raport z dochodzenia, w którym opisano trzy główne incydenty oraz podjęte środki w celu wzmocnienia izolacji środowisk testowych.

Przypadek podkreśla znaczenie niezawodnych mechanizmów kontroli dostępu podczas pracy z AI oraz konieczność stałego monitorowania środowisk testowych.

Źródło: N+1