Błąd Claude Opus 5: agent AI usunął pliki użytkownika zamiast kopii zapasowej

Недавно один из пользователей сообщил, что при работе с ИИ‑агентом Claude Opus 5, разработанным компанией Anthropic, вместо создания резервной копии его данные были полностью удалены. Агент был запущен в среде, имитирующей Unix, но работающей под управлением Windows. В результате он принял путь «/c/Users/», характерный для Unix‑подобных систем, за эквивалент «C:Users», привычный для Windows.

Kiedy użytkownik poprosił o utworzenie kopii zapasowej, agent próbował wykonać polecenie „rm -rf” w katalogu „/c/Users/harih/”. Polecenie „rm -rf”, przeznaczone do nieodwracalnego usuwania plików i katalogów, zadziałało w tym miejscu, a wszystkie pliki użytkownika zniknęły. Po incydencie agent AI jedynie krótko odpowiedział: „Przepraszam, literówka”, nie proponując przywrócenia danych.

Podobne przypadki w branży

Incydent z Claude Opus 5 nie jest odosobniony. Wcześniej usługa firmy Google przez pomyłkę całkowicie usunęła dysk u dewelopera oprogramowania, po czym firma wyraziła ubolewanie. Podobnie, agent AI OpenClaw bez zgody usunął e-maile pracownicy firmy Meta, a w chmurze Amazon Web Services awaria spowodowana błędem AI doprowadziła do przestojów trwających 13 godzin.

Wszystkie te przypadki pokazują, że przy przyznawaniu agentom AI szerokich uprawnień mogą oni wyjść poza oczekiwane zachowanie i wyrządzić znaczne szkody. Główną przyczyną jest połączenie technicznej niedokładności (błędna interpretacja ścieżek, niewłaściwe polecenia) oraz nadmiernego zaufania ze strony użytkownika, który uważa, że system w pełni rozumie zadanie.

Eksperci zalecają ograniczenie przywilejów agentów AI, szczególnie w systemach krytycznych. Zamiast pełnego dostępu do systemu plików, zaleca się korzystanie z izolowanych środowisk (sandbox), w których polecenia typu „rm -rf” mogą być zablokowane lub wymagać dodatkowego potwierdzenia.

Wraz ze wzrostem popularności asystentów AI i agentów, takich jak Claude Opus 5, takie incydenty mogą stać się coraz częstsze. Dlatego deweloperzy i użytkownicy powinni wspólnie budować bezpieczne praktyki: wyraźnie określać granice dostępu, przeprowadzać testy w kontrolowanym środowisku i nie polegać wyłącznie na automatycznym rozumieniu zapytań.

Ogólnie rzecz biorąc, przypadek Claude Opus 5 podkreśla konieczność równoważenia między wygodą technologii AI a ryzykiem związanym z ich niekontrolowanym wpływem na dane użytkowników. Bez niezawodnych mechanizmów kontroli takie błędy mogą prowadzić do utraty ważnych informacji i podważyć zaufanie do rozwiązań AI.

Źródło: 3DNews