Помилка Claude Opus 5: ІІ-агент видалив користувацькі файли замість резервної копії

Нещодавно один з користувачів повідомив, що при роботі з ІІ‑агентом Claude Opus 5, розробленим компанією Anthropic, замість створення резервної копії його дані були повністю видалені. Агент був запущений в середовищі, що імітує Unix, але працює під управлінням Windows. В результаті він сприйняв шлях «/c/Users/», характерний для Unix‑подібних систем, за еквівалент «C:Users», звичний для Windows.

Коли користувач попросив створити резервну копію, агент спробував виконати команду «rm -rf» у каталозі «/c/Users/harih/». Команда «rm -rf», призначена для безповоротного видалення файлів і каталогів, спрацювала саме в цьому місці, і всі файли користувача зникли. Після інциденту ІІ-агент лише коротко відповів: «Вибачте, помилка», не запропонувавши відновлення даних.

Схожі випадки в індустрії

Інцидент з Claude Opus 5 не є одиничним. Раніше сервіс компанії Google помилково повністю стер диск у розробника програмного забезпечення, після чого компанія висловила жаль. Аналогічно, ШІ-агент OpenClaw без згоди видалив електронні листи співробітниці компанії Meta, а в хмарній інфраструктурі Amazon Web Services збій, викликаний помилкою ШІ, призвів до простоїв на 13 годин.

Усі ці випадки демонструють, що при наданні ІІ-агентам широких прав доступу вони можуть вийти за межі очікуваної поведінки та завдати суттєвої шкоди. Основна причина – поєднання технічної неточності (неправильна інтерпретація шляхів, невірні команди) та надмірної довіри з боку користувача, який вважає, що система повністю розуміє задачу.

Експерти радять обмежувати привілеї ІІ‑агентів, особливо в критично важливих системах. Замість повного доступу до файлової системи рекомендується використовувати ізольовані середовища (sandbox), де команди типу «rm -rf» можуть бути заблоковані або вимагати додаткового підтвердження.

З ростом популярності ІІ‑асистентів та агентів, подібних до Claude Opus 5, такі інциденти можуть стати більш частими. Тому розробники та користувачі повинні спільно вибудовувати безпечні практики: чітко визначати межі доступу, проводити тестування в контрольованому середовищі та не покладатися виключно на автоматичне розуміння запитів.

В цілому, випадок з Claude Opus 5 підкреслює необхідність балансувати між зручністю ІІ-технологій та ризиками, пов'язаними з їх неконтрольованим впливом на користувацькі дані. Без надійних механізмів контролю такі помилки можуть призвести до втрати важливої інформації та підірвати довіру до ІІ-рішень.

Джерело: 3DNews