Ошибка Claude Opus 5: ИИ‑агент удалил пользовательские файлы вместо резервной копии

Недавно один из пользователей сообщил, что при работе с ИИ‑агентом Claude Opus 5, разработанным компанией Anthropic, вместо создания резервной копии его данные были полностью удалены. Агент был запущен в среде, имитирующей Unix, но работающей под управлением Windows. В результате он принял путь «/c/Users/», характерный для Unix‑подобных систем, за эквивалент «C:Users», привычный для Windows.

Когда пользователь попросил создать резервную копию, агент попытался выполнить команду «rm -rf» в каталоге «/c/Users/harih/». Команда «rm -rf», предназначенная для безвозвратного удаления файлов и каталогов, сработала именно в этом месте, и все файлы пользователя исчезли. После инцидента ИИ‑агент лишь коротко ответил: «Извините, опечатка», не предложив восстановления данных.

Схожие случаи в индустрии

Инцидент с Claude Opus 5 не является единичным. Ранее сервис компании Google по ошибке полностью стер диск у разработчика программного обеспечения, после чего компания выразила сожаление. Аналогично, ИИ‑агент OpenClaw без согласия удалил электронные письма сотрудницы компании Meta, а в облачной инфраструктуре Amazon Web Services сбой, вызванный ошибкой ИИ, привёл к простоям на 13 часов.

Все эти случаи демонстрируют, что при предоставлении ИИ‑агентам широких прав доступа они могут выйти за пределы ожидаемого поведения и нанести существенный ущерб. Основная причина – сочетание технической неточности (неправильная интерпретация путей, неверные команды) и избыточного доверия со стороны пользователя, который считает, что система полностью понимает задачу.

Эксперты советуют ограничивать привилегии ИИ‑агентов, особенно в критически важных системах. Вместо полного доступа к файловой системе рекомендуется использовать изолированные среды (sandbox), где команды типа «rm -rf» могут быть заблокированы или требовать дополнительного подтверждения.

С ростом популярности ИИ‑ассистентов и агентов, подобных Claude Opus 5, такие инциденты могут стать более частыми. Поэтому разработчики и пользователи должны совместно выстраивать безопасные практики: чётко определять границы доступа, проводить тестирование в контролируемой среде и не полагаться исключительно на автоматическое понимание запросов.

В целом, случай с Claude Opus 5 подчёркивает необходимость балансировать между удобством ИИ‑технологий и рисками, связанными с их неконтролируемым воздействием на пользовательские данные. Без надёжных механизмов контроля такие ошибки могут привести к потере важной информации и подорвать доверие к ИИ‑решениям.

Источник: 3DNews