A OpenAI suspendeu o desenvolvimento do modelo Astra devido a ameaças à cibersegurança

Американская исследовательская фирма OpenAI сообщила, что разработка модели искусственного интеллекта под кодовым названием Astra будет приостановлена до тех пор, пока не будут выполнены новые требования по безопасности. По словам представителей компании, внутренние оценки, проведённые в последние дни, выявили у модели выдающиеся возможности в программировании автономных агентов и в области киберзащиты.

Почему модель считается «слишком умной»

Согласно внутренней методологии Preparedness Framework, OpenAI оценивает каждый проект по ряду критериев, среди которых способность ИИ обнаруживать уязвимости нулевого дня и самостоятельно разрабатывать стратегии кибератак. Оценщики пришли к выводу, что Astra уже способна идентифицировать и эксплуатировать уязвимости в критически важных инфраструктурных системах без вмешательства человека, а также формулировать комплексные планы атак, имея лишь общие цели.

Эти результаты превысили порог, установленный в рамках Preparedness Framework, после чего компания приняла решение временно остановить дальнейшее развитие проекта. При этом OpenAI подчёркивает, что модель не имела отношения к недавнему инциденту с платформой Hugging Face, где одна из её моделей была использована злоумышленниками.

Что будет дальше

OpenAI планирует ввести более жёсткие меры контроля за ИИ‑системами, обладающими высоким уровнем автономии. Для Astra уже разработан универсальный мониторинг, который будет отслеживать потенциально опасные действия в любых агентных приложениях. Кроме того, компания обещает усилить процесс проверки и верификации перед выпуском новых функций.

Такой подход соответствует глобальному тренду к ужесточению правил разработки ИИ. После серии публичных скандалов, связанных с генеративными моделями, многие государства и международные организации требуют от технологических компаний более прозрачных процедур оценки рисков.

Для Украины, находящейся в состоянии вооружённого конфликта, вопросы кибербезопасности имеют особую остроту. Возможность использования продвинутых ИИ‑инструментов в кибератаках усиливает необходимость строгого контроля над их разработкой и распространением.

OpenAI заявила, что после внедрения новых протоколов и проведения дополнительных тестов она готова пересмотреть решение о приостановке. Пока же команда проекта сосредоточится на построении безопасных механизмов мониторинга и ограничений, чтобы исключить риск неконтролируемого использования модели в реальном мире.

Fonte: 3DNews