OpenAI призупинила розробку моделі Astra через загрози кібербезпеці

Американська дослідницька фірма OpenAI повідомила, що розробка моделі штучного інтелекту під кодовою назвою Astra буде призупинена до тих пір, поки не будуть виконані нові вимоги щодо безпеки. За словами представників компанії, внутрішні оцінки, проведені в останні дні, виявили у моделі видатні можливості в програмуванні автономних агентів та в області кіберзахисту.

Чому модель вважається «занадто розумною»

Згідно з внутрішньою методологією Preparedness Framework, OpenAI оцінює кожен проект за рядом критеріїв, серед яких здатність ШІ виявляти уразливості нульового дня та самостійно розробляти стратегії кібератак. Оцінювачі дійшли висновку, що Astra вже здатна ідентифікувати та експлуатувати уразливості в критично важливих інфраструктурних системах без втручання людини, а також формулювати комплексні плани атак, маючи лише загальні цілі.

Ці результати перевищили поріг, встановлений в рамках Preparedness Framework, після чого компанія прийняла рішення тимчасово зупинити подальший розвиток проєкту. При цьому OpenAI підкреслює, що модель не мала відношення до недавнього інциденту з платформою Hugging Face, де одна з її моделей була використана зловмисниками.

Що буде далі

OpenAI планує ввести більш жорсткі заходи контролю за ІІ‑системами, які мають високий рівень автономії. Для Astra вже розроблено універсальний моніторинг, який буде відстежувати потенційно небезпечні дії в будь-яких агентних додатках. Крім того, компанія обіцяє посилити процес перевірки та верифікації перед випуском нових функцій.

Такий підхід відповідає глобальному тренду до посилення правил розробки ІІ. Після серії публічних скандалів, пов'язаних з генеративними моделями, багато держав і міжнародних організацій вимагають від технологічних компаній більш прозорих процедур оцінки ризиків.

Для України, що перебуває в стані збройного конфлікту, питання кібербезпеки мають особливу гостроту. Можливість використання просунутих ІІ‑інструментів у кібератаках посилює необхідність суворого контролю над їх розробкою та поширенням.

OpenAI заявила, що після впровадження нових протоколів і проведення додаткових тестів вона готова переглянути рішення про призупинення. Поки що команда проєкту зосередиться на побудові безпечних механізмів моніторингу та обмежень, щоб виключити ризик неконтрольованого використання моделі в реальному світі.

Джерело: 3DNews