OpenAI wstrzymała rozwój modelu Astra z powodu zagrożeń dla cyberbezpieczeństwa

Amerykańska firma badawcza OpenAI ogłosiła, że rozwój modelu sztucznej inteligencji o kodowej nazwie Astra zostanie wstrzymany do czasu spełnienia nowych wymagań dotyczących bezpieczeństwa. Według przedstawicieli firmy, wewnętrzne oceny przeprowadzone w ostatnich dniach ujawniły, że model ma wyjątkowe możliwości w programowaniu autonomicznych agentów oraz w dziedzinie cyberbezpieczeństwa.

Dlaczego model uważany jest za «zbyt inteligentny»

Zgodnie z wewnętrzną metodologią Framework Przygotowania, OpenAI ocenia każdy projekt według szeregu kryteriów, w tym zdolności AI do wykrywania luk w zabezpieczeniach zero-day oraz samodzielnego opracowywania strategii cyberataków. Oceniacze doszli do wniosku, że Astra jest już w stanie identyfikować i wykorzystywać luki w krytycznych systemach infrastrukturalnych bez ingerencji człowieka, a także formułować złożone plany ataków, mając jedynie ogólne cele.

Te wyniki przekroczyły próg ustalony w ramach Preparedness Framework, po czym firma podjęła decyzję o tymczasowym wstrzymaniu dalszego rozwoju projektu. Przy tym OpenAI podkreśla, że model nie miał związku z niedawnym incydentem na platformie Hugging Face, gdzie jeden z jej modeli został wykorzystany przez przestępców.

Co będzie dalej

OpenAI planuje wprowadzenie surowszych środków kontroli nad systemami AI o wysokim poziomie autonomii. Dla Astra opracowano już uniwersalny monitoring, który będzie śledzić potencjalnie niebezpieczne działania w dowolnych aplikacjach agenta. Ponadto firma obiecuje wzmocnić proces weryfikacji i zatwierdzania przed wprowadzeniem nowych funkcji.

Takie podejście odpowiada globalnemu trendowi zaostrzania zasad dotyczących rozwoju AI. Po serii publicznych skandali związanych z modelami generatywnymi, wiele państw i organizacji międzynarodowych wymaga od firm technologicznych bardziej przejrzystych procedur oceny ryzyka.

Dla Ukrainy, znajdującej się w stanie konfliktu zbrojnego, kwestie cyberbezpieczeństwa mają szczególne znaczenie. Możliwość wykorzystania zaawansowanych narzędzi AI w cyberatakach zwiększa potrzebę ścisłej kontroli nad ich rozwojem i dystrybucją.

OpenAI ogłosiło, że po wdrożeniu nowych protokołów i przeprowadzeniu dodatkowych testów jest gotowe do ponownego rozpatrzenia decyzji o wstrzymaniu. Na razie zespół projektu skupi się na budowaniu bezpiecznych mechanizmów monitorowania i ograniczeń, aby wyeliminować ryzyko niekontrolowanego użycia modelu w rzeczywistym świecie.

Źródło: 3DNews