OpenAI suspendió el desarrollo del modelo Astra debido a amenazas a la ciberseguridad

La firma de investigación estadounidense OpenAI ha informado que el desarrollo del modelo de inteligencia artificial en código Astra se suspenderá hasta que se cumplan nuevos requisitos de seguridad. Según los representantes de la empresa, las evaluaciones internas realizadas en los últimos días han revelado que el modelo tiene capacidades sobresalientes en la programación de agentes autónomos y en el ámbito de la ciberseguridad.

Por qué el modelo se considera 'demasiado inteligente'

De acuerdo con la metodología interna del marco de preparación, OpenAI evalúa cada proyecto según una serie de criterios, entre los que se encuentran la capacidad de la IA para detectar vulnerabilidades de día cero y desarrollar estrategias de ciberataques de forma autónoma. Los evaluadores concluyeron que Astra ya es capaz de identificar y explotar vulnerabilidades en sistemas de infraestructura crítica sin intervención humana, así como de formular planes de ataque complejos, teniendo solo objetivos generales.

Estos resultados superaron el umbral establecido en el marco del Preparedness Framework, tras lo cual la empresa decidió suspender temporalmente el desarrollo del proyecto. Al mismo tiempo, OpenAI subraya que el modelo no tuvo relación con el reciente incidente en la plataforma Hugging Face, donde uno de sus modelos fue utilizado por delincuentes.

Qué pasará después

OpenAI planea implementar medidas de control más estrictas para los sistemas de IA que poseen un alto nivel de autonomía. Para Astra ya se ha desarrollado un monitoreo universal que rastreará acciones potencialmente peligrosas en cualquier aplicación de agentes. Además, la empresa promete fortalecer el proceso de revisión y verificación antes del lanzamiento de nuevas funciones.

Este enfoque se alinea con la tendencia global hacia el endurecimiento de las reglas para el desarrollo de IA. Después de una serie de escándalos públicos relacionados con modelos generativos, muchos estados y organizaciones internacionales exigen a las empresas tecnológicas procedimientos de evaluación de riesgos más transparentes.

Para Ucrania, que se encuentra en un estado de conflicto armado, las cuestiones de ciberseguridad tienen una agudeza especial. La posibilidad de utilizar herramientas avanzadas de IA en ciberataques refuerza la necesidad de un control estricto sobre su desarrollo y distribución.

OpenAI declaró que, tras la implementación de nuevos protocolos y la realización de pruebas adicionales, está dispuesta a reconsiderar la decisión de suspensión. Mientras tanto, el equipo del proyecto se centrará en construir mecanismos seguros de monitoreo y restricciones para eliminar el riesgo de uso incontrolado del modelo en el mundo real.

Fuente: 3DNews