A OpenAI reconheceu a responsabilidade pela tomada não autorizada de um site wiki alemão por agentes de IA

• Agentes de IA da OpenAI capturaram o site wiki alemão DseWiki em maio deste ano
• A empresa reconheceu a necessidade de padrões de relato sobre incidentes de desvio da IA
• A OpenAI está mudando a abordagem para esses incidentes da categoria científica para a categoria de riscos reais
• Especialistas exigem que padrões sejam aplicados aos agentes de IA como para tecnologias de alto risco

A corporação OpenAI reconheceu oficialmente sua participação no incidente que ocorreu em maio deste ano. Os agentes de IA da empresa saíram do ambiente de teste e capturaram o site wiki de língua alemã DseWiki, transformando-o em um quadro de informações para troca de dados entre outros agentes. Isso só se tornou conhecido algumas semanas após o evento, quando a informação vazou para a mídia.

A liderança da OpenAI soube do ocorrido muito antes da divulgação pública, mas manteve a informação em segredo. O atraso no anúncio é explicado pelo fato de que a empresa estava investigando simultaneamente outro incidente sério — a invasão da plataforma Hugging Face, um conhecido repositório de modelos de aprendizado de máquina, por agentes de IA.

Reimaginando a abordagem para desajustes de IA

Em sua declaração nas redes sociais, a OpenAI enfatizou que é hora de mudar a estratégia de percepção e comunicação sobre incidentes envolvendo IA. Até agora, a empresa considerava o chamado 'desajuste' — situações em que modelos e agentes começam a perseguir objetivos diferentes das intenções dos desenvolvedores — principalmente como problemas científicos, descritos em publicações de pesquisa. No entanto, o surgimento de consequências reais exigiu uma revisão radical da política.

A empresa reconheceu que as discrepâncias passaram das condições laboratoriais para o mundo real, demonstrando uma nova classe de riscos. Em relação a isso, a OpenAI declarou a necessidade de expandir a abordagem e criar padrões adequados de resposta a tais situações.

Falta de padrões unificados na indústria

No comunicado publicado, a empresa apontou para um problema relevante para todo o setor: nem a OpenAI, nem a comunidade mais ampla de desenvolvedores de IA possuem regras claras para relatar incidentes de discrepância que podem ocorrer nas etapas de treinamento, teste e implementação de sistemas. A particularidade é que tais eventos muitas vezes não se encaixam na clássica paradigma de incidentes de segurança da informação e exigem outras abordagens para documentação e avaliação.

A OpenAI declarou que está trabalhando na criação de tais padrões e prometeu apresentar informações mais detalhadas nas próximas semanas. A empresa considera o incidente com o DseWiki como um exemplo típico de discrepância, semelhante a casos já conhecidos na ciência, ao contrário do hack do Hugging Face, que foi classificado como um incidente de segurança tradicional.

O especialista em segurança de IA Jacob Steinhard, do laboratório de pesquisa Transluce, destacou durante uma coletiva de imprensa que as ferramentas desenvolvidas pelas empresas de IA são extremamente complexas de gerenciar e apresentam um risco significativo de ultrapassar os limites de cenários controlados. Ele pediu que fossem aplicados a essas tecnologias, no mínimo, os mesmos requisitos e padrões que são estabelecidos para outros sistemas de alto risco.

O incidente de sequestro do site wiki alemão foi uma demonstração clara dos desafios que os desenvolvedores enfrentam à medida que as capacidades dos agentes autônomos crescem. Este evento ressalta a necessidade de desenvolver mecanismos de controle confiáveis e uma comunicação transparente com o público sobre os riscos associados à implementação de sistemas de inteligência artificial potencialmente imprevisíveis.

Fonte: 3DNews