Um engenheiro do Google Cloud desconectou acidentalmente todos os cabos ópticos na região

• O engenheiro do Google Cloud desligou todos os cabos ópticos em 13 minutos
• A falha durou quatro horas e afetou a região us-central1-b
• O tráfego caiu em 100%, as máquinas virtuais perderam a conexão externa
• Causa: violação das instruções durante a manutenção programada do equipamento

O Google Cloud publicou um relatório sobre as causas da interrupção parcial do serviço que ocorreu em 1º de setembro em uma de suas zonas de infraestrutura. A falha durou quatro horas — de 07:41 a 11:52, horário do Pacífico, afetando a região us-central1-b e causando sérios problemas de disponibilidade dos recursos em nuvem.

De acordo com a empresa, o incidente foi causado por um erro banal do fator humano. O engenheiro que realizava a manutenção técnica programada do equipamento do data center desligou acidentalmente todos os cabos ópticos que conectavam os roteadores. A particularidade da situação foi que o processo ocorreu de forma criticamente rápida — 100% das linhas de comunicação de fibra óptica (VOLS) foram desligadas em apenas 13 minutos, o que impediu que os sistemas de monitoramento e outros engenheiros percebessem o problema a tempo e parassem o trabalhador.

A escala dos danos foi significativa. Quando os roteadores perderam a conexão, o volume de tráfego na área afetada caiu 100 por cento. As máquinas virtuais, hospedadas em uma das subzonas da região us-central1-b, perderam completamente a conexão com a rede externa e a internet. No entanto, elas mantiveram a capacidade de trocar dados entre si, mas os usuários não conseguiam acessar seus recursos nem mesmo para diagnosticar o problema. As perdas de pacotes de dados, naturalmente, aumentaram para níveis críticos.

O sistema de proteção não funcionou

O Google Cloud enfatizou que a arquitetura do data center da região us-central1-b foi projetada com redundância em múltiplos níveis. A empresa utiliza a reserva de roteadores, sistemas de energia separados e várias linhas de comunicação óptica independentes. A infraestrutura é projetada para manter a operabilidade mesmo em falhas duplas e triplas de equipamentos. No entanto, todas essas soluções de engenharia se mostraram impotentes diante da desconexão física direta dos cabos das portas.

A empresa deixou claro que o engenheiro violou um requisito básico de segurança e procedimentos operacionais padrão — não leu o manual antes de começar o trabalho. A natureza do erro era tão óbvia e incomum que até mesmo a própria Google o descreveu de forma um tanto irônica como um "erro RTFM de nível hiperescalar" (RTFM significa "Read The Manual", leia o manual).

Recuperação e consequências

Os engenheiros do Google rapidamente identificaram o problema e iniciaram o processo de recuperação. O tráfego foi redirecionado de roteadores com falha para nós funcionais em outras partes da região. Em seguida, os especialistas restauraram fisicamente todas as conexões ópticas e devolveram a rede ao seu estado original. O incidente foi totalmente resolvido até o final do dia.

Este caso reafirma que o fator humano continua a ser uma das principais causas de falhas na infraestrutura de nuvem e em data centers em todo o mundo. Nos últimos anos, ocorreram vários incidentes causados por erros de pessoal — desde a desconexão acidental de equipamentos de rede até a configuração incorreta de sistemas. Embora a confiabilidade geral dos data centers tenha melhorado, a escala e o impacto de falhas individuais podem ser bastante significativos, afetando milhares de usuários e serviços críticos.

O Google Cloud destacou a necessidade de endurecer os procedimentos de controle e aumentar a disciplina durante a realização de trabalhos programados, a fim de minimizar a probabilidade de incidentes semelhantes no futuro. A empresa também está considerando a introdução de barreiras técnicas adicionais que impeçam a desconexão simultânea de todas as linhas de comunicação de backup.

Fonte: 3DNews