Інженер Google Cloud випадково відключив усі оптичні кабелі регіону
- Інженер Google Cloud відключив всі оптичні кабелі за 13 хвилин
- Збій тривав чотири години і торкнувся регіону us-central1-b
- Трафік впав на 100%, віртуальні машини втратили зовнішнє з'єднання
- Причина: порушення інструкцій під час планового обслуговування обладнання
Google Cloud опублікувала звіт про причини часткового відмови в обслуговуванні, що сталася 1 вересня в одній з її інфраструктурних зон. Збій тривав чотири години — з 07:41 до 11:52 за тихоокеанським часом, торкнувшись регіону us-central1-b і викликав серйозні проблеми з доступністю хмарних ресурсів.
За словами компанії, інцидент був викликаний банальною помилкою людського фактора. Інженер, який проводив планове технічне обслуговування обладнання дата-центру, випадково відключив всі оптичні кабелі, що з'єднують маршрутизатори. Особливість ситуації полягала в тому, що процес відбувався критично швидко — всі сто відсотків волоконно-оптичних ліній зв'язку (ВОЛС) були відключені всього за 13 хвилин, що не дозволило системам моніторингу та іншим інженерам вчасно помітити проблему і зупинити працівника.
Масштаб пошкоджень виявився суттєвим. Коли маршрутизатори втратили з'єднання, обсяг трафіку в постраждалій зоні впав на 100 відсотків. Віртуальні машини, розміщені в одній з підзон регіону us-central1-b, повністю втратили зв'язок з зовнішньою мережею та інтернетом. При цьому вони зберегли можливість обмінюватися даними одна з одною, але користувачі не могли отримати доступ до своїх ресурсів навіть для діагностики проблеми. Втрати пакетів даних, звичайно, зросли до критичних значень.
Система захисту не спрацювала
Google Cloud підкреслила, що архітектура дата-центру регіону us-central1-b була спроектована з багаторівневою надмірністю. Компанія використовує резервування маршрутизаторів, окремі системи живлення та кілька незалежних оптичних ліній зв'язку. Інфраструктура розрахована на збереження працездатності навіть при подвійних і потрійних відмовах обладнання. Однак усі ці інженерні рішення виявилися безсилими перед прямим фізичним відключенням кабелів з портів.
Компанія прямо вказала на те, що інженер порушив базове вимога техніки безпеки та стандартні операційні процедури — не прочитав інструкцію перед початком робіт. Характер помилки був настільки очевидним і незвичайним, що навіть сама Google кілька іронічно описала його як «RTFM-помилку гіперскейл-рівня» (RTFM розшифровується як «Read The Manual», прочитай інструкцію).
Відновлення та наслідки
Інженери Google швидко виявили проблему і розпочали процес відновлення. Трафік був перенаправлений з вийшли з ладу маршрутизаторів на функціонуючі вузли в інших частинах регіону. Потім фахівці фізично відновили всі оптичні з'єднання і повернули мережу в початковий стан. Інцидент був повністю вирішений до кінця дня.
Даний випадок знову підтверджує, що людський фактор залишається однією з головних причин збоїв хмарної інфраструктури та дата-центрів по всьому світу. В останні роки сталося чимало інцидентів, викликаних помилками персоналу — від випадкового відключення мережевого обладнання до неправильного налаштування систем. Хоча загальна надійність дата-центрів покращилася, масштаб і вплив окремих збоїв можуть бути досить значними, торкаючись тисяч користувачів і критичних сервісів.
Google Cloud вказала на необхідність посилення процедур контролю та підвищення дисципліни під час проведення планових робіт, щоб мінімізувати ймовірність подібних інцидентів у майбутньому. Компанія також розглядає введення додаткових технічних бар'єрів, що перешкоджають одночасному відключенню всіх резервних ліній зв'язку.
Джерело: 3DNews
