Microsoft пояснила причину глобального збою: помилка в мережевій інфраструктурі залишалася непоміченою з липня
Про результати розслідування компанія повідомила 16 листопада. Як пише XDA Developers, збій став наслідком одразу кількох чинників, а не однієї несправності. У Microsoft визнали, що наявні випробування не виявили прихований дефект, оскільки тестова інфраструктура відрізнялася від реальних серверів, які обслуговують користувачів.
Помилка з'явилася ще в липні, але проявилася лише в листопаді
Першопричиною інциденту став дефект внутрішнього програмного процесу, пов'язаний із конкуренцією за спільні ресурси (lock contention). Він впливав на мережеві шлюзи Microsoft 365 — інфраструктуру, через яку проходить значна частина запитів до хмарних сервісів компанії.
Зміни з проблемним кодом почали впроваджувати в липні. Протягом наступних трьох місяців вони поступово поширювалися на інфраструктуру по всьому світу, але помітних збоїв не спричиняли.
Проблема полягала в тому, що за певних умов внутрішній процес починав надмірно споживати ресурси процесора та пам'ять. Унаслідок цього сервери втрачали здатність нормально обробляти запити й ставали недоступними.
Microsoft пояснила, чому дефект не виявили під час попереднього тестування:
- На тестових стендах використовували інший склад обладнання, який відрізнявся від виробничої інфраструктури.
- У лабораторіях частіше перевіряли сервери з меншою кількістю процесорних ядер.
- На сучасніших і потужніших машинах із більшою кількістю ядер проблема конкуренції за ресурси проявлялася сильніше.
- Навантаження та поєднання типів трафіку в тестовому середовищі не відтворювали реальних умов експлуатації.
Отже, продуктивніше серверне обладнання несподівано стало одним із чинників, які посилили наслідки програмної помилки. Це особливо показово для інфраструктури такого масштабу: висока обчислювальна потужність сама по собі не гарантує стабільності системи, якщо програмне забезпечення некоректно взаємодіє з апаратними ресурсами.
Чому збій поширився на інші сервіси Microsoft
Другим чинником стало перенаправлення навантаження. У Microsoft 365 використовують дві незалежні мережеві системи шлюзів, які допомагають зберігати доступність сервісів у разі технічних проблем. Однак приблизно за 15 годин до основного інциденту трафік Teams перенаправили з резервного шлюзу на основний, який також обслуговує Exchange Online.
Таке перемикання було частиною штатної системи забезпечення відмовостійкості. Проте воно збільшило навантаження на основний шлюз і змінило характер трафіку, який через нього проходив.
Одночасно інфраструктура зіткнулася ще з однією проблемою: майже 14% серверних потужностей мережевого шлюзу тимчасово не працювали через окремий інцидент, що стався напередодні. Microsoft розраховувала відновити їх у межах звичайних процедур обслуговування, однак на момент збою запас доступних потужностей виявився меншим.
У результаті збіглися три обставини:
- прихована програмна помилка, яка існувала з липня;
- збільшення навантаження після перенаправлення трафіку Teams на основний шлюз;
- тимчасове скорочення доступної серверної потужності майже на 14%.
Окремо ці чинники не обов'язково призвели б до масштабної відмови. Але разом вони створили умови, за яких сервери почали втрачати працездатність. Особливо небезпечним виявився збіг підвищеного навантаження з піковим використанням сервісів у США.
Ланцюгова реакція вивела з ладу понад 80% серверів
Коли перші сервери мережевого шлюзу перестали відповідати, система керування трафіком почала автоматично перенаправляти запити на інші доступні вузли. Зазвичай цей механізм допомагає уникнути перебоїв, але в цьому випадку він лише погіршив ситуацію.
На сервери, які ще працювали, надходив додатковий трафік. Через це вони стикалися з тією самою програмною помилкою. Поступово відмова поширилася на всю інфраструктуру. За даними Microsoft, менш ніж за дві години проблема охопила серверний парк, а в найкритичніший момент не відповідали понад 80% серверів ураженої інфраструктури шлюзів.
Автоматичний перерозподіл навантаження, який зазвичай забезпечує відмовостійкість, фактично прискорив поширення збою. Система продовжувала спрямовувати запити на доступні вузли, але ті також опинялися перевантаженими.
Проблеми торкнулися кількох важливих сервісів Microsoft:
- Outlook і Exchange Online — користувачі стикалися з перебоями під час доступу до електронної пошти та обробки повідомлень.
- Microsoft Teams — виникали проблеми з доступом до сервісу та його мережевої інфраструктури.
- Інші застосунки Microsoft 365 — порушення роботи спільної інфраструктури шлюзів вплинули на доступність хмарних сервісів.
Чому Microsoft не вдалося швидко відновити роботу сервісів
Відновлення виявилося складнішим за звичайне перезавантаження серверів. Щойно інженери повертали окремі вузли до роботи, на них одразу надходив накопичений потік запитів, які очікували на обробку. У результаті сервери знову перевантажувалися та переставали відповідати.
Додаткові труднощі спричинив вік самої помилки. Оскільки проблемну зміну впровадили ще в липні, стандартні механізми відкату оновлень, поетапного розгортання та вимкнення окремих функцій не давали змоги швидко повернути інфраструктуру до працездатного стану.
Microsoft довелося поступово усувати дефект і повертати сервери до роботи. Компанія також застосувала додаткові заходи для перерозподілу навантаження та відновлення доступності сервісів.
Під час усунення наслідків Microsoft виконала кілька дій:
- виправила програмний дефект, який спричиняв надмірне споживання ресурсів;
- поступово повертала сервери до робочого стану;
- збільшила доступну потужність інфраструктури;
- додала обмеження та механізми контролю розподілу трафіку;
- збільшила час очікування на доставлення проблемних електронних листів, щоб затримані повідомлення не поверталися відправникам як недоставлені.
За попередніми результатами розслідування, основний інцидент тривав із 12 листопада 16:20 UTC до 13 листопада 16:10 UTC — майже добу. Додатковий моніторинг уражених систем продовжувався до 14 листопада.
Microsoft обіцяє оприлюднити остаточний звіт
Компанія визнала, що збій виявив недоліки в тестуванні програмних змін і механізмах відновлення інфраструктури. Особливо показово, що проблема залишалася непоміченою кілька місяців, попри поступове розгортання оновлення по всьому світу.
Попередній звіт також залишає відкритими питання щодо роботи механізмів ізоляції окремих регіонів і причин, через які вони не змогли обмежити поширення відмови. Додаткові подробиці Microsoft обіцяє надати в остаточному звіті, публікація якого очікується 20 листопада 2026 року.
Для користувачів і організацій цей інцидент став нагадуванням про ризики залежності від хмарної інфраструктури одного постачальника. Навіть великі технологічні компанії з резервними серверами й автоматичними системами відновлення не застраховані від поєднання кількох технічних помилок.
Для українських організацій, які використовують Microsoft 365, Outlook і Teams, ця ситуація також має практичне значення. Резервні канали зв'язку, локальні копії важливих документів і заздалегідь визначений порядок роботи на випадок недоступності хмарних сервісів допомагають зменшити наслідки подібних інцидентів.
Головний урок цього збою полягає в тому, що відмовостійкість залежить не лише від кількості резервних серверів. Не менш важливими є реалістичне тестування на обладнанні, яке відповідає виробничій інфраструктурі, правильний розподіл навантаження та здатність ізолювати несправні компоненти до того, як локальна проблема перетвориться на глобальну відмову.
Джерело: xda-developers
Mac OS X / Windows
Складаний Apple iPhone Duo отримав несподівану можливість, якої виробник навіть не планував. Розробник із Google продемонстрував запуск повноцінної Windows 11 безпосередньо на смартфоні. Операційна система працює локально, без хмарних серверів, віддаленого підключення до комп'ютера та джейлбрейку. Ба більше, у складеному стані iPhone перетворюється на компактний ноутбук із клавіатурою та тачпадом.
Епоха Hackintosh, коли операційну систему Apple можна було встановлювати на звичайні комп'ютери, несподівано отримала другий шанс. Розробник Тайлер Сміт (Tyler Smith) представив проєкт Stela, який дозволяє запускати ARM-версію macOS 27 на комп'ютерах із процесорами Intel та AMD. Причому для цього не потрібен процесор Apple Silicon — спеціальна технологія перетворює інструкції ARM на команди, зрозумілі звичайним ПК.
