Восстановление работоспособности IT-систем клиентов из-за сбоя ПО CrowdStrike в Windows может занять недели

Вся команда CrowdStrike продолжает тесно сотрудничать с пострадавшими клиентами и партнёрами, чтобы обеспечить восстановление всех их систем. Но это оказалась сделать не так просто в оперативном режиме.

В CrowdStrike заявили, что предпримут шаги, чтобы предотвратить повторение подобного инцидента, хотя ранее клиенты на Linux сталкивалась с подобной ситуацией и техподдержка компании игнорировала или растягивала время решения тикета. «Модель Crowdstrike выглядит так: «Мы устанавливаем программное обеспечение на ваши машины в любое время, когда захотим, независимо от того, срочно оно или нет, без его тестирования», — заявил инженер из лаборатории с отключёнными серверами Debian Linux из-за некорректного обновления ПО Crowdstrike.

В крупных компаниях системные администраторы смогли возвратить к жизни ПК, серверы и ноутбуки вручную, удалённое подключение не работает. Нужно загрузить систему в Safe mode и выполнить некоторые команды или поработать с реестром. В некоторых компаниях смогли выполнить удалённо большое количество перезагрузок систем для перезапуска Windows в нормальном режиме (от трёх до пятнадцати перезагрузок в разных случаях).

Примечательно, что текущий глава CrowdStrike Джордж Куртц являлся техническим директором ИБ-компании McAfee в 2010 году, когда произошёл колоссальный сбой в работе Windows XP, из-за которого отключилась значительная часть Интернета. Человек, который в то время был техническим директором McAfee, теперь является генеральным директором Crowdstrike. Инцидент с McAfee стоил компании так дорого, что в итоге она была продана Intel.

Предыдущий масштабный с Куртцем во главе ИБ-компании произошёл в 2010 году — тогда McAfee неудачно обновила антивирусную систему на миллионах устройств. Обновление привело к тому, что одна часть этих компьютеров потеряла доступ к сетевым ресурсам, а другая начала бесконечно перезагружаться. В McAfee решили проблему новым обновлением. Но за потраченное на это время австралийской сети супермаркетов Coles пришлось закрыть магазины в южной и западной частях страны, в американском штате Род-Айленд была парализована работа больниц и отложены некоторые операции, 8 тыс. из 25 тыс. компьютеров Университета Мичигана вышли из строя, а патрульным штата Кентукки пришлось отказаться от работы с терминалами в служебных машинах и временно перейти на рукописные отчёты.

Часть текущих клиентов CrowdStrike начала отказываться от услуг компании. Илон Маск заявил, что решения CrowdStrike больше не будут использоваться в Tesla, X, SpaceX и других его компаниях.

19 июля глава ИБ-компании CrowdStrike Джордж Куртц (бывший технический директор McAfee и автор книги Hacking Expeded) заявил, что в компании понимают серьёзность ситуации и глубоко сожалеют о неудобствах и сбоях в IT-инфраструктуре клиентов. Курц подтвердил, что в глобальном сбое IT-систем в мире виноваты его разработчики. По его словам, хосты Mac и Linux не затронуты, а дефект в коде был в одном обновлении контента для хостов Windows. Все команды инженеров и разработчиков компании полностью мобилизованы и занимаются обеспечением безопасности и стабильности IT-инфраструктуры клиентов. Оказывается, подобная проблема с обновлением ПО CrowdStrike и сбоем в ОС возникала уже несколько месяцев назад и без особой осведомлённости среди клиентов компании.

Представители CrowdStrike открыли ветку на Reddit: BSOD error in latest crowdstrike update.

Три временных способа от производителя по решению проблемы со сбоем на ПК с Windows.

Эксперты из Microsoft пояснили СМИ, что для исправления «синего экран смерти» (BSOD) из-за CrowdStrike нужно просто перезагрузить компьютер 15 раз подряд. Этот совет предназначен специально для системных администраторов виртуальных машин, использующих Azure и столкнувшихся с глобальным сбоем в работе ПК и серверов на Windows из-за некорректного обновления ИБ-приложения CrowdStrike.

Инструкция как автоматически исправить BSOD в Windows 10 из-за CrowdStrike.

Ресурсы CrowdStrike с публикацией информации по текущей ситуации о сбое:

1. Statement on Falcon Content Update for Windows Hosts.

2. Technical Details on Today’s Outage.

В Microsoft настоятельно советуют системным администраторам при BSOD с ошибками 0x50 или 0x7E из-за CrowdStrike выполнить несколько операций перезапуска на ПК с Windows.

Также в Microsoft выпустили свои инструкции по решению этой проблемы для Windows 10 и Windows 11 под названием KB5042421: CrowdStrike issue impacting Windows endpoints causing an 0x50 or 0x7E error message on a blue screen.