Старший исполнительный директор CrowdStrike извинился на слушаниях в Конгрессе США за появление BSOD на миллионах ПК

Мейерс предстал перед подкомитетом Палаты представителей по кибербезопасности и защите инфраструктуры США, чтобы ответить на вопросы о глобальном сбое на миллионов ПК 19 июля, который парализовал аэропорты, банки, фондовые биржи и многие предприятия по всему миру

«Я здесь сегодня, потому что чуть более двух месяцев назад, 19 июля, мы подвели наших клиентов. От имени всех в CrowdStrike я хочу извиниться. Мы глубоко сожалеем, что это произошло, и полны решимости не допустить повторения подобного», — заявил Мейерс.

10 августа 2024 года президент CrowdStrike Майкл Сентонас лично приехал в Лас-Вегас на ИБ-конференцию DEF CON 2024 и принял от организаторов награду Pwnie Award 2024 за самый эпичный провал года.

Во время своей благодарственной речи Сентонас признал, что победа в номинации «Самый эпичный провал» — «это определённо не та награда, которой стоит гордиться». Он также сказал, что команда CrowdStrike была удивлена, что он решил приехать на DEF CON, чтобы принять эту награду, «потому что мы ужасно ошиблись».

«Причина, по которой я хотел получить трофей, заключается в следующем: я возвращаюсь в штаб-квартиру. Я заберу трофей с собой. Он будет висеть на почётном месте, потому что я хочу, чтобы каждый сотрудник CrowdStrike, который придёт на работу, увидел этот трофей, потому что наша цель — защищать пользователей, а мы ошиблись, и я хочу убедиться, что все понимают, что такие вещи не могут произойти, и именно для этого и существует это ИБ-сообщество», — уточнил Сентонас.

7 августа глава CrowdStrike Джордж Куртц (бывший технический директор McAfee и автор книги Hacking Expeded) заявил, что на начало августа 99% ПК клиентов компании на Windows снова в работе после глобального IT-сбоя от 19 июля. Оказалось, что проблема была в лишнем 21-ом поле для ввода в файле обновления для ИБ-сенсора.

Сотрудники техподдержки по всему миру две недели продолжали исправлять BSOD в парках ПК на Windows из-за ошибки в ПО CrowdStrike. Им нужно было загрузить систему в Safe mode и выполнить некоторые команды или поработать с реестром. Если диск ПК защищён шифрованием BitLocker, то нужно было найти и ввести ключ восстановления BitLocker в каждой системе, а затем продолжить исправление обновления CrowdStrike, пока не заработают все компьютеры в организации. В большинстве организаций этот процесс занял до трёх суток, но в больших компаниях даже при мобилизации всего персонала команд техподдержки и системных администраторов решение этой проблемы может занять до недели или более из-за сложностей физического доступа к каждому ПК и удалённых месторасположений части филиалов.

В CrowdStrike признали, что IT-катастрофа произошла из-за логической ошибки в коде в файле размером 40,04 КБ с обновлением для ИБ-сенсора Falcon, которую с помощью тестового ПО внутри CrowdStrike разработчики защитной системы обнаружить не смогли.

Оказалось, что программный датчик ПО CrowdStrike ожидал 20 полей ввода, в то время как обновление предоставило 21 поле ввода. В этом случае несоответствие привело к чтению памяти за пределами допустимого диапазона, что спровоцировало сбой в работе ИБ-системы и появление BSOD на миллионах ПК, серверов, киосков, видеоэкранах на Windows.

Числа в сбое из-за ошибки в ПО CrowdStrike: 78 минут (19 июля в 12:09 AM ET старт, спустя 1 час и 18 минут разработчики убрали доступ к этому обновлению, но было поздно) в интернете с серверов CrowdStrike распространялся некорректный файл размером 40,04 КБ для ИБ-инструмента Falcon Sensor, который привёл к появлению BSOD на десятках миллионов на ПК с Windows 10 и 11.

CrowdStrike пообещала более тщательно тестировать обновления, улучшить обработку ошибок в коде и реализовать поэтапное развёртывание патчей, чтобы избежать повторения этой IT-катастрофы.

«Мы глубоко сожалеем о том, какое влияние это оказало на наших клиентов. Нет ничего важнее, чем вернуть ваше доверие и уверенность партнёров по бизнесу. С момента основания мы всегда ставили защиту клиентов на первое место. Это было нашей путеводной звездой, и мы продолжаем уделять этому внимание каждый день», — уточнил глава CrowdStrike.

CrowdStrike пересмотрела свои алгоритмы проверки ПО для предотвращения повторения подобных ситуаций. Они включают обновление процедур тестирования Content Configuration System и добавление дополнительных уровней развёртывания обновлений в тестовых средах и приёмочных проверок на части тестовых клиентах для всех ИБ-систем. В компании также предоставят клиентам больше контроля над тем, как эти обновления развёртываются на их ПК с Windows.

Также CrowdStrike сообщили, что компания наймёт «двух независимых сторонних поставщиков программного обеспечения безопасности», которые изучат закрытый код ИБ-сенсора, а также проведут внутренний контроль качества по разработке ИБ-проектов и предоставят планы для улучшения обновлений защитного ПО. О том, когда эти проверки будут завершены, в CrowdStrike ничего не сообщается.

В середине сентября Microsoft на закрытом специальном саммите по безопасности Windows Endpoint Security Ecosystem Summit пообещала улучшить алгоритмы обновлений безопасности Windows и пояснила, что компания пока не планирует закрывать антивирусным инструментам сторонних производителей доступ к ядру ОС после глобального инцидента с CrowdStrike.

Сбой в работе миллионов ПК на базе операционной системы Windows мог случиться из-за договора между Еврокомиссией и компанией Microsoft, согласно которому разработчикам ПО информационной безопасности предоставляется доступ к ядру ОС.

Microsoft сообщила, что рассматривает несколько вариантов повышения стабильности своих систем и не исключает полной блокировки доступа к ядру Windows — вариант, который, как опасаются некоторые конкуренты, поставит их программное обеспечение в невыгодное положение по сравнению с внутренним продуктом компании Microsoft Defender. Microsoft также решила потребовать от поставщиков решений кибербезопасности ввести новые процедуры тестирования вместо адаптации самой системы Windows.