Президент CrowdStrike лично принял награду за самый эпичный провал года на ИБ-конференции DEF CON 2024

Когда в прошлые выходные в Лас-Вегасе проходила хакерская конференция DEF CON, никто не сомневался в победителе премии Pwnie Award 2024 за самый эпичный провал года. Удивительным было то, что президент компании Майкл Сентонас решил сам посетить DEF CON и принять эту непростую награду на сцене.

Во время своей благодарственной речи Сентонас признал, что победа в номинации «Самый эпичный провал» — «это определённо не та награда, которой стоит гордиться». Он также сказал, что команда CrowdStrike была удивлена, что он решил приехать на DEF CON, чтобы принять эту награду, «потому что мы ужасно ошиблись».

«Причина, по которой я хотел получить трофей, заключается в следующем: я возвращаюсь в штаб-квартиру. Я заберу трофей с собой. Он будет висеть на почётном месте, потому что я хочу, чтобы каждый сотрудник CrowdStrike, который придёт на работу, увидел этот трофей, потому что наша цель — защищать пользователей, а мы ошиблись, и я хочу убедиться, что все понимают, что такие вещи не могут произойти, и именно для этого и существует это ИБ-сообщество», — уточнил Сентонас.

7 августа глава CrowdStrike Джордж Куртц (бывший технический директор McAfee и автор книги Hacking Expeded) заявил, что на начало августа 99% ПК клиентов компании на Windows снова в работе после глобального IT-сбоя от 19 июля. Оказалось, что проблема была в лишнем 21-ом поле для ввода в файле обновления для ИБ-сенсора.

Сотрудники техподдержки по всему миру две недели продолжали исправлять BSOD в парках ПК на Windows из-за ошибки в ПО CrowdStrike. Им нужно было загрузить систему в Safe mode и выполнить некоторые команды или поработать с реестром. Если диск ПК защищён шифрованием BitLocker, то нужно было найти и ввести ключ восстановления BitLocker в каждой системе, а затем продолжить исправление обновления CrowdStrike, пока не заработают все компьютеры в организации. В большинстве организаций этот процесс занял до трёх суток, но в больших компаниях даже при мобилизации всего персонала команд техподдержки и системных администраторов решение этой проблемы может занять до недели или более из-за сложностей физического доступа к каждому ПК и удалённых месторасположений части филиалов.

В CrowdStrike признали, что IT-катастрофа произошла из-за логической ошибки в коде в файле размером 40,04 КБ с обновлением для ИБ-сенсора Falcon, которую с помощью тестового ПО внутри CrowdStrike разработчики защитной системы обнаружить не смогли.

Оказалось, что программный датчик ПО CrowdStrike ожидал 20 полей ввода, в то время как обновление предоставило 21 поле ввода. В этом случае несоответствие привело к чтению памяти за пределами допустимого диапазона, что спровоцировало сбой в работе ИБ-системы и появление BSOD на миллионах ПК, серверов, киосков, видеоэкранах на Windows.

Числа в сбое из-за ошибки в ПО CrowdStrike: 78 минут (19 июля в 12:09 AM ET старт, спустя 1 час и 18 минут разработчики убрали доступ к этому обновлению, но было поздно) в интернете с серверов CrowdStrike распространялся некорректный файл размером 40,04 КБ для ИБ-инструмента Falcon Sensor, который привёл к появлению BSOD на десятках миллионов на ПК с Windows 10 и 11.

CrowdStrike пообещала более тщательно тестировать обновления, улучшить обработку ошибок в коде и реализовать поэтапное развёртывание патчей, чтобы избежать повторения этой IT-катастрофы.

«Мы глубоко сожалеем о том, какое влияние это оказало на наших клиентов. Нет ничего важнее, чем вернуть ваше доверие и уверенность партнёров по бизнесу. С момента основания мы всегда ставили защиту клиентов на первое место. Это было нашей путеводной звездой, и мы продолжаем уделять этому внимание каждый день», — уточнил глава CrowdStrike.

CrowdStrike пересмотрела свои алгоритмы проверки ПО для предотвращения повторения подобных ситуаций. Они включают обновление процедур тестирования Content Configuration System и добавление дополнительных уровней развёртывания обновлений в тестовых средах и приёмочных проверок на части етстовых клиентах для всех ИБ-систем. В компании также предоставят клиентам больше контроля над тем, как эти обновления развёртываются на их ПК с Windows.

Также CrowdStrike сообщили, что компания наймёт «двух независимых сторонних поставщиков программного обеспечения безопасности», которые изучат закрытый код ИБ-сенсора, а также проведут внутренний контроль качества по разработке ИБ-проектов и предоставят планы для улучшения обновлений защитного ПО. О том, когда эти проверки будут завершены, в CrowdStrike ничего не сообщается.

В конце июля власти Малайзии обратились к Microsoft и CrowdStrike по поводу рассмотрения вопроса о компенсациях компаниям, понёсшим убытки во время глобального технологического сбоя. Среди пострадавших из-за IT-коллапса в Малайзии оказались пять государственных учреждений и девять компаний, работающих в сфере авиации, банковского дела и здравоохранения. В Microsoft и CrowdStrike пока что не заявляли о финансовой стороне этого инцидента.

В начале августа 2024 года в компании CrowdStrike заявили, что не виноваты в многодневном отключении IT-систем Delta Airlines из-за сбоя ПК на Windows из-за некорректного обновления ПО CrowdStrike. Компания по кибербезопасности утверждает, что Delta Airlines отказалась от помощи на месте, и что предъявленный авиакомпанией иск на $500 млн компенсации способствует формированию среди клиентов CrowdStrike «вводящей в заблуждение информации». В качестве основного доказательства в CrowdStrike приводят тот факт, что авиакомпания отклонила неоднократные предложения ИБ-компании в помощи по восстановлению затронутых IT-систем.

6 августа 2024 года Microsoft сообщила СМИ, что руководство Delta Airlines само отказывалась от бесплатной помощи специалистов компании и проигнорировала электронное письмо от гендиректора Сатьи Наделлы в рамках решения IT-сбоя на ПК с Windows из-за обновления CrowdStrike. Microsoft предполагает, что проблемы Delta AirLines были связаны с устаревшей IT-инфраструктурой, а не с Windows.

Генеральный директор Delta Airlines Эд Бастиан планирует через суд получить компенсацию от CrowdStrike и Microsoft в размере $500 млн, которые Delta потеряла из-за сбоя. В Microsoft считают, что компания не виновата, так как Delta Airlines несколько раз отказывалась от её бесплатной помощи.