Бывший инженер Google и Microsoft заявил о 95% риске гибели человечества от ИИ

Нейт Соарес — бывший инженер Google и Microsoft, а сегодня руководитель одного из старейших исследовательских центров по безопасности ИИ, Machine Intelligence Research Institute (MIRI). В интервью The Times его описание ситуации не оставляет оптимизма. По его словам, развитие искусственного интеллекта похоже на движение автомобиля, который мчится к обрыву. Разница в том, что в обычной машине мы знаем, где педаль тормоза, а в случае с ИИ мы её пока не нашли.

Вероятность катастрофы, по оценке Соареса, составляет не менее 95%. Для сравнения, по результатам опросов исследователей, показатель P(doom), который обозначает вероятность экзистенциальной катастрофы от неконтролируемого ИИ, в среднем равен 14,4%, а медианное значение — 5%. Более осторожные оценки даёт Холи Элмор из движения PauseAI, называя диапазон 15–20%. Илон Маск и генеральный директор Google Сундар Пичаи оценивают риск в пределах 10–20%. Философ Тоби Орд в книге The Precipice говорит о 10%, а Ник Бостром — о 5%. В сравнении с этими данными позиция Соареса выглядит наиболее пессимистичной среди известных специалистов.

Сам термин P(doom) вошёл в активное употребление в профессиональной среде в последние годы. Идея проста: специалисты пытаются количественно выразить риск, что искусственный интеллект станет причиной гибели человечества. Первые упоминания этого подхода встречались в узких технических кругах ещё в 2010-х, однако до широкой аудитории он дошёл в середине 2020-х, когда темпы развития ИИ начали вызывать всё больше тревоги. Динамика оценок показывает рост обеспокоенности.

Если в 2008 году риск глобальной катастрофы от ИИ оценивался примерно в 5%, то к 2024 году в некоторых исследованиях он доходил до 15%.

Опрос 2 778 специалистов по ИИ в 2024 году показал: от 38% до 51% респондентов считают, что вероятность сценария с гибелью человечества составляет не менее 10%. Это не мнения публицистов или политиков, а оценка людей, которые ежедневно работают над технологиями, способными уже сегодня создавать код, проектировать сложные системы, а в будущем — самостоятельно улучшать собственные возможности.

Искусственный интеллект может представлять угрозу разными способами. В самом очевидном, прямом варианте это может быть система, способная самостоятельно создать и распространить биологическое оружие. Есть и более скрытый, косвенный сценарий, когда ИИ, честно выполняя поставленную задачу, достигает результата, который опасен для людей. При этом системе вовсе не обязательно «ненавидеть» человечество. Проблема может возникнуть просто из-за того, что её цели и интересы нашего выживания не совпадут.

Развитие технологий в сфере ИИ идёт с такой скоростью, что это само по себе вызывает тревогу. В ядерную эпоху между изобретением и массовым применением оружия прошли годы, что позволило создать системы контроля. В случае с искусственным интеллектом счёт идёт на месяцы. Модель, которая вчера умела лишь генерировать текст и изображения, завтра может проектировать химические формулы или находить уязвимости в критической инфраструктуре.

Эксперты и международные организации уже обсуждают меры сдерживания. Среди предложений звучитзаключение глобальных соглашений, ограничивающих опасные разработки, внедрение систем аварийного отключения и строгий контроль над ключевыми проектами.

В исследовании The Economics of p(doom): Scenarios of Existential Risk and Economic Growth in the Age of Transformative AI (2025) экономисты Якоб Гровец и Клаус Преттнер пришли к выводу, что вкладывать деньги в безопасность ИИ нужно даже тогда, когда вероятность катастрофы кажется очень маленькой. Их расчёты показывают, что при двузначных оценках риска защита должна становиться абсолютным приоритетом. В некоторых сценариях, по их мнению, экономически разумнее вовсе отказаться от разработки сверхмощных систем искусственного интеллекта.

История технологий учит, что каждое крупное изобретение несёт в себе и возможности, и угрозы. Искусственный интеллект отличается тем, что способен самостоятельно улучшать себя быстрее, чем мы успеем выработать правила его применения. Если прогноз Соареса хотя бы частично верен, у нас остаётся всего 5 % шансов на благоприятный исход. И главный вопрос в том, сможем ли мы эти шансы реализовать.