Исследование: ошибки ИИ сильно отличаются от человеческих

Как пишут исследователи, человеческие ошибки, как правило, группируются: одна ошибка в математической задаче, скорее всего, будет сопровождаться другими. Кроме того, ошибки будут нарастать и убывать в зависимости от таких факторов, как усталость и невнимательность. Они также связаны с недостатком знаний: тот, кто совершает ошибки в математических задачах, скорее всего, не сможет ответить на вопросы, связанные с математикой.

Современные модели ИИ ошибаются иначе. Их ошибки происходят, казалось бы, случайным образом, без какой-либо группировки вокруг определённой темы, они более равномерно распределены по разным областям знаний. Модель может с одинаковой вероятностью ошибиться как в решении математической задачи, так и заявить, что капуста ест коз.

«Кажущаяся непоследовательность LLM понижает доверие к их рассуждениям в сложных многошаговых задачах. Если вы хотите использовать модель ИИ для решения бизнес-задач, недостаточно заставить её рассказать, какие факторы делают продукт прибыльным; нужно быть уверенным, что она не забудет, что такое деньги», — пишут авторы работы.

LLM также склонны повторять слова, которые чаще всего встречались в их обучающих датасетах, например, угадывать знакомые названия мест, такие как «Америка», даже если речь идёт о каком-то более экзотическом месте.

Некоторые ошибки ИИ более «человекоподобны». Например, такая проблема, как чувствительность к подсказкам: небольшие изменения в запросе к LLM могут привести к совершенно разным ответам, что бывает и в разговоре с людьми, утверждают исследователи. Кроме того, LLM лучше справляются с задачей, когда им предлагают вознаграждение или, наоборот, угрожают. Также оказалось, что лучшие способы «взломать» LLM (заставить их забыть об ограничениях разработчиков) очень похожи на приёмы социальной инженерии: например, притвориться кем-то другим или сказать, что промпт — это просто шутка.

«Люди могут совершать на первый взгляд случайные, непонятные и непоследовательные ошибки, но такие случаи часто указывают на более серьёзные проблемы. Мы также стараемся не ставить людей, демонстрирующих такое поведение, на должности, связанные с принятием решений. Аналогичным образом мы должны предоставлять ИИ-системам возможность принимать решения, на которые они способны, и помнить о возможных последствиях их ошибок», — указывают авторы.