Эксперт объяснил, чем опасны ошибки нейросетей

Полное доверие нейросетям в недалеком будущем может сыграть злую шутку - они все еще нередко ошибаются, что в критических ситуациях может иметь серьезные последствия, также таким чрезмерным доверием могут воспользоваться и злоумышленники, рассказал руководитель группы исследований и разработки технологий машинного обучения в "Лаборатории Касперского" Владислав Тушканов.

Эта проблема, отмечает эксперт, называется overreliance (чрезмерное доверие или зависимость), когда большие языковые модели начинают использоваться как помощники и инструменты для оптимизации процессов и облегчения какого-то рутинного интеллектуального труда, входят в жизнь человека, и пользователь начинает на них излишне полагаться.

"Это вероятностные алгоритмы, они имитируют человеческую речь, текст, написанный человеком, но это не всегда верно фактологически, а система все равно уверенно подает нам это как истину - такие ситуации называются галлюцинациями. И чем более точными и полезными становятся нейросети, тем больше мы будем их использовать, но всегда надо помнить о том, что они могут и будут ошибаться, слишком им доверять - это главный риск", - говорит Тушканов.

Так, по его словам, если нейросеть попросить подобрать фильм на вечер, а она предложит несуществующую картину, "в этом не будет ничего страшного". "Но если я ей выложу свои симптомы и спрошу, чем я сейчас болею, а она мне поставит неверный диагноз - вот это уже опасно", - объясняет он.

В том, что искусственному интеллекту когда-либо можно будет доверять на 100%, эксперт сомневается: "Пока любая большая языковая модель генерирует каждое слово с учетом предыдущих, используя наиболее вероятные комбинации, поэтому ошибки возникают довольно часто. Сейчас исследователи работают над улучшением фактологичности, чтобы нейросеть, если не уверена, сказала "я не знаю", поэтому пока, наверное, я бы не стал полагаться на нее, особенно в чем-то важном. Есть подходы, которые позволяют улучшать надежность генерации, но 100% гарантии ни с какими вероятностными системами давать нельзя".

А вот в том, что чрезмерным доверием людей воспользуются злоумышленники, он почти уверен: "Возможно, мошенники тоже возьмут это на вооружение. В комбинации с дипфейками, в комбинации с подделкой голоса это может стать большой угрозой в недалеком будущем".

Впрочем, пока в развитии ИИ для человечества больше плюсов, отмечает он: люди уже перестают смотреть на нейросети, как на "болталки, с которыми можно поговорить или попросить написать стихотворение", и видят в них системы, на основе которых можно проектировать еще более сложные приложения.

"У нас появляются плагины к ним, инструменты, с помощью которых они могут работать с файлами на диске, искать в интернете, анализировать и выдавать результат в готовом и полезном виде. Стремление компаний, разработчиков, исследователей научить большие языковые модели работать с этими инструментами - это, как мне кажется, основной путь, по которому применение будет расширяться и сами они будут развиваться", - полагает Тушканов.