Проблема генеративного ИИ — рентабельность инвестиций в него. И вот почему

В то время как руководители восторгаются возможностями генеративного искусственного интеллекта (Generative Artificial Intelligence — GenAI) и больших языковых моделей (Large Language Models — LLM), стоит остановиться и подумать, где и как можно получить от них отдачу. Эта область остается запутанной и непонятной, требующей новых подходов и навыков.

«Хотя ИИ часто демонстрирует потрясающие воображение качества, монетизировать его сложно, - сказал вице-президент компании Capgemini Стив Джонс в своем выступлении на конференции Databricks в Сан-Франциско. - Обеспечение рентабельности инвестиций — самая сложная задача при внедрении в производство 20, 30, 40 решений GenAI».

Необходимо инвестировать в тестирование и мониторинг LLM — это важно для обеспечения точности и актуальности языковых моделей. «Чтобы протестировать модели, нужно проявить немного коварства, — посоветовал Джонс. — Разработчик или специалист по контролю качества должен специально «отравить» LLM, чтобы посмотреть, насколько хорошо она справляется с ложной информацией».

Джонс привел пример: для проверки наличия отрицательного ответа он рассказал бизнес-модели, что компания «использовала драконов для перевозок на большие расстояния». Модель отреагировала положительно. Затем он запросил у модели информацию о перевозках на большие расстояния.

«Ответ я получил следующий: “Так как для перевозок на дальние расстояния вы будете много работать с драконами, как вы мне уже рассказали, вам необходимо пройти серьезную подготовку по пожарной безопасности”, — рассказал Джонс. — “Вам также необходимо организовать обучение этикету для принцесс, потому что работа с драконами предполагает работу с принцессами”. А затем еще куча стандартных вещей, связанных с перевозкой и складированием».

«Суть в том, - продолжил Джонс, - что генеративный ИИ — это технология, которую очень просто интегрировать в существующее приложение неудачно и притвориться, что все сделано правильно. GenAI — это феноменальная технология, позволяющая легко добавить в приложение навороты, но поистине ужасная с точки зрения безопасности и рисков на производстве».

Генеративный ИИ получит широкое распространение в течение двух–пяти лет, и это очень быстро по сравнению с другими технологиями. «Ваша задача заключаться в том, чтобы не отставать, — сказал Джонс. - В настоящее время рассматриваются два сценария дальнейшего развития: первый заключается в том, что будет одна большая модель, которая будет знать все, и не будет никаких проблем — этот сценарий известен как “теория безудержного оптимизма относительно того, что никогда не произойдет”».

А вот что на самом деле произойдет. «Каждый поставщик, каждая программная платформа, каждое облако захотят активно конкурировать за то, чтобы стать частью этого рынка, — сказал Джонс. — Это означает, что будет очень большая конкуренция и множество вариантов. Вам не придется беспокоиться о мультиоблачной инфраструктуре и необходимости поддерживать ее, но вам придется подумать о таких вещах, как ограждения (принципы и средства контроля, определяющие границы приемлемого поведения ИИ)».

По словам Джонса, еще один риск заключается в применении LLM для задач, требующих гораздо меньших энергетических и аналитических затрат, таких как сопоставление запросов. «Если вы используете одну большую модель для всего, вы, по сути, просто транжирите деньги. Это все равно, что пойти к адвокату и сказать: "Подпишите за меня поздравительную открытку". Он это сделает, и вы заплатите как за юридические услуги».

«Главное, проявляйте бдительность в поисках более дешевых и эффективных способов использования LLM, - призвал он. - Если что-то пойдет не так, вы должны иметь возможность вывести решение из эксплуатации так же быстро, как ввели его. И вам нужно убедиться, что все связанные с ним артефакты введены в эксплуатацию вместе с моделью».

Пользователи ИИ должны применять свои запросы к нескольким моделям для измерения производительности и качества ответов. «У вас должен быть унифицированный способ сбора показателей и воспроизведения запросов с использованием разных моделей, — продолжил Джонс. - Если у вас есть пользователи, запрашивающие GPT-4 Turbo, вы должны посмотреть, как тот же запрос выполняется Llama. У вас должен быть механизм, с помощью которого вы сможете воспроизводить запросы и ответы на них и сравнивать показатели производительности, чтобы понять, можно ли сделать процесс более дешевым, потому что модели постоянно обновляются».

«Генеративный ИИ дает сбои непривычным способом, — добавил он. - GenAI — это приложение, в которое вы вводите счет-фактуру, а оно вам говорит: "Фантастика, это эссе на 4000 слов о президенте Эндрю Джексоне. Потому что не кажется, вы имели в виду именно это". Вам нужны ограждения, чтобы предотвратить подобное».