Как боты адаптировались к новой GPT-реальности? Кейсы, инструменты и разбор полетов на Conversations’23

Традиционно открывал Conversations доклад Кирилла Петрова, сооснователя Just AI. В своей презентации Кирилл собрал ключевые тренды генеративного ИИ на 2024 год, рассказал, какие препятствия ждут отечественные ИТ-компании и выделил ряд перспективных стартапов, за которыми стоит следить в обозримом будущем. Одной из тенденций GenAI Кирилл отметил концентрацию самых мощных LLM в руках ИТ-гигантов, которые будут доступны только из облаков вендоров. В open-source, по словам Кирилла, будут попадать более слабые модели. Также в ближайшее время нас ожидает появление большого количества мультимодальных моделей, которые будут работать с различными типами контента. А по мере того, как компании будут интегрировать новые технологии, произойдет переосмысление способов работы со знаниями и информацией – от поиска по внутренним базам знаний, до работы с клиентами и поиску по сайтам.

Из факторов, препятствующим быстрому развитию и распространению нейросетевых моделей в России, Кирилл выделил, прежде всего, санкции и изоляцию страны от самых современных моделей и строительства больших GPU кластеров. Но эти же факторы сдерживают конкуренцию. На втором месте идет недостаток венчурных инвестиций и, как следствие, небольшое количество стартапов в сфере ИИ на нашем рынке. Открытым также остается вопрос регулирования и безопасности больших языковых моделей, поэтому традиционно более быстрые и прогрессивные, чем в Европе, банки и корпорации сдерживаются вопросами безопасности, законами и политиками в части персональных и чувствительных данных.

Вопрос дефицита GPU затронули спикеры из Selectel, Ефим Головин и Владислав Кирпинский. С начала 2023 года спрос на GPU в Selectel вырос в 3 раза. Эксперты рассказали о ситуации на рынке, необходимой инфраструктуре для для запуска LLM, о вызовах, которые стоят перед поставщиками «железа» и «болях» компаний-заказчиков.

Практическими кейсами применения самых мощных LLM на отечественном рынке поделились создатели GigaChat и YandexGPT. В топ бизнес-кейсов обеих компаний вошли вопросы поддержки, HR-задачи, маркетинг и продажи. Полина Гришина из SberDevices поделилась инсайтами разработки собственной LLM, а также подсветила затраченные ресурсы: например, для обучения GigaChat потребовалось 1024 GPU (такой мощности бы хватило, чтобы снабжать стадион Лужники электричеством 4 месяца) и 7,5ПБ данных (это 47 Государственных Российских библиотек)!

Спикер от YandexGPT, Алексей Долотов, в свою очередь, поделился статистикой пользователей, которые используют нейросетевые инструменты в продуктах Яндекса – более 31 миллиона человек воспользовались функцией краткого пересказа на YouTube, а все инструменты в сумме помогли сэкономить пользователям 57 лет жизни.

Для обсуждения технических вопросов, касающихся разработки и дообучения LLM на сцене собрались представители SberDevices, YandexGPT, Тинькофф и Альфа-Страхования. В рамках дискуссии «Изнанка LLM» эксперты обсудили внедрение и эксплуатацию open-source и собственных больших языковых моделей.

Вместе с появлением ChatGPT изменилась жизнь многих чат-ботов и голосовых помощников – о том, как проходила их трансформация рассказали спикеры из Тинькофф и Boto. Артем Бондарь, Тинькофф, поделился подробностями процесса внедрения ChatGPT в бота поддержки банка и тем, как команде удалось решить проблему галлюцинаций нейросети. Анна Бегиашвили, Boto, рассказала о том, как компания быстро адаптировалась к новым технологиям и занялась интеграцией LLM во все продукты: от ботов для обучения и адаптации до HR-ботов.

Многие участники конференции в своих докладах отмечали, что в начале своего «GPT-пути» столкнулись с недостатком информации, подтвержденной реальными кейсами внедрениями. Практическим руководством по интеграции LLM в бизнес-процессы поделился Максим Болотских, Яков и Партнеры. Максим перечислил основные шаги для разработки стратегии по внедрению, рассказал о юзкейсах для пилотирования, процессе сбора команды, обучения сотрудников и ответил на вопросы последующего масштабирования генеративного ИИ в организации.

С аналитическим докладом выступил Тимофей Барсов, Markswebb, и представил новую систему оценки чат-ботов, рассказав, как она эволюционировала за последние несколько лет. По словам Тимофея, сегодня успех чат-бота на 50% состоит из его способности решать задачу клиента, на 45% из способности вести грамотный диалог с человеком и на 5% из удобства интерфейса.

Многие доклады были посвящены развитию речевых технологий. Юлия Короткова из Just AI рассказала о трендах в синтезе речи и управлении просодией для создания живого и естественного звучания. Спикер из ВКонтакте, Виталий Шутов, поделился методами нейросетевой обработки для реалтайм приложений – как работает потоковое распознавание речи, шумоочистка, эхоподавление, как восстановить потерянные аудиопакеты. Андрей Смолев из Yandex Cloud рассказал о том, как YaGPT меняет привычные процессы речевой аналитики.

Следующая конференция по разговорному AI Conversations пройдет в 2024 году. Следите за программой на сайте проекта.