Яндекс начал применять ИИ за пределами виртуальной среды

Над созданием универсального «мозга» для самых разных устройств работают команды Яндекс Роботикс и автономного транспорта. Их цель — объединить накопленный опыт, чтобы научить машины комплексно обрабатывать информацию из разных источников: изображения, видео, звук и текст. Это приблизит восприятие роботов к человеческому. Такой ИИ должен быть гибким и уметь подстраиваться под любое «тело» — будь то роботизированная рука, беспилотный автомобиль или робот-гуманоид, а также самостоятельно принимать решения в динамичной обстановке.

Роботы, которые понимают с полуслова

В сфере робототехники уже есть конкретные результаты. Например, компания создала и обучила VLA-модель, которая умеет преобразовывать голосовые команды, текст и изображения с камер в реальные действия. Например, робот уже может выполнять команды «взять», «положить» или «перенести». Управляет этими действиями специальная система Yandex RMS, которая помогает роботу самому определять, какую последовательность действий применить для решения задачи и даже запрашивать недостающие данные.

Это открывает новые возможности для бизнеса, ведь с такой технологией, взаимодействие с роботами станет интуитивно понятным, и чтобы обучить механизм новой операции, достаточно будет просто сказать ему об этом или показать написанную для людей инструкцию. Это сильно упростит внедрение роботов на предприятиях, так как не потребует сложного переобучения персонала.

Беспилотники с подходом человека

Команда автономного транспорта не отстает. Она продолжает совершенствовать ML-планировщик для беспилотных автомобилей. В его основе — нейросеть-трансформер, которая обучалась на данных о поведении профессиональных водителей. Благодаря этому автомобиль движется плавно и предсказуемо, а его манера вождения становится ближе к человеческой.

Вскоре беспилотные авто и роботы-доставщики научатся не просто статично распознавать объекты, а воспринимать ситуацию в развитии, предсказывать поведение других участников движения и учитывать сигналы светофоров при построении маршрута.

Судя по всему, Physical AI от Яндекса разрабатывается как практический инструмент, который изменит и сервисную робототехнику, и логистику, и транспортную отрасль в целом.