Технология ACE используется сразу несколько нейросетей:
Nemotron-4 4B Instruct — помогает анализировать действия игрока и подстраивать под них действия NP, а также отвечать геймеру;
Whisper — распознаёт речь;
Audio2Face-3D — генерирует лицевую анимацию;
ElevenLabs — генерирует озвучку.
Всё это будет доступно в Mecha Break. Например, пользователь сможет спрашивать советы у NPC или требовать подсказки. Общение будет доступно на естественном языке. При этом персонажи будут придерживаться своей роли и давать ответы в соответствии с ней.
Разработчикам игр доступны широкие возможности настройки персонажей. Можно выбирать характер NPC и его черты. Также из плюсов можно отметить, что Nvidia ACE работает локально на устройстве пользователя, а для обработки запросов используется видеопамять. Это гарантирует, что во время общения с NPC не будут возникать задержки.
Обсудить