Nvidia «оживит» NPC в игре Mecha Break с помощью нейротехнологии ACE

Технология ACE используется сразу несколько нейросетей:

• Nemotron-4 4B Instruct — помогает анализировать действия игрока и подстраивать под них действия NP, а также отвечать геймеру;

• Whisper — распознаёт речь;

• Audio2Face-3D — генерирует лицевую анимацию;

• ElevenLabs — генерирует озвучку.

Всё это будет доступно в Mecha Break. Например, пользователь сможет спрашивать советы у NPC или требовать подсказки. Общение будет доступно на естественном языке. При этом персонажи будут придерживаться своей роли и давать ответы в соответствии с ней.

Разработчикам игр доступны широкие возможности настройки персонажей. Можно выбирать характер NPC и его черты. Также из плюсов можно отметить, что Nvidia ACE работает локально на устройстве пользователя, а для обработки запросов используется видеопамять. Это гарантирует, что во время общения с NPC не будут возникать задержки.