Дым, отражения и порталы: Adobe TransPixar выводит AI VFX на новый уровень

Технология под названием TransPixar добавляет в видео, созданные искусственным интеллектом, важную функцию: возможность создавать прозрачные элементы, такие как дым, отражения и эфемерные эффекты, которые естественным образом вписываются в сцены. Современные инструменты для создания видео с помощью AI обычно могут генерировать только цельные изображения, что является значительным техническим достижением.

“Альфа-каналы имеют решающее значение для создания визуальных эффектов, позволяя прозрачным элементам, таким как дым и отражения, плавно вписываться в сцены”, - сказал Ицзюнь Ли, руководитель проекта Adobe Research и один из авторов статьи. “Однако создание видео RGBA, которое включает альфа-каналы для прозрачности, остается сложной задачей из-за ограниченных наборов данных и сложности адаптации существующих моделей”.

Этот прорыв произошёл в критический момент, когда спрос на визуальные эффекты продолжает расти в индустрии развлечений, рекламы и игр. Традиционная работа с визуальными эффектами часто требует от художников кропотливой ручной работы для создания убедительных прозрачных эффектов.

Основная способность TransPixar - сохранять высокое качество при работе с очень ограниченными обучающими данными. Исследователи добились этого, разработав новый подход, который расширяет существующие модели искусственного интеллекта для видео, а не создаёт их с нуля.

«Мы вводим новые токены для генерации альфа-канала, повторно инициализируем их позиционные вложения и добавляем вложения с нулевой инициализацией, чтобы отличать их от токенов RGB, — объяснил Луочжоу Ван, ведущий автор и исследователь из HKUST. — Используя схему тонкой настройки на основе LoRA, мы проецируем альфа-токены в пространство qkv, сохраняя качество RGB».

На демонстрациях система показала впечатляющие результаты, создавая разнообразные эффекты на основе простых текстовых подсказок — от вихрящихся грозовых туч и волшебных порталов до разбивающегося стекла и клубящегося дыма. Технология также может анимировать неподвижные изображения с эффектом прозрачности, открывая новые творческие возможности для художников и дизайнеров.

Исследовательская группа сделала свой код общедоступным на GitHub и запустила демонстрационную версию на Hugging Face, чтобы разработчики и исследователи могли экспериментировать с этой технологией.

Предварительное тестирование показывает, что TransPixar может ускорить и упростить создание визуальных эффектов, особенно для небольших студий, которые не могут позволить себе дорогостоящие работы по созданию эффектов. Хотя для обработки длинных видео система по-прежнему требует значительных вычислительных мощностей, её потенциальное влияние на креативную индустрию очевидно.

Эта технология важна не только с точки зрения технических усовершенствований. По мере того, как стриминговым сервисам требуется всё больше контента, а виртуальное производство растёт, прозрачные эффекты, создаваемые искусственным интеллектом, могут изменить работу студий. Небольшие команды могут создавать эффекты, для которых раньше требовались крупные студии, а более крупные производства могут завершать проекты гораздо быстрее.

TransPixar может быть особенно полезен для использования в режиме реального времени. Видеоигры, приложения дополненной реальности и прямые трансляции могут мгновенно создавать прозрачные эффекты, для чего сегодня требуются часы или дни работы.

Индустрия развлечений сталкивается с тремя растущими проблемами: зрители хотят больше контента, бюджеты ограничены, а художников-постановщиков не хватает. Вопрос не в том, изменит ли AI визуальные эффекты, а в том, будут ли вообще существовать традиционные рабочие процессы VFX через пять лет.

Источник