Исследователи представили метод DG-Mesh для генерации высококачественных полигональных сеток из видео

Авторы метода Dynamic Gaussian Mesh (DG-Mesh) рассказали, что генерации полигональных сеток всё ещё остаётся сложной задачей для нейросетей. Если опытному 3D-художнику для создания сетки достаточно всего одного изображения для референса, то модели машинного обучения требуют серию снимков объекта со всех сторон. Генерация сеток усложняется в динамических сценах.

Метод DG-Mesh отслеживает вершины объекта на видео и реконструирует 3D-объект с помощью трёхмерного гауссова сплэтинга и дифференцируемых алгоритмов. Полученные модели можно быстро текстурировать, а сам метод эффективно использует память и позволяет напрямую оптимизировать полученные сетки.

На вход нейросеть получает видео объекта, выделяет из него целевой объект и генерирует для него 3D-сетку. Авторы проекта обучали нейросеть на роликах, которые записали на iPhone 14 Pro через приложение Record3D. После этого их обработали в RealityCheck и маскировали в DEVA. Также для локального обучения можно использовать датасеты D-NeRF, DG-Mesh, Nerfies и NeuralActor.

Для локального запуска необходимо установить следующие зависимости:

conda create -n dg-mesh python=3.9conda activate dg-meshconda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia# Install nvdiffrastpip install git+https://github.com/NVlabs/tiny-cuda-nn#subdirectory=bindings/torchpip install git+https://github.com/NVlabs/nvdiffrast/# Install pytorch3dexport FORCE_CUDA=1conda install -c fvcore -c iopath -c conda-forge fvcore iopath -ypip install "git+https://github.com/facebookresearch/pytorch3d.git"# Clone this repositorygit clone https://github.com/Isabella98Liu/DG-Mesh.gitcd DG-Mesh# Install submodulespip install dgmesh/submodules/diff-gaussian-rasterizationpip install dgmesh/submodules/simple-knn# Install other dependenciespip install -r requirements.txt

Исследователи поделились полным текстом своей работы и опубликовали код нейросети. Кроме того, в репозитории находятся ссылки на датасеты и рекомендации по обучению. Примеры работы метода DG-Mesh можно посмотреть на странице проекта.