Trellis — нейросеть для генерации 3D-моделей от Microsoft

Разработчики отмечают, что нейросеть хорошо справляется с генерацией сложных объектов с множеством мелких деталей. Кроме того, Trellis позволяет редактировать модели, например, можно попросить добавить детали или изменить материалы. Microsoft подчёркивает, что другие похожие нейросети так не могут.

Trellis основана на методе Structured LATent (SLAT), который декодирует входные данные в различные форматы, включая полигональные сетки и 3D-гауссианы. Для обучения использовали датасет из 500 тыс. трёхмерных объектов. Trellis можно запустить локально, но для этого рекомендуется использовать видеоускоритель Nvidia и не менее 16 ГБ VRAM.

Авторы проекта развернули бесплатное демо на площадке Hugging Face. Для генерации можно использовать как собственные изображения, так и подготовленные разработчиками. Я для теста сгенерировал картинку в ChatGPT и отправил её в Trellis.

Нейросеть справилась с генерацией 3D-объекта, но на спине модели заметен странный нарост. Он появился из-за того, что нейросеть неудачно удалила фон, и его фрагмент стал частью объекта.

Готовый объект можно экспортировать в формате GLB. Также можно скачать видео с визуализацией.

Код модели доступен на GitHub, также Trellis можно скачать с площадки Huggin Face.