ToonCrafter поддерживает несколько режимов генерации:
в базовом режиме пользователь передаёт на вход начальный и конечный кадры анимации и получает короткий роли;
вместе с кадрами можно передать скетч с пошаговой анимацией, чтобы нейросеть использовала его в качестве шаблона;
можно передать скетч с пошаговой анимацией и один готовый кадр в качестве референса, а нейросеть раскрасит набросок, используя цвета из примера.
Пока ToonCrafter может генерировать видео с разрешением 320×512 пикселей. Длительность не может превышать 16 кадров.
Код нейросети написан на Python и опубликован на GitHub и на платформе Hugging Face. Энтузиасты подготовили Jupiter для удобной работы с моделью и загрузили блокнот в сервис Google Colab.
Обсудить