Новый AI SnapGen от Snap может создавать изображения высокого разрешения за считанные секунды на вашем телефоне

Ключевой особенностью является то, насколько меньше они сделали модель искусственного интеллекта. В то время как популярные генераторы изображений, такие как SDXL, используют около 2,6 миллиарда параметров, SnapGen требуется всего 379 миллионов — что делает его примерно в семь раз меньше. Это даже более компактно, чем PixArt-⍺ от Huawei, другая облегченная модель AI, оптимизированная для работы на телефонах.

По словам команды Snap, уменьшение модели не ухудшило её производительность. Фактически, их тесты показывают, что она может даже работать лучше, чем её более крупные конкуренты.

"Мы достигли чрезвычайно эффективной модели T2I, которая всесторонне превосходит многие существующие модели с несколькими миллиардами параметров, такие как SDXL, Lumina-Next и Playgroundv2",- пишут в команде.

При измерении того, насколько хорошо система сопоставляет изображения с текстовыми описаниями, SnapGen набрал 0,66 балла в бенчмарке GenEval, обойдя показатель SDXL в 0,55.

Команда заявляет, что достигла этих улучшений, "систематически изучая варианты дизайна архитектуры сети, чтобы уменьшить параметры модели и задержку при обеспечении высококачественной генерации". Они также оптимизировали декодер — часть, которая преобразует вывод AI в готовые изображения, сделав его в 36 раз меньше, чем у подобных систем.

Чтобы их меньшая модель работала так же хорошо, как и более крупные, исследователи позволили своей модели учиться у более крупных систем AI, таких как SD3 и SD3.5, а также у версии SD3.5 с быстрыми шагами (называемой SD3.5-Large-Turbo) для ускорения генерации изображений. Они также разработали специальный процесс обучения, который может распознавать, когда некоторые задачи сложнее для изучения меньшей моделью, и соответственно корректировать процесс обучения.

Источник