Новый агрегатор GPU от Kuzco: распределенный кластер на блокчейне Solana

По сути, это распределенный кластер, построенный на блокчейне Solana и предназначенный для эффективного вывода больших языковых моделей, таких как Llama2 и Mistral. Используя возможности простаивающих вычислительных ресурсов, которые предоставляют участники сети, Kuzco позволяет пользователям получать доступ к ИИ-моделям и использовать их через API-интерфейс, совместимый с OpenAI.

Крупнейший производитель GPU, NVIDIA, продал в 2023 году около 30 миллионов GPU. Apple продала 43 миллиона компьютеров Mac с начала 2022 года. Все чипы, производимые NVIDIA и Apple, способны обеспечить вывод как минимум 40 токенов в секунду для Llama2-7B. При текущей цене в 0.2 доллара за миллион токенов, простаивающая мощность стоит примерно 33 600 000 долларов в день, или 12,2 миллиарда долларов в год.

Источник

Как работает Kuzco? Владельцы GPU могут установить программное обеспечение Kuzco Worker на свои компьютеры и получать доход за обработку запросов. Это позволит повысить эффективность использования вычислительных мощностей и снизить цены на обучение и применение ИИ для разработчиков.

Разработчики платят только за фактически использованные ресурсы, получая доступ к оптимальным мощностям по лучшей цене. Миссия Kuzco — увеличить общий объем использования крупнейших языковых моделей в мире, снизить затраты для разработчиков и предоставить им доступ к необходимым инструментам.

Сеть работает в режиме ранней альфа-версии, ежедневно обрабатывая 1 миллиард токенов на более чем 1700 узлах. В будущем платформа может найти применение в таких областях, как анализ кода, извлечение данных, финансовая аналитика, переводы, генерация контента, модерация, оптимизация SEO, юридический анализ и создание образовательных материалов.

Документацию к сервису можно почитать здесь.