Meta* делает шаг вперед в AI разработке с выпуском Llama-Stack 0.1.0

Одной из ключевых особенностей платформы является ее гибкая система плагинов, которая работает с различными поставщиками API. Разработчики могут использовать удаленные сервисы, такие как Fireworks или AWS Bedrock, или запускать все локально. Meta* позаботилась о том, чтобы включить по крайней мере один локальный вариант для каждого API, что позволяет разработчикам работать независимо от внешних сервисов.

Разработчики могут использовать инструменты CLI и SDK для Python, Node, iOS и Android для создания своих приложений. Meta также работает над дополнительными API для пакетной обработки, тонкой настройки и генерации синтетических данных. Компания выпустила несколько автономных примеров приложений, чтобы помочь разработчикам начать работу .

Meta предлагает несколько предварительно настроенных версий Llama-Stack для удовлетворения различных потребностей. Разработчики могут быстро начать работу с удаленно размещенными версиями с помощью ключа API, в то время как локально размещенные варианты обеспечивают больше контроля. Компания также создает специальные версии на устройстве для iOS и Android для запуска на периферийных устройствах.

Платформа позволяет разработчикам беспрепятственно использовать ресурсы разных поставщиков. Например, они могут запускать некоторые модели Llama через Fireworks, а другие — через AWS Bedrock, и все это будет работать вместе через унифицированный API вывода Llama-Stack.

Meta утверждает, что создала Llama-Stack для решения общей проблемы: разработчикам AI требуется больше, чем просто языковая модель. Им нужно подключать инструменты, интегрировать источники данных, настраивать защитные меры и обеспечивать надлежащую обоснованность ответов LLM. До Llama-Stack разработчикам приходилось собирать воедино различные инструменты и API, что делало разработку более сложной и дорогой.

Платформа использует сервисно-ориентированный подход, используя REST API для создания чистых интерфейсов, которые работают гладко в разных средах. Meta описывает ее как готовое к использованию решение для общих сценариев развертывания.

Meta и ее продукты (Facebook, Instagram) запрещены на территории Российской Федерации

Источник