Инференс нейросетей в Hugging Face теперь можно получать прямо со страницы модели
В блоге Hugging Face рассказали, что теперь пользователи могут получить инференс нейросети на её странице. Это поможет быстро интегрировать модели в собственные проекты с помощью единого интерфейса.
Для этого Hugging Face заключила партнёрство с четырьмя инференс-провайдерами: Fal, Replicate, Sambanova и Together AI. Они предоставляют свои вычислительные мощности для реализации инференса на страницах проектов.
Окно инференс-провайдеров находится на главной странице проекта. В нём можно отправить запрос, получить на него ответ и сменить провайдера. В настройках можно указать собственные API-ключи провайдеров, чтобы отправлять запросы со своего личного аккаунта. Для зарегистрированных пользователей доступен бесплатный инференс с ограничением на количество токенов.
Также в настройках инференция можно получить код для интеграции нейросети с помощью определённого провайдера в собственные проекты. Доступны варианты с Python, JavaScript и cURL.
Если подключать модели с помощью API провайдера, то счета будут приходить в аккаунт провайдера. При этом можно пользоваться маршрутизацию через huggingface_hub. За это компания не берёт дополнительную плату, а просто предоставляет удобный доступ сразу к нескольким провайдерам. Счета будут приходить как за обычное использование API, но оплачивать их надо будет на площадке Hugging Face.
Написать комментарий