Вышло PocketPal AI — приложение для локального запуска языковых моделей на смартфоне

В PocketPal AI пользователи могут загрузить одну из моделей, ссылки на которых добавил разработчик. Сейчас доступны Danube, Microsoft Phi, Google Gemma 2, Qwen и LLaMA. Также можно скачать и запустить любую другую языковую модель в формате GGUF. Для этого есть опция Add Local Model.

Языковые модели в PocketPal AI работают в режиме чат-бота. В настройках пользователи могут управлять параметрами инференса и следить за производительностью. Также есть опция, которая автоматически выгружает модель из памяти смартфона, когда приложение не используется.

Код приложения опубликован на GitHub, а скачать его можно из Google Play или App Store (1, 2). Приложение бесплатное.