Новости и события в мире LLM

Unsloth сделали то, что еще год назад казалось невозможным — ужали модель весом 715 ГБ до 170 ГБ, почти без потерь в качестве.
Они использовали динамическую квантовку: важные слои остаются в 6–8 бит, а менее критичные ужимаются до меньшей разрядности. При этом для калибровки брали 2–3 миллиона токенов хороших данных

FuriosaAI, южнокорейский стартап, производящий чипы для приложений искусственного интеллекта, отклонил предложение Meta* о приобретении за 800 миллионов долларов, решив вместо этого сосредоточиться на разработке и производстве своих чипов искусственного интеллекта, сообщают местные СМИ.

Microsoft Research разработала более эффективный способ включения внешних знаний в языковые модели. Новая система, называемая Knowledge Base-Augmented Language Models , использует подход plug-and-play, который не требует изменения существующих моделей.

Канадский стартап Cohere в области искусственного интеллекта, соучредителем которого является один из авторов оригинальной статьи о трансформаторах, положившей начало революции в области больших языковых моделей в 2017 году, представил Command A — свою новейшую генеративную модель искусственного интеллекта, разработанную для корпоративных приложений.