Llama 3 — новое поколение AI моделей. Open-source конкурент GPT от Meta и интервью Марка Цукерберга

Llama 3 уже интегрирована в Meta AI, умного ассистента компании. Новые модели способны выполнять задачи в различных областях. Например, благодаря хорошему пониманию нюансов различных языков, Llama 3 может переводить тексты и генерировать диалоги. Судя по информации, опубликованной на сайте Meta, модель может легко справляться с многоэтапными задачами, а процент "лжи" уменьшен по сравнению с предыдущими версиями.

Бенчмарки и обучение

Модели Llama 3 продемонстрировали выдающиеся результаты, обучаясь на двух специально созданных кластерах с 24 тысячами GPU на базе более чем в 15 триллионов токенов. ИИ способен поддерживая длину контекста в 8к, что в два раза больше, чем у Llama 2. Более подробно о характеристиках модели можно посмотреть здесь.

С выпуском Llama 3 компания обновила Руководство по ответственному использованию (Responsible Use Guide - RUG), предоставляя всестороннюю информацию о разумной работе с большими языковыми моделями (LLMs). Инструменты безопасности также были улучшены для соответствия новым стандартам безопасности и защиты от киберугроз.

В соответствии с данными Meta, Llama 3 8B превосходит другие модели, такие как Mistral, GPT-3.5 и Claude по крайней мере в девяти бенчмарках. Более мощная модель, Llama 3 70B, также показывает конкурентоспособные результаты по сравнению с такими моделями, как Gemini 1.5 Pro от Google. Все перечисленные модели, кроме llama (пока что) можно найти тут - Bothub.

Llama 3 используют значительно увеличенный набор данных. Откуда Meta взяла эти данные? Компания не дала прямого ответа на этот вопрос, сообщив лишь о том, что модель обучалась на "общедоступных источниках", которые включают в себя в 4 раза больше кода, чем Llama 2, и что 5% из этого набора - неанглоязычные ресурсы. Meta также заявила, что использовала данные, сгенерированные искусственным интеллектом, для создания более длинных документов для обучения моделей Llama 3. Это несколько спорный подход из-за потенциальных недостатков в производительности.

Потестить нейронку самостоятельно можно тут.

Подкаст с Марком Цукербергом

Одновременно с публикацией информации о Llama 3, ютубер DwarkeshPatel выложил в сеть подкаст, в котором Марк Цукерберг рассказывает подробности о новой модели. Цукерберг подчеркнул важность развития AI и его потенциал для улучшения жизни людей. Он обсудил роль искусственного интеллекта в жизни человека, а также поделился своими мыслями о том, как новые технологии могут повлиять на нас в будущем.

Уже протестили Llama 3? Как вам модель? Поделитесь в комментариях)