Artificial Analysis собрали топ 100 LLM в одном месте

Разработчикам необходимо учитывать качество, стоимость и производительность при выборе LLM, и рейтинг производительности LLM объединяет все эти аспекты, позволяя принимать обоснованные решения в одном месте. Рейтинг предназначен для обеспечения комплексной системы метрик, которая поможет понять, какие модели использовать в своих приложениях для достижения оптимальных результатов.

Параметры:

• Качество: комплексный индекс, рассчитанный на основе метрик, таких как MMLU, MT-Bench, оценки HumanEval, а также рейтинг Chatbot Arena;

• Прайс: метрики, учитывающие цену на вход/выход на один токен, а также среднюю цену для сравнения провайдеров хостинга. Стоимость представляет собой взвешенную смесь цен на входные и выходные токены в соотношении 3:1;

• Окно контекста: максимальное количество комбинированных входных и выходных токенов;

• Скорость: токены/с, получаемые во время генерации моделью токенов. Median, P5, P25, P75 и P95;

• Задержка: время до первого полученного токена, измеренное в секундах, после отправки запроса через API. Median, P5, P25, P75 и P95.

С помощью лидерборда можно оценить производительность при различных нагрузках: короткие (100 токенов), средние (1к токенов) и длинные (10к токенов), а также одиночные и параллельные (10 шт) промты. Одиночные промты тестируются 8 раз в день с рандомными интервалами, в то время как параллельные оцениваются 1 раз в день в случайное время.

Здесь больше метрик и в целом рассказывается про методологию.

Топ из каждой категории:

• Качество: Claude 3 Opus, GPT-4 Turbo;

• Прайс: $0.06/1M токенов Llama 3 (8B) через API groq;

• Окно контекста: 1m Gemini 1.5 Pro;

• Скорость: 912.9 токенов/сек Llama 3 (8B) через API groq;

• Задержка: 0.13s Mistral 7B через API baseten.

Больше анализа и графиков AI моделей здесь.

Спасибо за прочтение! А вы уже выбрали свою модель?