Модель Ai2 под названием Tulu3-405B также превосходит GPT-4o от OpenAI по некоторым показателям AI, согласно результатам внутреннего тестирования Ai2. Более того, в отличие от GPT-4o (и даже DeepSeek V3), Tulu3-405B имеет открытый исходный код, а это значит, что все компоненты, необходимые для его воспроизведения с нуля, доступны бесплатно и имеют разрешённую лицензию.
Представитель Ai2 сообщил TechCrunch, что, по мнению лаборатории, Tulu3-405B «подчёркивает потенциал США в качестве лидера в мировой разработке лучших в своём классе моделей генеративного AI».
«Эта веха — ключевой момент для будущего открытого AI, укрепляющий позиции США как лидера в области конкурентоспособных моделей с открытым исходным кодом, — сказал представитель компании. — С помощью этого запуска Ai2 представляет мощную альтернативу моделям DeepSeek, разработанную в США, — это поворотный момент не только в развитии AI, но и в демонстрации того, что США могут лидировать в области конкурентоспособного AI с открытым исходным кодом, не зависящего от технологических гигантов».
Tulu3-405B — довольно большая модель. По данным Ai2, она содержит 405 миллиардов параметров, и для её обучения потребовалось 256 графических процессоров, работающих параллельно. Параметры примерно соответствуют навыкам модели в решении задач, и модели с большим количеством параметров обычно работают лучше, чем модели с меньшим количеством параметров.
Согласно Ai2, одним из ключей к достижению конкурентоспособных результатов с помощью Tulu3-405B была техника, называемая обучением с подкреплением и поддающимся проверке вознаграждением. Обучение с подкреплением и поддающимися проверке вознаграждениями, или RLVR, обучает модели выполнению заданий с «поддающимися проверке» результатами, такими как решение математических задач и следование инструкциям.
Ai2 утверждает, что в тесте PopQA, состоящем из 14 000 специализированных вопросов из Википедии, Tulu3-405B превзошёл не только DeepSeek V3 и GPT-4o, но и модель Meta Llama 3.1 405B. Tulu3-405B также показал самую высокую производительность среди моделей своего класса в тесте GSM8K, состоящем из математических задач для начальной школы.
Tulu3-405B доступен для тестирования в веб-приложении чат-бота Ai2, а код для обучения модели находится на GitHub и платформе для разработки AI Hugging Face.
Источник
Обсудить