AI-модель нового поколения xAI не была представлена вовремя, что стало тенденцией

Прошлым летом миллиардер Илон Маск, основатель и генеральный директор компании xAI, заявил, что Grok 3, следующая крупная модель искусственного интеллекта от xAI, появится к «концу 2024 года». Grok, ответ xAI на такие модели, как GPT-4o от OpenAI и Gemini от Google, может анализировать изображения и отвечать на вопросы, а также управлять рядом функций в социальной сети X, принадлежащей Маску.

«Grok 3 в конце года после обучения на 100 тысячах H100 должен стать чем-то особенным», — написал Маск в июле в посте на X, имея в виду огромный кластер графических процессоров xAI в Мемфисе. «Grok 3 станет большим шагом вперёд», — сказал он в посте в середине декабря.

Однако сегодня 5 января, а Grok 3 так и не вышел, и нет никаких признаков того, что его выпуск неизбежен.

На самом деле, некоторые коды на сайте xAI, замеченные специалистом по AI Тибором Блахо, предполагают, что сначала может выйти промежуточная модель «Grok 2.5».

Конечно, это не первый раз, когда Маск ставит перед собой высокую цель и не достигает её. Хорошо известно, что заявления Маска о сроках выпуска продуктов часто оказываются в лучшем случае нереалистичными.

И, честно говоря, в августе в интервью подкастеру Лексу Фридману Маск сказал, что Grok 3 «с большой вероятностью» появится в 2024 году, «если нам повезёт».

В прошлом году стартап Anthropic не смог выпустить преемника своей топовой модели Claude 3 Opus. Через несколько месяцев после объявления о том, что модель нового поколения Claude 3.5 Opus будет выпущена к концу 2024 года, Anthropic убрал все упоминания об этой модели из документации для разработчиков (согласно одному из отчётов, Anthropic завершил обучение Claude 3.5 Opus в прошлом году, но решил, что в её выпуске нет экономического смысла).

Сообщается, что Google и OpenAI также потерпели неудачи со своими флагманскими моделями в последние месяцы.

Это может свидетельствовать об ограничениях современных законов масштабирования AI — методов, которые компании используют для расширения возможностей своих моделей. В недалёком прошлом можно было значительно повысить производительность за счёт обучения моделей с использованием огромных вычислительных мощностей и всё более крупных наборов данных. Но с каждым новым поколением моделей прирост производительности начал уменьшаться, что привело к тому, что компании стали использовать альтернативные методы.

Сам Маск упомянул об этом в интервью Фридману:

Читайте так же:

• Учёные обнаружили, что распространённый вирус может вызывать один из видов болезни Альцгеймера

«Вы надеетесь, что Grok 3 будет самым современным?» — спросил Фридман.

«Надеюсь, — ответил Маск. — Я имею в виду, что это цель. Мы можем не достичь этой цели. Это стремление».

У задержки с выходом Grok 3 могут быть и другие причины. Например, у xAI гораздо меньше сотрудников, чем у многих его конкурентов. Тем не менее, сдвинутые сроки запуска подтверждают, что традиционные подходы к обучению AI упираются в стену.

Источник