В сети начался конкурс вопросов для сложнейшего в мире теста для ИИ: за каждый можно получить до $5000
Название конкурса заслуживает отдельного внимания. Он называется буквально Последний экзамен человечества: Humanity’s Last Exam. Ученые из CAIS и ScaleAI запустили его, чтобы собрать самый большой и сложный набор вопросов, которые поставят в тупик современные LLM. Предложить вопрос может каждый, и если его примут, то автор получит от 500 до 5000 долларов, а также соавторство в статье про получившийся бенчмарк. Всего исследователи планируют собрать не менее тысячи вопросов, и уже получили часть из них от ученых из университетов MIT, UC Berkeley и Stanford.
Подробнее