Системы ИИ осознают собственные ограничения, когда у них больше времени на «размышления»
В результате исследования, проведённого в Университете Джонса Хопкинса, выяснилось, что если предоставить системам искусственного интеллекта больше времени на анализ информации, то они смогут более точно определять, когда они могут и не могут дать правильный ответ на вопрос.
Исследовательская группа изучила, как дополнительное время вычислений влияет на принятие решений искусственным интеллектом, и разработала новую систему оценки, которая устраняет недостатки существующих методов оценки ИИ. Традиционные подходы к оценке предполагают, что модели ИИ всегда должны давать ответ, независимо от уровня их достоверности. По мнению группы, такая практика не отражает реальные сценарии, в которых неверные ответы могут иметь серьёзные последствия.
Команда протестировала две языковые модели — DeepSeek R1-32B и s1-32B на 30 математических задачах из набора данных AIME24. Они варьировали доступное время вычислений (в частности, количество токенов для рассуждений) и наблюдали за поведением моделей при разных пороговых значениях уверенности.
Результаты показали, что больше «времени на обдумывание» повысило точность, но также помогло системам лучше понимать, когда не стоит пытаться дать ответ. Благодаря большему времени на обработку данных модели стали лучше понимать, на какие вопросы они могут уверенно ответить, а на какие — нет.
В исследовании рассматривались три сценария риска: «Шансы на экзамене» без штрафов за неправильные ответы, «Шансы в игре» с равным весом вознаграждений и штрафов и «Шансы с высокими ставками» с серьёзными штрафами за ошибки в ситуациях, когда нужно принимать важные решения.
Между протестированными моделями обнаружилось интересное различие: в то время как обе модели показали одинаковые результаты в стандартных условиях, DeepSeek R1-32B показал значительно лучшие результаты при более строгих требованиях к достоверности — разница, выявленная только с помощью новой системы тестирования.
Исследователи отмечают, что их метод измерения достоверности, основанный исключительно на вероятностях токенов, может не учитывать все аспекты неопределённости модели. Они также признают, что, сосредоточившись на математических задачах на английском языке, они могли упустить важные различия в других областях и на других языках.
Команда рекомендует, чтобы в будущем работа по масштабированию времени тестирования оценивалась как в условиях «Шансов на экзамене», так и в условиях «Шансов на опасность». Такой более комплексный подход к оценке поможет разработчикам лучше понять, как их системы работают в различных контекстах риска.
Источник
Написать комментарий