Разработчики Chatbot Arena выпустили Copilot Arena — инструмент оценки чат-ботов для генерации кода

Copilot Arena представляет собой расширение для Visual Studio Code, а процесс работы похож на обычное взаимодействие. Для запуска пользователю нужно указать запрос, а расширение направит его двум языковым моделям. После этого на экране появятся два варианта, среди которых надо выбрать лучший. Благодаря этому голосованию система будет формировать рейтинг чат-ботов.

Важно отметить, что во время голосования пользователи не видят, над каким из фрагментов кода, какая модель трудилась. Эти данные выводятся только после голосования, чтобы процесс не был предвзятым. Также спустя 20 голосований пользователю станет доступен личный рейтинг чат-ботов.

Авторы проекта отмечают, что расширением не стоит пользоваться в коммерческих проектах, так как сгенерированный код и запросы отправляются хостерам языковых моделей. Это может раскрыть некоторые корпоративные данные, поэтому расширение применимо только для личных проектов.

Код расширения Copilot Arena открыт и опубликован на GitHub.