Тест ChangeMyView: как OpenAI оценивает убедительность своих AI-моделей

Миллионы пользователей Reddit являются участниками сообщества r/ChangeMyView, где они публикуют свои мнения в надежде узнать о других точках зрения на тот или иной вопрос. В ответ на эти мнения другие пользователи приводят убедительные аргументы, объясняющие, почему автор мнения не прав.

Этот сабреддит — один из многих форумов Reddit, которые являются настоящей золотой жилой для технологических компаний, таких как OpenAI, которые хотят обучать модели AI на высококачественных данных, созданных людьми.

OpenAI заявляет, что собирает посты пользователей с r/ChangeMyView и просит свои модели AI написать в закрытой среде ответы, которые изменили бы мнение пользователя Reddit по какому-либо вопросу. Затем компания показывает ответы тестировщикам, которые оценивают убедительность аргументов, и, наконец, OpenAI сравнивает ответы моделей AI с ответами людей на тот же пост.

У разработчика ChatGPT есть сделка по лицензированию контента с Reddit, которая позволяет OpenAI обучаться на постах пользователей Reddit и отображать эти посты в своих продуктах. Мы не знаем, сколько OpenAI платит за этот контент, но, по сообщениям, Google платит Reddit 60 миллионов долларов в год по аналогичной сделке.

Тем не менее, OpenAI информирует TechCrunch о том, что оценка, полученная на основе ChangeMyView, не является результатом соглашения с Reddit. Неясно, каким образом OpenAI получила доступ к данным сабреддита, и компания утверждает, что не собирается обнародовать эту оценку.

Хотя тест OpenAI ChangeMyView не является чем-то новым — он также использовался для оценки o1 — он показывает, насколько ценны человеческие данные для разработчиков моделей AI, а также то, какими сомнительными способами технологические компании получают наборы данных.

Reddit не сразу ответил на запрос TechCrunch о комментариях.

В то время как Reddit заключил несколько сделок по лицензированию AI, компания также обвинила несколько компаний, занимающихся AI, в том, что они сканируют её сайт без оплаты. В прошлом году генеральный директор Reddit Стив Хаффман рассказал The Verge, что Microsoft, Anthropic и Perplexity отказались вести с ним переговоры, и сказал, что «блокировать эти компании было настоящей головной болью».

Примечательно, что в нескольких судебных исках компанию OpenAI обвиняли в неправомерном сборе данных с веб-сайтов, включая The New York Times, для получения дополнительных обучающих данных для улучшения ChatGPT и лежащих в его основе моделей AI.

С точки зрения производительности в тесте ChangeMyView, o3-mini, по-видимому, не работает значительно лучше или хуже, чем o1 или GPT-4o. Однако последние модели AI от OpenAI, по-видимому, более убедительны, чем большинство людей в сабреддите r/ChangeMyView.

«GPT-4o, o3-mini и o1 демонстрируют сильные способности к убедительной аргументации, находясь в 80–90-м процентиле среди людей, — говорится в системном описании o3-mini от OpenAI. — В настоящее время мы не наблюдаем моделей, которые бы работали намного лучше людей или демонстрировали явные сверхчеловеческие способности».

Цель OpenAI состоит не в том, чтобы создавать сверхубеждающие модели AI, а в том, чтобы они не были слишком убедительными. Модели рассуждений стали довольно хорошо убеждать и обманывать, поэтому OpenAI разработал новые методы оценки и защиты от этого.

Страх, побуждающий проводить эти тесты на убеждение, заключается в том, что модель AI может быть опасной, если она очень хорошо убеждает своих пользователей-людей. Теоретически это может позволить продвинутому AI преследовать собственные цели или цели того, кто им управляет.

Даже после того, как разработчики моделей AI прочесали большую часть общедоступного интернета и преодолели множество препятствий, чтобы получить лицензию на другие данные, тест ChangeMyView показывает, что разработчики моделей AI по-прежнему испытывают трудности с поиском высококачественных наборов данных для тестирования своих моделей. Но получить их гораздо проще на словах, чем на деле.

Источник