Исследователи: профессия промпт-инженера умерла, не успев появиться

Рик Баттл и Тедж Голлапуди, работающие в компании VMware, рассказали, что языковые модели часто непредсказуемо реагируют на запросы. К примеру, очень подробный и детальный запрос может не дать качественного результата, но неочевидные подсказки заметно улучшают ситуацию. К примеру, если попросить языковую модель пошагово объяснять своё рассуждение, то она лучше решает математические и логические задачи.

Исследователи заметили, что даже просьба пошагово объяснить действия не всегда оказывается полезной. На качество ответа влияет сам вопрос, набор входных данных и другие параметры. Разные комбинации дают разный результат. Отмечается, что языковые модели понимают письменную речь и отвечают на вопросы текстом, из-за этого люди ​​антропоморфизируют нейросети. Всё это ведёт к тому, что человек пытается объяснить запрос так, как он передал бы задачу другому человеку.

Такой подход плохо работает. К примеру, Рик Баттл рассказала про способ составления промптов с помощью самой языковой модели. Большинство таких запросов получаются нелогичными для человека, но дают лучший результат, чем метод подбора с помощью проб и ошибок. В одном из случаев запрос, составленный нейросетью, начинался с отсылки на «Звёздный путь», и это заметно улучшило сгенерированный ответ.

Баттл утверждают, что нейросети представляют собой набор математических моделей и алгоритмов, а люди не могут точно знать как они работают, и какие из команд оказывают на нейросеть большее влияние. Поэтому даже пользователи, называющие себя экспертами в промптинге, просто находят удачные комбинации, но не могут составлять сразу хорошие запросы.

В качестве ещё одного примера целесообразности использования нейросеть для генерации промптов приводят недавний эксперимент команды Intel. Инженеры компании разработали инструмент для Stable Diffusion, который получает пользовательский запрос, а потом преобразует его в оптимальный для нейросети. В результате изображения, сгенерированные с помощью преобразованных промптов, получается более детализированными и эстетичными. Для преобразования запросов разработчики Intel обучили специальную нейросеть.

Исследователи считают, что профессия промпт-инженера уже утратила свою актуальность, не успев стать востребованной и популярной. Нынешние языковые модели могут генерировать более правильные и эффективные запросы чем люди.