«Темпоральные головы» в языковых моделях: новые возможности для AI

Исследователи обнаружили, что эти темпоральные головы существуют в нескольких языковых моделях, хотя их точное расположение может различаться в разных системах. Их ответы также различаются в зависимости от типа обрабатываемых знаний и конкретного рассматриваемого года.

Эти специализированные компоненты не просто понимают простые ссылки на даты, такие как «В 2004 году», они также могут обрабатывать более сложные временные фразы, такие как «Год, когда в Афинах проводились Олимпийские игры». Это говорит о том, что модели развили более тонкое понимание времени, которое выходит за рамки базовой обработки чисел.

Когда исследователи отключили эти темпоральные головы, модели потеряли способность вспоминать информацию, связанную со временем, сохранив при этом другие свои возможности. Это избирательное нарушение не повлияло на то, насколько хорошо модели справлялись с независимыми от времени знаниями или отвечали на общие вопросы.

Команда также обнаружила, что они могут изменять временные знания, просто корректируя значения этих специализированных головок. Это может снизить стоимость поддержания систем AI в актуальном состоянии. Вместо того, чтобы переобучать целые модели — дорогостоящий и трудоемкий процесс — разработчики могли бы обновлять чувствительную ко времени информацию, ориентируясь только на эти временные головки.

Однако исследователи признают важные ограничения в своей работе. Меньшие модели, такие как Phi-3-mini, с всего 3,8 миллиардами параметров, не так хорошо реагируют на целенаправленную манипуляцию височными головками. Эти модели, вероятно, требуют более сложных механизмов, которые еще предстоит открыть и понять.

Источник