Anthropic описала J-space — общие внутренние представления в Claude

Anthropic представила J-space — набор внутренних представлений Claude, связанных с общим использованием понятий в разных задачах. Исследователи читали эти сигналы методом J-lens и изменяли отдельные представления, после чего менялись ответы модели. Такое вмешательство помогает исследовать роль сигналов, но не доказывает наличие сознания. Метод приближённый: он, в частности, выявляет понятия, соответствующие отдельным токенам.

Внутренний сигнал не является текстовым черновиком

В публикации от 6 июля Anthropic описывает набор нейронных представлений, названный J-space. Его изучают методом J-lens, связанным с математическим понятием якобиана. По объяснению авторов, выделенные сигналы могут соответствовать словам, которые модель не выводит в ответе. Это внутренние активации, а не отдельный записанный текст рассуждений.

От совпадения к вмешательству

Один из описанных опытов связан с выбором вида спорта. Исследователи просили модель сначала выбрать его без вывода, затем назвать. Наблюдаемое представление совпадало с последующим ответом. Но одного такого совпадения недостаточно: сигнал мог лишь отражать решение, принятое в другой части сети.

Поэтому команда вмешалась в обработку. Представление футбола заменили на столь же сильное представление регби, оставив остальное без изменения. Ответ последовал за заменой. В рамках этого опыта результат указывает на роль выделенного представления в формировании ответа, а не только на пассивное совпадение.

Авторы также сообщают о задачах, где одно представление используется несколькими последующими вычислениями. В одном наборе задач замена представления Франции на Китай меняла ответы о столице, языке, континенте и валюте. Это основание для аналогии с общей рабочей областью: разные части системы получают доступ к одному содержимому. Аналогия описывает предполагаемую функцию, но не устанавливает тождество нейросети и человеческого мозга.

Что метод не раскрывает целиком

По публикации, значительная часть обычной обработки языка не зависит от J-space так же, как рассмотренные многошаговые задачи. Поэтому выделенную область нельзя объявить местом, где происходит вообще всё в модели. Изменение конкретного сигнала и полное объяснение поведения нейросети — разные результаты.

Авторы называют метод приближённым и отмечают, что он выявляет понятия, соответствующие одиночным токенам. Механизм отбора содержимого J-space остаётся не полностью понятным. Для более сильных выводов необходимы подробные условия исследования и проверка на других моделях и задачах.