Конспект статьи, предлагающей изучать большие языковые модели не через их веса, а через поведенческие психологические эксперименты — как испытуемых в лаборатории, — осторожно используя психологические термины, помня, что за ними нет человеческого переживания.
Ниже представлен конспект статьи "Mashine Psychology", желающие могут обратиться к оригиналу. (https://arxiv.org/abs/2303.13988)
Этот конспект дополняет мою статью (https://pinsker.ru/articles/texts/antropomorfizacia-iskusstvennogo-intellekta-psihologiceskie-effekty-riski-zavisimosti/)
Статья «Психология машин» предлагает новый способ изучать большие языковые модели — такие как GPT-4 — не как механизмы, а как «испытательных участников» в лаборатории. Авторы утверждают, что когда мы смотрим только на математику сети — на веса и внутренние активации, — мы видим лишь технические детали и упускаем закономерности поведения. Они вводят термин «психология машин» и под ним понимают применение классических приёмов экспериментальной и когнитивной (то есть исследующей мышление) психологии к искусственному интеллекту. Вместо того чтобы разбирать «нейроны» модели, они предлагают давать ей хорошо продуманные задания, анализировать ответы и на этой основе делать выводы о её способностях и рисках.
Авторы начинают с того, что большие языковые модели уже повсюду — они пишут тексты, составляют программы и помогают в поиске информации. Из-за такой популярности нужно заранее понимать, в каких ситуациях модель может ошибаться или вести себя непредсказуемо. Классический для машинного обучения метод «обучаем на одной части данных, проверяем на другой» перестаёт работать: модели читают почти весь интернет, и тесты часто попадают в их память. Поэтому исследователи предлагают «тест-только» подход — маленькие, но тщательно сконструированные эксперименты, взятые из психологии, которые модель наверняка не видела.
Далее статья поясняет, что психологию машин стоит развивать параллельно с чисто техническим анализом сети. Поведение модели важно само по себе, потому что именно его видят пользователи. Кроме того, сложные навыки (например, способность рассуждать по цепочке или понимать чужую точку зрения) появляются только у очень больших моделей, и предсказать их «по весам» сложно. Поведенческий метод годится и для закрытых коммерческих систем, чей код недоступен.
Чтобы организовать будущие исследования, авторы выделяют четыре направления.
Первое — эвристики и когнитивные искажения. Эвристика — это простое правило, которое экономит усилия при решении задачи, но иногда даёт систематическую ошибку; такую ошибку называют когнитивным искажением. Например, эффект фрейминга: люди и модели оценивают риск иначе, если поменять формулировку вопроса. Ранние версии GPT повторяли многие такие искажения; новые модели демонстрируют их реже, что значит, что старые тесты стали для них слишком лёгкими.
Второе направление — социальное поведение и так называемая теория разума. Теория разума — это умение понимать, что у другого человека (или агента) есть собственные убеждения и желания. Исследователи показывают, что современные модели могут проходить классические тесты на ложное убеждение, а иногда даже вводить собеседника в заблуждение специально. Если дать нескольким моделям «поговорить», они формируют сети общения — можно изучать, как они договариваются или соперничают. Это открывает путь к социальной «этологии» (науке о поведении) ИИ.
Третье направление — психология языка. Психолингвистика традиционно изучает, как люди распознают грамматику, смысл и подтекст. Модели оказываются чувствительны к тем же явлениям: они «замечают» неожиданное слово в предложении (это измеряют через метрику surprisal — «удивление»), реагируют на обманчивые «садовые тропинки» (предложения с двойным синтаксическим прочтением). При этом, когда модель сама сочиняет длинные аналогии, связность текста пока хуже человеческой: это показывает, что статистическое прогнозирование слов ещё не даёт полного владения языком.
Четвёртое направление — обучение и обобщение. Главная тема здесь — «обучение в контексте» (in-context learning). Модели могут выводить правило прямо из примеров, помещённых в запрос, не меняя внутренних весов. Исследователи пытаются понять, какой скрытый алгоритм позволяет так учиться, и сравнивают его с тем, как люди выводят правила или запоминают отдельные случаи. Кроме того, изучают, какие «предвзятости» (то есть предпочтения одних гипотез перед другими) встроены в модель и как она переносит знания на новые ситуации.
Авторы уделяют большое внимание методике эксперимента. Они предупреждают, что нельзя копировать в промпт известный психологический тест целиком: модель могла видеть его в интернете и просто воспроизвести ответ. Нужно менять героев, порядок и формулировки. Следует давать много перефразировок одной задачи, поскольку даже маленькое изменение текста влияет на результат. Модели склонны выбирать частые слова, сильнее учитывать последнюю фразу в запросе и выбирать популярный класс ответа, поэтому эти смещения надо учитывать при дизайне.
Дискуссия о промптах показывает, что добавить к запросу короткую фразу «Давайте рассуждать пошагово» часто улучшает точность: модель сначала пишет промежуточные шаги, а потом вывод. Есть и другие методы — разбивать задачу на подзадачи, давать несколько примеров решения или просить модель самой критиковать и улучшать свой ответ. Всё это не только помогает получить более надёжные данные, но и само становится объектом исследования: как именно такие приёмы меняют мышление модели.
В разделе оценки ответов авторы предлагают разные способы проверять результаты. Когда задача с выбором ответа, всё просто. Когда модель пишет длинный текст, полезно заставить её завершать ответ маркером «####», а проверять только то, что после маркера. Автоматически оценивать такие ответы можно с помощью другой модели; если это даёт сбой, остаётся ручная проверка.
В заключении авторы обсуждают терминологическую осторожность. С одной стороны, если мы назовём поведения модели «интуицией» или «рассуждением», можно ввести публику в заблуждение, будто у ИИ есть сознание. С другой стороны, если мы вообще откажемся от психологических понятий, описывать сложные паттерны будет нечем. Авторы призывают использовать термины как полезные метафоры, но всегда напоминать, что у машины нет человеческих переживаний, а поведение рождается из другой природы вычислений.
Финальный призыв статьи — объединить усилия специалистов по искусственному интеллекту, когнитивистики, лингвистики и этики для создания полноценной «психологии машин». Такой подход поможет заранее выявлять скрытые возможности и опасности новых моделей, делать их более надёжными и понятными и, тем самым, снизить риск вредных последствий в реальном мире.
