Конспект научной статьи о том, как нейросети «конструируют» собственные, порой чуждые человеку категории восприятия мира — и почему их знание пока остаётся практическим, «знанием-в-действии», а не символическим.
Конспект статьи «Психология искусственного интеллекта: эпистемологические маркеры когнитивного анализа нейросетей», автора: Михаэль Пиша, 2024. Для желающих можно посмотреть оригинал (https://arxiv.org/abs/2407.09563)
Этот конспект дополняет мою статью (https://pinsker.ru/articles/texts/antropomorfizacia-iskusstvennogo-intellekta-psihologiceskie-effekty-riski-zavisimosti/)
В своей статье Михаэль Пиша исследует, как искусственный интеллект (ИИ), особенно нейросети, «думают» и что можно сказать об их знании. Он предлагает взглянуть на нейросети как на особые когнитивные системы — то есть такие, которые не просто выполняют расчёты, а создают свои представления о мире.
Нейросеть работает слоями. Каждый слой — это набор «нейронов», которые принимают входные данные и преобразуют их. Данные описываются как векторы — наборы чисел, где каждое число отвечает за какой-то признак (цвет, звук, слово, логическая связь). Эти признаки называются категориальными измерениями. Они могут быть похожими на человеческие (громкий звук или синий цвет), но могут быть и вовсе чуждые нам — такие, которые мы даже не умеем различать. Это автор называет "инопланетными категориями".
Представим, что вы слышите музыку. Человеческое ухо различает частоту, громкость, тембр. Но нейросеть может обращать внимание на такие признаки, которые мы даже не осознаём — микроскопические изменения в спектре звука, которые для человека просто незаметны и не имеют названия. Эти признаки будут категориями, которые для нас не существуют, потому что у нас нет для них ни слов, ни ощущений. То же самое происходит и с текстами: сеть может выделять закономерности, которые человек не замечает — скрытые структуры в порядке букв или слов. Это и есть «инопланетные» признаки — иные способы разделять и понимать мир.
Каждый искусственный «нейрон» в нейросети работает так: он умножает значение каждого признака на свой вес — число, показывающее, насколько этот признак важен. Эти веса — нечто вроде фокуса внимания. Чем больше вес, тем больше внимания сеть уделяет признаку. После умножения значения складываются — получается нечто вроде обобщённого образа. Это называется эпистемологическим слиянием — слияние разных знаний в нечто новое.
Так формируются абстракции — новые признаки, которые обобщают более простые. Сеть может из признаков «красный», «округлый» и «маленький» сделать одну абстракцию, вроде «яблоко», не называя это словом. Эти новые признаки — результат взвешенного объединения старых. И это происходит на каждом слое — слой за слоем признаки становятся всё более обобщёнными.
Автор опирается на теорию Жерара Вержно (G.Vergnaud,2016), который различает два вида знания: "знание-в-действии" (на практике) и теоретическое знание. ИИ пока работает только с первым. Это знание возникает в процессе обучения — когда система действует, делая ошибки и получая обратную связь. Знание-в-действии — это способы различать, что важно, и соединять важные признаки. У Вержно есть термины: «концепт-в-действии» — это категория, на которую сеть обращает внимание, и «теорема-в-действии» — способ соединения этих категорий, чтобы принять решение.
М.Пиша подчёркивает: нейросети не "открывают" свойства мира, они их конструируют — создают свои представления. Это связано с философией энактивности (от Varela, Maturana, von Foerster). Смысл в том, что знание не отражает мир, как зеркало, а создаётся в процессе взаимодействия с ним. Это как если бы мы научились видеть что-то новое, просто потому что стали по-другому смотреть.
Таким образом, нейросети не считывают реальность, а создают свою структурную согласованность с ней — они «договариваются» с миром о том, как на него смотреть. ИИ — это не зеркало, а конструктор смыслов.
Представьте себе ребёнка, который сначала учится на практике: он бросает мяч, видит, что тот катится, и начинает понимать, что круглый предмет движется иначе, чем квадратный. Это — знание-в-действии.
Позже он учит слово «катиться», узнаёт, что мяч — это «сфера», и может объяснить это словами. Это уже символическое знание. Нейросеть обучается в основном как этот ребёнок на первых этапах — через повторение, пробу и ошибку. Она замечает, что определённые признаки (сочетание звуков, букв, пикселей) приводят к нужному результату — это и есть её знание-в-действии.
Нейросимвольный подход пытается соединить это с человеческой способностью называть, рассуждать, объяснять. Сеть определяет, что картинка содержит животное с длинной шеей, она может не просто «сделать вывод», а сказать: «это жираф, потому что у него длинная шея» — использовать логическую цепочку, знакомую человеку.
Такой подход делает ИИ более понятным для людей. Это как если бы он не просто чувствовал, а ещё и разговаривал на нашем языке правил, понятий и логики. И именно это — цель нейросимвольных систем: связать интуитивное знание машины с формальными структурами человеческого мышления.
М.Пиша предлагает в будущем соединить знание нейросетей (знание-в-действии) с человеческим символическим мышлением — словами, логикой, законами. Это возможно через нейросимвольный подход, где сочетаются числа и символы. Это направление, по мнению автора, может привести к ИИ нового уровня — более понятному и более мощному.
Изучив статью, я хочу поделиться своим видением структуры взаимодействия компонентов большой языковой модели. Ниже представлена схема, которая, на мой взгляд, наглядно иллюстрирует эту систему.
