Коммутантная память

Коммутантная память - это структура и процессы позволяющие текущей коммутации делать выбор дальнейшего пути на основании  сравнения ее параметров (событий, сообщений, энергий) и текущего состояния коммутанта с размеченным опытом предыдущих аналогичных коммутаций. 

Является обобщением понятие формирующих факторов (самскар) в модели буддистской психики, понятия ментальных следов формирующихся в виде синапсов между аксонами и дендритами в нейроморфологии, параметров в нейросетях формирующихся в виде весовых коэффициентов матриц в  процессе иашинного обучения. 

Мы вводим понятие коммутантой, а не коммуникативной памяти поскольку коммутант использует один и те же структуры и для коммуникаций с коммутантами и для взаимодействия со средой.   Памятью эти структуры можно назвать очень условно, поскольку эти структуры используются не столько для запоминания фактов, сколько для коммутации потоков энергии внутри коммутанта. В момент прохождения потока энергии запоминается его форма как следы в активной среде, а каждое новый поток энергии идет по следам, которые ему больше всего подходят. В тоже время, это не значит, что активная среда для этих потоков энергии является изначально чем-то однородным и бесформенным, топология этих потоков, их пересечения довольно жестко предопределены либо генетическими механизмами, либо инженерно-техническим гением, однако в среде обязательно должны присутствовать и элементы, связи у которых гибкие и перенастраивающиеся в процессе обучения (разметки успешных и неуспешных коммутаций).

Примечание:  Активную среду можно представить как сеть, образованную отдельными активными элементами. Каждый элемент активной среды может находиться в одном из трех состояний: покое, релаксации и возбуждении. Все элементы активной среды связаны одним свойством – переносом волновых процессов, которые проходят через среду. Перенос осуществляется за счет “подкачки” энергии извне в элементы среды. Типичным примером элемента активной среды является нейрон нервной системы.

По поводу "топология этих потоков, их пересечения довольно жестко предопределены либо генетическими механизмами, либо инженерно-техническим гением." - рассмотрим например структуру зрительной системы человека.

Чтобы были понятны механизмы коммутантной памяти в мозгу приведем дословную и длинную цитату из книги экспериментального психолога Криса Фрита "Мозг и Душа":

В первой части этой книги показано, как много наш мозг знает об окружающем мире такого, что вообще не достигает нашего сознания. Это в особенности относится к знаниям, получаемым в ходе ассоциативного обучения. Именно поэтому нам кажется, что мы воспринимаем окружающее и действуем с такой легкостью. Мы не осознаём, как много сведений накоплено нашим мозгом, чтобы помочь нам взаимодействовать с окружающим миром. Когда вы прочтете ниже, что мы учимся предсказывать будущее, не забывайте, что обычно мы делаем это неосознанно и непреднамеренно.
Как наш мозг учится?
Обе разновидности ассоциативного обучения связаны с будущим. Мы выучиваем определенные сигналы, которые говорят нам о том, что случится в будущем. Мы выучиваем определенные действия, которые влияют на то, что случится в будущем. При этом, разумеется, будущее предсказывают не сами сигналы. Предсказания делает наш мозг. Мы можем увидеть, как он это делает, непосредственно исследуя активность нервных клеток.
Нервные клетки, в сущности, представляют собой сигнальные устройства. Информация передается из одного конца клетки в другой посредством электричества, примерно так же, как по телефонному проводу (см. главу 5). Но что происходит, когда сигнал достигает конца клетки? Похожая проблема есть и с телефоном. Между ухом и телефоном нет электрической связи. Их разделяет промежуток. В случае с телефоном эта проблема решается посредством молекул воздуха, с помощью которых передается сигнал. В трубке есть устройство, которое заставляет молекулы воздуха колебаться, эти колебания преодолевают разделяющий трубку и ухо промежуток, и ухо улавливает их.

В случае с нервными клетками механизм, обеспечивающий передачу сигнала через промежуток, разделяющий клетки, намного сложнее. В упрощенном виде он выглядит следующим образом. Когда электрический сигнал достигает конца клетки, в щель между клетками выделяется определенное вещество, которое возбуждает следующую клетку. Такой промежуток между клетками называется синапсом (или, точнее, синаптической щелью). Вещества, которые переносят сигнал через синаптические щели, называют нейромедиаторами. В мозгу было обнаружено много разных нейромедиаторов. Нервные клетки можно разделить на типы в соответствии с используемым нейромедиатором.

1. Нервный импульс (потенциал действия) достигает пресинаптической мембраны на конце одной клетки.
2. Из-за этого пузырьки подплывают к мембране и выделяют содержащийся в них нейромедиатор в синаптическую щель.
3. Молекулы нейромедиатора достигают рецепторов, расположенных на постсинаптической мембране, принадлежащей второй клетке.

Если это возбуждающий синапс и сигнал окажется достаточно сильным, это может запустить нервный импульс во второй клетке. Если это тормозной синапс, то постсинаптическая клетка станет менее активной. Однако каждый нейрон обычно связан синапсами со многими другими, поэтому что произойдет во второй клетке, зависит от суммарного эффекта воздействия всех ее синапсов. Впоследствии нейротрансмиттеры снова поглощаются пресинаптической мембраной, и весь цикл может повториться снова.

К одному из таких типов относятся очень важные клетки, выделяющие нейромедиатор дофамин. Эти клетки часто называют клетками награды (reward cells), потому что их активность увеличивается после того, как животное получает пищу или питье. Крыса будет охотно нажимать на рычажок, вызывающий стимуляцию этих клеток, и предпочтет эту стимуляцию даже еде или сексу. Это так называемая самостимуляция.
Вольфрам Шульц отслеживал активность этих клеток в эксперименте на формирование условного рефлекса и обнаружил, что на самом деле это не клетки награды. В этом эксперименте через одну секунду после постороннего, как и в опытах Павлова, сигнала (световой вспышки) обезьяне в рот впрыскивали порцию фруктового сока. Вначале дофаминовые нервные клетки играли роль клеток награды, реагируя на поступление сока, но по окончании обучения они перестали активироваться в момент вспрыскивания сока. Вместо этого они теперь активировались сразу после того, как обезьяна видела вспышку, за секунду до поступления сока. Судя по всему, возбуждение дофаминовых клеток служило сигналом того, что скоро должен быть получен сок. Они не реагировали на награду, а предсказывали ее получение.
Связь работы этих клеток с предсказанием проявлялась еще нагляднее, когда обезьяна видела вспышку, но сока после этого не получала. В тот момент, когда должен был поступить сок, активность дофаминовых нервных клеток снижалась. Мозг обезьяны предсказывал, когда именно можно ожидать награды в виде сока, и снижение активности дофаминовых клеток сигнализировало, что награда не получена.

(a) Сигнала не поступало, и обезьяна не знала, когда получит награду. Непредвиденная награда вызывает повышение активности.
(b) Обезьяна знала, когда получит награду. Получение награды не вызывает изменений активности. Но обезьяна не знала, когда поступит сигнал. Непредвиденный сигнал, предвещающий награду, вызывает повышение активности.
(c) Обезьяна ожидала получения награды, но не получила ее. Отсутствие предвиденной награды вызывает снижение активности.
Источник: Рис. 3 из статьи: Schultz, W. (2001). Reward signaling by dopamine neurons.
Neuroscientist, 7(4), 293–302.

Как мы учимся на своих ошибках
Активность этих клеток не служит сигналом награды. Не служит она и сигналом того, что награда скоро будет получена. Активность этих клеток сообщает нам об ошибке в нашем предсказании награды. Если сок поступает тогда, когда мы ожидаем его поступления, значит, никакой ошибки в нашем предсказании нет, и дофаминовые клетки не посылают сигнала. Если сок поступает неожиданно, значит, награда превзошла наши ожидания, и эти клетки посылают положительный сигнал. Если же сок не поступает, когда мы его ожидаем, значит, награда не оправдала наших ожиданий, и дофаминовые клетки посылают отрицательный сигнал. Эти сигналы, сообщающие нам об ошибках в наших собственных предсказаниях, позволяют нам изучать окружающий мир, не нуждаясь в учителе. Если наши предсказания о чем-то в окружающем мире ошибочны, это означает, что нам нужно что-то сделать, чтобы улучшить качество своих предсказаний.
Еще до того, как выяснилось, что активность дофаминовых нервных клеток служит сигналом ошибки в наших предсказаниях, математики разработали алгоритмы, позволяющие машинам обучаться похожим способом.
Для понимания механизмов подобного ассоциативного обучения важна концепция “ценности”. Безусловный раздражитель в экспериментах Павлова обладает внутренней ценностью – положительной в случае еды (награда) и отрицательной в случае электрического удара (наказание). Этот ассоциативный механизм работает благодаря тому, что всякий раз, когда мы
получаем награду, что угодно, предшествовавшее этой награде, приобретает дополнительную ценность. Даже нечто случившееся задолго до награды становится хотя бы чуть-чуть более ценным. Некоторые из таких вещей никак не связаны с наградой и предшествовали ей по чистой случайности. Но тогда, вероятнее всего, когда что-то подобное произойдет в следующий раз, за ним не последует награды. Это вызовет поступление сигнала об ошибке. Ожидаемая награда не была получена, и ценность не связанного с ней события будет снижена. Но когда происходит нечто, позволяющее правильно предсказать получение награды, сигнал об ошибке не поступает, и такое событие приобретает с каждым разом все большую ценность.

Примечание: Между распространением сигналов по телефонному проводу и по отростку нейрона немало общего, но есть и принципиальная разница: в телефонном проводе электрический ток (то есть заряженные частицы) движется вдоль провода и сам передает сигнал, а в нейроне электрический ток движется снаружи внутрь клетки, и сигнал передается не самим током, а возбуждением клеточной мембраны (если какой-то из ее участков начинает пропускать внутрь заряженные частицы, это вызывает возбуждение соседних участков, которые тоже начинают пропускать ток, и возбуждение распространяется по мембране). Именно поэтому импульс движется по нервному волокну намного медленнее, чем электрический ток по проводам. 

Источник: Крис Фрит Мозг и душа. Как нервная деятельность формирует наш внутренний мир