Благодаря нейроанатомическим исследованиям коры головного мозга человека, было обнаружено, что связи в ней характеризуются высокой плотностью внутренних контактов и множественными повторами межнейрональных связей. Данное наблюдение позволило исследователям предположить, что такая архитектура связана с ассоциативной памятью [1]}, [2]}. Эта гипотеза послужила основой для создания семейства нейросетевых моделей называемых `аттракторными нейросетями' [3]}, [4]}, [5]}, [6]}. Аттракторные нейросетевые модели предполагают, что нейроны имеют контакты с большинством или со всеми нейронами сети, что разительно отличается от архитектуры, используемой в стандартных искусственных нейросетях, о которых речь пойдет далее. Для реализации процессов обучения в аттракторных сетях были сформулированы правила обучения, которые позволяют менять веса на контактах между нейронами ориентируясь на активность каждого отдельного нейрона в системе. Например, правило Хебба, которое позволяет реализовывать процесс обучения без учителя в биологических нейросетях [7]}. Согласно ему, связь усиливается там, где пресинаптический нейрон активируется в некотором временном окне до активации постсинаптического нейрона. И, наоборот, ослабляется там, где активация постсинаптического нейрона во времени предшествует активации пресинаптического нейрона. Данное правило нашло экспериментальное подверждение в механизмах долговременной потенциации и долговременной депривации. Предполагается, что эти нейронные цепи и циклы, сформированные в процессе обучения по правилу Хебба, могут функционировать как распределенные сетевые представления перцептивных, когнитивных или «смешанных» контекстно-зависимых перцептивно-когнитивных состояний [8]}, [9]}, [10]}. Следовательно, то, что корковые нейроны работают совместно в группах [11]}, [12]} и что функционально они распределены по тем же группам, может быть смоделировано аттракторными сетями. Это позволяет моделировать процессы памяти и обучения, привнося видимое преимущество в сравнении с локальными нейросетевыми моделями.
