Нейронні мережі, найпростіші моделі з'явились в 1943 р. з появою статті нейрофізіолога Уоррена Маккалоха і математика Волтера Піттса. Подібно до машини Тюрінга існує кілька різновидів: зі сталими вагами, з учителем та без, з прямим поширенням або рекурентні Автомат фон Неймана та загальні клітинні автомати. Запропоноване Колмогоровим визначення алгоритму в 1953 році