И вот такая архитектура долгое время доминировала. Её пытались модифицировать. В двухтысячных годах произошёл определённый прорыв в области обучения глубоких нейронных сетей с лёгкой руки Джеффри Хинтона и его ученика Рустама Салахутдинова. И стали активно использовать вместо скрытых марковских моделей на акустико-фонетическом уровне многослойные нейронные сети: либо многослойные персептроны, либо свёрточные нейронные сети.