한편 조선건국에 참가하지 않고 향촌으로 은거했던 신진사대부들이 성종 이후 정계에 진출하면서 사림을 형성하게 되어 독자적인 교육기관인 서원을 건립하게 된다. 주세붕이 세운 백운동서원으로 시작된 사원 건립은 대원군의 서원 철폐령까지 지속적으로 증가하여 지방의 교육과 사림의 구심 역할을 담당한다. 서원의 정착과 보급에 많은 역할을 했던 퇴계 이황을 모신 도산서원은 퇴계가 벼슬에서 물러나 제자를 가르치던 도산서당 뒤쪽으로 제자들과 율곡 이이 등 유림들이 건립하자 선조가 한석봉이 쓴 도산서원 현판을 하사한다. 퇴계가 직접 지은 건물인 도산서당과 농운정사, 역락서재는 유정문, 절우사, 몽천 등 주변 자연경관과 함께 퇴계의 사상과 인품을 간직하고 있어 400년이 지난 지금도 여전히 은은한 그 향기를 풍기고 있다.
향촌으로 은거했던 신진사대부들은 사림을 형성하였고, 서원을 건립한다. 이 후 서원은 지방의 교육과 사림의 구심을 담당하였다. 대표적으로 이황의 도산서원이 있고 현재까지도 역사적인 유산으로 손꼽힌다.