На середину XII століття сабураями почали називати не озброєних слуг, а знатних військовиків, які посідали високі 5 і 6 чиновницькі ранги у всеяпонській 12 ранговій системі. Наприкінці XII століття словом «сабурай» позначали вже винятково елітних воїнів — полководців знатного роду або прославлених солдатів-шибайголов.