Rugova je rođen 2. prosinca 1944. godine, otac mu je bio vlasnik trgovine kojeg su nakon Drugog svjetskog rata ubili jugoslovenski komunisti koji su došli na vlast. Diplomirao je na Filozofskom fakultetu Sveučilišta u Prištini 1971. godine.
Rugova, 2. Dünya Savaşı sonrasında ilerlemekte olan Yugoslav Komünistler tarafından infaz edilen bir esnafın oğlu olarak 2 Aralık 1944'te dünyaya geldi. 1971 yılında Priştine Üniversitesi Felsefe Fakültesinden mezun oldu.