Båda sidor hade chanser innan Pars Ryan Wallace borrade ett lågt skott i nedre hörnet med 15 minuter kvar.
Den sista två minuter när Ross Davidson fick den sista touchen på en frikick in i området.
Hemsidan dominerade de avslutande stadierna men kunde inte förneka Rovers, som förblir på femte plats.
Rovers håller sig i nivå med Airdrieonians, som drog hem med Forfar Athletic.
Scotland League En ledare Dunfermline Athletic hölls hemma av Albion Rovers men fortfarande flyttade 11 punkter klart på toppen av bordet.