Iain Duncan Smith, Lämna kampanjledare och en annan före detta konservativ ledare, sa: "Du kan inte hävda demokrati när du vill ha den och avvisa den när du inte gör det."
Han talade ut efter Sir John varnade också för att Brexit dikteras av "majoritetens tyranni".
Duncan Smith sade: "Vi hade en omröstning, den omröstningen måste nu genomföras."
Tvisten kom efter Sir John, konservativ premiärminister mellan 1990 och 1997, krävde att 48 procent av de människor som röstade emot Brexit i junis folkomröstning skulle få sina åsikter behandlade.
"Majoritetens tyranni har aldrig tillämpats i en demokrati - och det bör inte gälla i just denna demokrati", sade han.
Han menade att parlamentet måste ratificera vilken överenskommelse som än slutligen nås av Brexit-förhandlarna och att det skulle kunna finnas skäl för en andra folkomröstning, beroende på den överenskommelse som erbjuds.
Mr Duncan Smith sade till BBC Radio 5 lives Emma Barnett: "Idén att vi fördröjer allt bara för att de inte håller med om det ursprungliga resultatet tycks mig vara ett fullständigt förkastande av demokratin.
"Och det är vad jag trodde John Majors kommentarer var idag. Majoritetens tyranni? Vad är tyranni?"
Bernard Jenkin, en konservativ parlamentsledamot och ledande person i kampanjen Votering Leave, avfärdade också Sir Johns tal om en andra folkomröstning.
"Den idé som just denna ande kan läggas tillbaka i flaskan efter det att det brittiska folket har röstat i en årslång debatt - att vi nu ska rösta för att stanna kvar i EU - är fullständigt nonsens", sade han.
Jenkin hävdade att Förenade kungariket kunde ha undvikit Brexit om Sir John hade hållit en folkomröstning om Maastrichtfördraget, som var ansvarigt för skapandet av Europeiska unionen för nästan 25 år sedan.
"Om han hade stoppat Maastrichtfördraget skulle det inte ha funnits någon monetär union, det skulle inte ha förekommit någon kris i euroområdet, inga räddningsaktioner, ingen centralisering av makten i EU - vi skulle till och med fortfarande kunna vara medlemmar i EU", sade han till BBC.
"Och det är för att han gav efter för Maastrichtfördraget som vi har tvingats avsluta med att lämna EU."
Liberaldemokraten Nick Clegg, den tidigare vice premiärministern, vägde in för att tillägga att medan regeringen hade mandat att lämna EU, hade den inget mandat för "hur" att lämna.
På tal om BBC Radio 4 s World at One, kritiserade han vad han kallade "nästan hysterisk glöd av de hårda Brexiters" att förvandla Storbritannien till "en låg reglering, låg skatt, utvidgade offshore Singapore för vilka de har inget mandat".
Han insisterade på att "det var helt rätt att människor, särskilt från den brittiska politikens centrala punkt, säger: "Vänta en minut, det är faktiskt inte vad folk nödvändigtvis röstade för den 23 juni".
Han tillade: "Brexit ja, men inte denna mycket hårda ideologiska brexit som de verkar fast beslutna att förfölja."
Före detta premiärminister Sir John Major har anklagats för "en absolut uppsägning" av demokratin efter att han föreslog att det skulle bli en andra Brexit-omröstning.