David Jones berättade MPs Tories kampanj i 2015 års allmänna val på grundval av en folkomröstning och att inte ha en skulle vara "orespektivt" till människor.
Men nuvarande walesiska sekreterare Alun Cairns sade "devolution har gått framåt" sedan valet.
Han tillade att Betydande maktbefogenheter hade överlämnats till Skottland och till råden.
Parlamentsledamöterna diskuterade den brittiska regeringens Wales Bill - för att överföra ytterligare befogenheter från Westminster till Cardiff Bay.
Tidigare en annan konservativ, Brecon och Radnorshire MP Chris Davies, hade sagt BBC Wales han kunde "se mitt första uppror mot regeringen kommer att komma" över folkomröstningsfrågan.
Frågade om andra Tory MPs skulle ansluta sig till honom i ett uppror, sade han: "Jag personligen känner att det kommer att finnas."
När han talade till Cairns i Commons senare sade Chris Davies att han var "personligt mycket besviken över att vi i denna klausul har brutit ett manifeståtagande och jag skulle vilja fråga om ni, som stod på samma manifest, är lika besvikna över att ni bryter detta åtagande?"
Cairns svarade: "För det första var det 2014 års [Wales' Government]-lag som gav församlingen olika skattebefogenheter.
"Detta lagförslag kommer att gå ett steg längre genom att avskaffa kravet på en folkomröstning.
"Men vad jag skulle säga - den andra punkten skulle jag vilja säga - är att decentraliseringen har gått framåt sedan dess och vi kan antingen försöka ha det ihåliga argumentet om att ro tillbaka eller så kan vi göra den walesiska regeringen mer ansvarig, mer ansvarig för de pengar som den samlar in."
Senare ingrep Clwyd West-parlamentarikern Jones: "Är det inte så att det konservativa partiet för bara drygt 12 månader sedan kämpade på ett manifest som lovade att det skulle hållas en folkomröstning innan någon skatt som bar behörighet överlämnades till församlingen?"
Cairns svarade: "Ni kommer att inse hur snabbt decentraliseringen av Storbritannien har utvecklats, utvecklats och mognat under den tiden.
"Och detta är nästa logiska steg för att göra en sammankomst mer mogen, för att göra den mer ansvarsfull, men i slutändan göra den mer ansvarig inför folket i Wales."
Ministern öppnade debatten och sade att Wales Bill skulle "sluta grälen mellan Cardiff Bay och Westminster".
Han bekräftade senare ams skulle också kunna göra det obligatoriskt att rösta i församlingen val, en maktöverföring välkomnas av Labour Ynys Mon MP Albert Owen som "radikal" och "utmärkt".
Chris Davies skrev ett brev till förbundskanslern George Osborne med Tory backbench-kollegorna Byron Davies, David Davies, James Davies och David Jones efter hans höstanförande i november och uppmanade honom att ändra planerna på att decentralisera skattemakterna utan folkomröstning.
Enligt gällande lag kan AMs sammankalla en folkomröstning om befogenheter att variera inkomstskatt, men 2015 erbjöd Osborne dessa befogenheter utan en folkomröstning.
Wales Bill gör också betydande förändringar i hur församlingen stiftar lagar genom att för första gången definiera de områden som ligger i händerna på Westminster.
Det ger också nya befogenheter för ams- och walesiska ministrar, inklusive hastighetsbegränsningar, kontroll över fracking, namnet på församlingen och valet till den dömande.
Lagförslaget har reviderats från sitt tidigare utkast, och fler befogenheter har delegerats än planerat.
En före detta konservativ walesisk sekreterare har sagt att han har "mycket oro" över planerna på att ge församlingen inkomstskatt varierande befogenheter utan en folkomröstning.