Mohammed al-Barghathi sade tidigare att han hade beslutat att avgå i kölvattnet av den senaste tidens belägring av beväpnade grupper av justitie- och utrikesministerier.
Men han blev senare tillsagd av premiärminister Ali Zeidan att inte lägga fram sin avgång vid ett kabinettsmöte.
Vapnen hade krävt att parlamentet skulle godkänna lagen om politisk isolering, som hindrar Khadaffi-era-tjänstemän från att tjänstgöra.
General Nationalkongressen gjorde detta på söndagen trots kritik från människorättsgrupper, som sade att lagstiftningen var för vag eftersom den potentiellt blockerade alla som arbetade för myndigheterna mellan 1969, när Muammar Khadaffi kom till makten, och 2011, när han blev utkastad.
Trots detta har en del skyttar vägrat att dra sig tillbaka från ministerierna.
Vid en nyhetskonferens i Tripoli på tisdagseftermiddagen hänvisade Barghathi till belägringarna som skäl för att erbjuda sin avgång.
"Jag kommer aldrig att kunna acceptera att politik [kan] utövas av vapenmakt", citerades han som sagt av Reuters nyhetsbyrå.
"Detta är ett angrepp mot den demokrati jag har svurit att skydda."
Zeidans kansli gjorde emellertid senare ett uttalande där det sades: " Kabinettet skulle vilja klargöra att avgången inte officiellt lades fram för premiärministern.
"Premiärministern har bett försvarsministern att avstå från det och har bekräftat att han kommer att fortsätta sitt arbete och uttrycka sin förståelse för de nuvarande omständigheterna i landet."
BBC:s Rana Jawad i Tripoli konstaterar att lagen om politisk isolering kommer att gälla för Barghathi när den träder i kraft. Han var befälhavare för flygvapnet i Benghazi innan han gick i pension 1994.
Lagen kan påverka andra högt uppsatta regeringsmedlemmar, inklusive chefen för den allmänna nationalkongressen Mohammed al-Megaryef.
Han hoppade av från Gaddafis regering på 1980-talet efter att ha tjänstgjort som Libyens ambassadör i Indien.
Gunmans som har stannat kvar i utrikesdepartementet - den första att bli måltavla på söndag 28 April - sade att de var beredda att gå men har inte gjort det ännu, säger vår korrespondent.
De beväpnade männen utanför justitieministeriet, som omgavs i tisdags, har sagt att de väntar på att ersättas av officiella säkerhetsstyrkor, tillägger hon.
De olika miliserna runt ministerierna har olika lojaliteter.
Det Högre Revolutionsrådet, som påstår sig representera olika före detta fighters och tros kontrollera några av de väpnade grupperna, berättade för BBC att det ville se premiärministern avlägsnad från ämbetet.
Vår korrespondent säger att Zeidan, som det verkar inte kommer att påverkas av den nya lagen, nyligen beskrev de bakom den väpnade protesten som "förlorarna" i förra årets nationella val.
Libyens försvarsminister har dragit tillbaka sitt erbjudande om att avgå, timmar efter att ha sagt att han skulle lämna sin post.