Hans kommentarer kommer mitt i den utgiftsskandal som har invecklat regeringen under de senaste tre veckorna.
Abbott sade i fredags att kvinnan i mitten av skandalen, talman i representanthuset Bronwyn Bishop, var "djupt ångerfull" över hennes användning av skattebetalarnas medel för att resa till vänners bröllop och liberala partifunktioner.
Premiärministern har själv varit tvungen att betala tillbaka pengar som spenderats på resor i det förflutna.
Skandalen började när det blev allmänt känt att Bishop hade spenderat 5 000 dollar (3 647 kronor) av offentliga medel på en helikopterflygning till en liberal partifunktion som lätt kunde ha nåtts på vägen.
Hon har också krävt kostnader för resor till flera bröllop av sina liberala partikolleger.
Australiens regler om reserättigheter för politiker är oklara men miss Bishops utgifter satte sociala medier i brand och hon blev snart den talare som tände ett tusen memes.
Facebook-sidan Bronwyn Bishop Memes fick mer än 13.000 följare på bara en vecka, som användare petade kul på hennes helikopter rida.
Memes har antagit helikoptern som sitt huvudsakliga verktyg för att håna talaren, med ms Bishop använder helikopterflygningar för allt från att ta extrema helgdagar och släppa barnen vid den lokala poolen till att gå för en joggingtur - via helikopter.
Allmänheten har också haft roligt på hennes bekostnad med kulturella referenser som sträcker sig från australiensiska TV-tvåloperor till filmer som 101 dalmatiner och Francis Ford Coppolas Apokalyps nu.
Sociala medier hånade till och med sluga antydningar om andra utgiftsskandaler, till exempel missbruket av att bo hemifrån för politiker.
Biskop har bett om ursäkt och betalar tillbaka kostnaderna för helikoptern, men hon motsätter sig samtal, från oberoende senatorer och enligt uppgift även från vissa regeringsmedlemmar, att avgå.
"Jag älskar detta land väldigt mycket och det gör mig ledsen att jag har svikit [allmänheten]," Ms Bishop berättade reportrar.
"Jag kommer inte att avgå från tjänsten men jag kommer att arbeta mycket hårt", sade hon.
Premiärminister Tony Abbott har påmint australiska politiker att de inte kan "komma undan med att utnyttja reglerna" om utgifter.