Mediauppspelning stöds inte på den här enheten
Hartleys team vann ett spännande tredje test 44-40 i Sydney på lördag för att slutföra en serie vitkalkning.
"Vi har gjort 44 poäng och inte spelat perfekt så det finns fortfarande en hel del att arbeta på," sade Hartley.
"Vi var inte som bäst och vi hade ett antal spelare sub-par," tillade England tränare Eddie Jones.
England hade aldrig vunnit en serie i Australien, men de följde en 39-28 seger i det första testet i Brisbane med en 23-7 triumf i Melbourne innan de avslutade jobbet i Sydney.
Jones har guidat dem till nio på varandra följande segrar, inklusive Grand Slam i Six Nations, sedan ersätta Stuart Lancaster i november efter värdar England misslyckades med att komma förbi gruppfasen av 2015 rugby VM.
Australien nådde finalen i den turneringen, men England har sedan dess flyttat över dem till andra plats i världen ranking, bakom endast VM vinnare Nya Zeeland.
Ta reda på hur du kommer in i rugbyfacket med vår specialguide.
Men Hartley tror att hans sida kan förbättras ytterligare.
"Det har varit en lång säsong - vi ville inte använda detta som en ursäkt men det var uppenbart där ute," tillade han. "Australien kastade allt på oss, men det var bra karaktär av killarna att hänga in där och stänga ut det.
"Det var våra sista 80 minuter av säsongen och jag är stolt över hur killarna uppförde sig. Vi har gjort en del historia. Vi lägger allt i det, kan vara stolta över vad vi har åstadkommit och kommer att njuta av det.
"Vi sätter stor press på oss själva att spela det perfekta spelet och vi kan alla hålla med om att det inte var perfekt."
Australian Jones höll med sin kapten om att hans sida skulle behöva förbättras om de skulle flytta sig över Nya Zeeland.
"Det var en modig ansträngning att slå en mycket bra och beslutsam australiensisk sida," sade Jones.
"Vi är nöjda med 3-0-resultatet, men inser att vi har mycket arbete att göra.
"Vi är inkonsekventa i vårt försvar, vi har haft två dåliga matcher i försvar och ett mycket bra spel och om vi vill vara nummer ett laget i världen då behöver vi större konsekvens."
England flyger halva Owen Farrell sparkade 24 poäng i det tredje testet och Jones sade: "Owen har varit helt fantastisk på turné. Han har sparkat bra och spelat bra - hans sparkar är solsystem klass.
"Spelarna har tränat sedan juni förra året. De har inte haft ledigt en helg. Det är en fantastisk insats.
"Att vinna det spelet var en fantastisk insats. De visade kondition, seghet och var modiga."
Australien coach Michael Cheika tyckte att hans sida hade slösat bort en bra chans att göra anspråk på en seger i Sydney.
"Det fanns för många små felaktigheter efter riktigt bra byggnationer", sade han. "I två matcher gjorde vi fler försök och du kan inte säga: "Åh, vi borde ha vunnit eftersom vi gjorde fler försök."
"Vi förlorade för att vi gjorde för många små felaktigheter. Vi förlorade för många ögonblick i spelet och det avbröt vårt flöde. "
För de senaste rugby facket nyheter följa @bbcrugbyunion på Twitter.
Prenumerera på BBC Sport nyhetsbrev för att få vårt tips på nyheter, funktioner och video skickas till din inkorg.
England söker fortfarande efter sitt "perfekta spel" trots att de klinkar en 3-0 Testserie seger över Australien, säger kapten Dylan Hartley.