Hatters, en top-flight sida 22 år sedan, är 14 poäng tydliga på toppen av Conference Premier, en liga de har varit i sedan 2009 efter 89 år i fotbollsligan.
Sweet berättade för Late Kick Off East: "Om du jämför oss med klubbar som har varit på en låg nivå men nu är i Premier League och Championship - det finns inga gränser för vad vi kan uppnå."
Late Kick Off East kommer att bedöma effekterna av att hoppa av fotbollsligan och svårigheten att komma tillbaka upp.
Teamet kommer att ta en närmare titt på Luton och Cambridge United, liksom de svårigheter som Northampton Town står inför om de misslyckas i sitt försök att överleva i League Two.
Titta på Late Kick Off i östra England på BBC One på måndag, 10 Mars vid 23:20 GMT eller på iPlayer i sju dagar efter
Championship klubbar Yeovil och Doncaster spelade icke-league fotboll så sent som 2002-03, medan Premier League sidor Swansea och Hull har spelat i League Two under det senaste årtiondet.
Hatters har varit ett utmärkt exempel på hur svårt det är att komma tillbaka direkt efter att ha hoppat in i konferensen.
Deras Football League status slutade för fem säsonger sedan, på grund av en 30-punkts avdrag för betalningsombud genom en tredje part och underlåter att komma ut ur administrationen.
Det var en tredje nedflyttning under lika många årstider för den drabbade klubben.
Ett konsortium, framfört av TV- presentatören Nick Owen, som nu är Hatters ordförande, och med Sweet ombord, tog över klubben 2008 och har utrotat den misskötsel som förvärrade lagets snabba nedgång.
Men även om framsteg har gjorts i off-field-frågor, fyra chefer har försökt och misslyckats med att vinna denna gäckande befordran.
Hatters spelar ner den nära-invitable av att lyckas denna gång runt, men chefen John fortfarande skulle behöva kapitulera en 14-punkts bly på toppen av bordet om Bedfordshire klubben inte ska gå upp automatiskt.
"Det betyder mycket mer än bara en liga för oss", sade Sweet.
"Vi känner att det är början på ett återuppvaknande.
"Vi har gjort allt vi kan, all förberedelse finns där, vi vill bara fortsätta vinna matcher och för att det gröna ljuset ska gå. Vi tror att vi faktiskt kan snurra på lite.
"League två är naturligtvis inte ödet, utan att verka arrogant.
"Vi tog över klubben 2008 med visionen att vi hade 12 år på oss att sätta den tillbaka i en position där vi skulle vara bekväma, där vi känner att vår naturliga position i pyramiden skulle vara.
"Det är inte League Two - och det är ingen respektlöshet mot League Two. Vi har avtjänat vår tid och jag tror bara att när vi kommer tillbaka till League Two kommer det att ge oss lite mer av en ambition."
Late Kick Off kommer att vara på varje måndag till slutet av säsongen, täcker lagen i din region. Engagera dig på Twitter @latekickoffeast
Promotion från konferenspremiären kan starta Luton Towns återuppståndelse till Premier League, säger verkställande direktör Gary Sweet.