League One-sidan hoppas kunna bygga en ny stadion på Mill Hill i Medway, mittemot sin träningsplats.
Gills har varit baserade på deras nuvarande 11.582-sits Priestfield mark i Medway sedan 1893.
"När jag kom hit 1995 insåg jag att det inte fanns någon långsiktig framtid för denna klubb på denna webbplats," Scally sade.
"År 1999 lade jag fram ett dokument, "The Path to Premier League Football", som vissa kanske log mot, men de som log då ler förmodligen inte nu om man tittar på exempel på andra klubbar som har lyckats med mindre skäl eller mindre tätorter."
Gillingham, som för närvarande har ett genomsnitt hem närvaro på 5000-6000, är 18: e i League One, fyra poäng över nedflyttningszonen.
De har inte varit i den andra nivån av engelsk fotboll sedan de flyttades 2005.
"Bournemouth kommer att tänka på som det senaste exemplet. Men Brighton är också en mycket bra fallstudie," Scally berättade BBC Radio Kent.
"Om du bygger en ny stadion som är lämplig för ändamål när det gäller hållbarhet, och du gör det av en storlek som kan vara värd Premier League fotboll, och du har rätt investering i klubben och i projektet, då de två parallellt kan faktiskt ta dig till de begynnande höjder Premier League och bortom.
"Jag säger inte att om du bygger en stadion som garanterar dig Premier League status, naturligtvis, men vad jag säger är att om du inte bygger en stadion, kan du verkligen inte upprätthålla topp Championship eller Premier League fotboll i en stadion som vi har nu."
Gillingham ordförande Paul Scally säger att en ny stadion kan tillåta klubben att upprätthålla en plats i de två översta divisionerna av engelsk fotboll.