De Green Lions, värd för den första cupmatchen någonsin på ön, tvingade den preliminära kvalrunda slips till en repris med en 2-2 dragning på lördag.
Guernsey, som ofta kämpar för spelares tillgänglighet, reser nu till London.
"Okej vi fick något ur spelet, men mer så det är ett spel vi kunde ha gjort utan ur ekonomisk och logistisk synvinkel," Vance sade.
Guernsey, som spelar i den engelska fotbollens åttonde nivå, kämpade tillbaka från två mål ner framför en folkmassa på 1.142.
Dave Rihoy gjorde båda mål för värdarna efter pausen, hjälper smink för vad Vance sade var en "ohygglig och livlös" första halvan prestanda.
"Det var inte bra nog, vi hade inte rätt energi eller rörelse. Vi var reaktiva och inte proaktiva och försatte oss själva i en situation där vi var tvungna att försöka göra något.
"Så mycket som jag är frustrerad med spelarna för första halvan, kommer jag att ge dem massor av kredit för andra halvan. Jag är stolt."
Prenumerera på BBC Sport nyhetsbrev för att få vårt tips på nyheter, funktioner och video skickas till din inkorg.
Guernsey boss Tony Vance medger sin FA Cup replay mot Thamesmead Town på tisdag kommer att bli en kostsam börda.