Gills är i nedflyttningszonen efter en körning av en vinst i 12 matcher.
Taylor sade till BBC Radio Kent: "Om ordföranden svarade i telefonen och sa 'Peter, det är allt, du har inte längre' skulle jag helt förstå.
Mediauppspelning stöds inte på den här enheten
"De flesta fansen vill nog inte ha ut mig. Vad jag skulle vilja ha här är mycket mer tid."
Gillingham har bara vunnit tre av sina 16 liga matcher den här säsongen och är för närvarande två poäng från säkerhet.
Taylor ledde klubben till 17: e plats i League One förra säsongen efter att ha tagit ansvar i oktober, initialt som interim manager, och därefter riktade en mellanbordsfinish den här säsongen.
Den 61-årige fick stöd av Scally förra månaden men accepterar att det är svårt för supportrar att visa tålamod medan de kämpar.
"Jag förstår fansens frustrationer. Vi förväntade oss alla en bättre säsong än vi har, sade han. "Vi är i ett litet hål och behöver gräva oss ur det.
"Jag tycker verkligen att det finns en bra trupp här men vi visar den inte just nu. Jag skulle älska längre.
"En seger i 12 liga matcher är inte bra nog. Jag förlorade mitt jobb på Palace när vi hade ett nederlag på fem.
"Om ordföranden sparkade mig kunde jag inte klaga och jag skulle inte klaga. Jag och ordföranden skulle inte heller falla ut. Jag tänker inte gå. Jag är desperat att vända på det och jag tror ärligt talat att jag kommer att göra det. Jag är mycket fast besluten att göra det."
Taylor gjorde en översyn av Gillinghams trupp under sommaren och gjorde åtta permanenta signeringar.
Han säger att skador har spelat en roll i deras kamp hittills den här säsongen, med målvakt Stuart Nelson (thumb), bruksmänniska Aaron Morris (hamstring), mittfältare Doug Loft (Achilles) och strejker Danny Kedwell (knee) alla saknade bitar av kampanjen.
"Om vi inte hade haft några skador alls då skulle jag förvänta mig att vara borta nu," Taylor, som hade en trollformel som Englands vaktmästare i 2000, sade. – Det finns skäl till att vi har fått brist på form och självförtroende.
"Jag tror inte att jag någonsin har kunnat sätta ett konsekvent team ut. Det stör dig inte när du är en grupp av vår storlek i League One.
"Du behöver dina bästa spelare tillgängliga hela tiden. För många gånger har vi haft några viktiga spelare otillgängliga och det skulle påverka alla lag.
"Jag vill inte komma med ursäkter men jag vill bara reda ut det med människor där ute som är olyckliga. Jag njuter av varje sekund av jobbet förutom resultaten. Jag är fast besluten att förbättra dem."
Gillingham manager Peter Taylor säger att han skulle förstå om han avskedades av ordförande Paul Scally, men har vädjat för mer tid på League One klubben.