Resultatet blev ytterligare förlägenhet för Michael O'Neills sida efter deras 3-2 nederlag av Luxemburg förra månaden.
Paterson var bland Nordirland spelare att missa stora chanser innan värdarna gjorde två andra hälften mål.
"Om du såg det spelet du förmodligen kliar ditt huvud undrar hur vi har förlorat 2-0. Det är vi, sa han.
Mediauppspelning stöds inte på den här enheten
"Folk kanske ser resultatet och säger "Nordirland förlorade 2-0, vilket dåligt resultat det är", men de ser inte hur vi har spelat.
"Säger det, vi har bara oss själva att skylla. Vi dominerade spelet i 45 minuter men tog inte våra chanser och deras målvakt spelade mycket bra.
"Då stängde vi bara av för ett par minuter, medgav, och spelet ändras.
"I andra halvan slog jag i baren - det är ett spel av inches - och deras andra mål var bara frustration."
En annan natt i Nordirland slutade med att Jonny Evans skickades iväg för en grov foul, och Mahir Shukurov straffade foul genom att näta frikicken.
Efter en natt som visade en kropp slag till lagets förhoppningar om en ljus avslutning på sin kampanj, Paterson fortfarande kände sig kunna preliminärt se på den ljusa sidan.
Med två punkter tagna från en möjlig 12 mot Luxemburg och Azerbajdzjan i kampanjen, kan det tyckas en sträcka, men 26-åringen gav det sitt bästa.
Mediauppspelning stöds inte på den här enheten
"Det finns positiva att ta, så galet som det låter", sade Huddersfield strejkare.
"Jag tror inte att vi är långt borta men det är en fin linje. Vi hade fyra eller fem bra chanser, de fick en paus och gjorde mål: det är internationell fotboll.
"Men vi är fortfarande en ung grupp. Vi måste lära oss snabbt och vända resultaten.
"Om vi gör det har vi en chans att verkligen driva in nästa kampanj, men vi måste arbeta hårdare som en enhet."
Chef Michael O'Neill, som skar en frustrerad figur i sin post-match media uppgifter, står nu inför den oavundliga utmaningen att lyfta en utarmad trupp för tisdagens sista match i Israel.
Defensiva talisman Gareth McAuley och midfielder Oliver Norwood, som var och en plockade upp sina andra bokningar av kampanjen.
Nordirland kommer sannolikt inte att utöka sin grupp i Tel Aviv och låta O'Neill sålla igenom sin nuvarande grupp för att få svar.
"Vi har tre spelare ute men vi har också män att komma in - särskilt sådana som Sammy Clingan och Chris Baird," tillade O'Neill.
"Vi måste titta på centret-back situationen på grund av de spelare vi har förlorat till suspension och det är självförvållat."
Striker Martin Paterson sade Nordirland lämnades dumdristigt på grund av deras senaste VM kvalificerande förödmjukelse som de förlorade 2-0 i Azerbajdzjan.