Brown anklagade domare Dean Whitestone för ett antal "riktigt dåliga" beslut.
Whitestone gav Gillingham ett straff i första hälften stopptid innan han skickade iväg Southends Ryan Inniss för två bokningsbara brott.
"Det fanns fyra eller fem beslut som säger att domaren inte borde vara domare på denna nivå," sade Brown.
Den 57-årige hävdade Whitestone inte hantera trycket av spelet mellan två sidor åtskilda av munnen på Themsen.
" Domaren nämnde för mig att det var en derby spel och han hade hört om den potentiella friktion - men du kan inte ta det i beaktande," sade Brown.
"Han korsade till en början armarna på väg att vifta bort straffet men nästa rörelse han blåser för en foul. För mig är det en domare under press.
"Skicka ut är ännu värre - otroligt domare. Detta var att förrätta sin tjänst som värst och någon måste ställas till svars. Jag vädjar till det röda kortet och om jag kan gå längre än så kommer jag."
Samtidigt har Southend försvarare och före detta kapten Adam Barrett meddelat sin pension vid 37 års ålder.
Barrett spelade 354 matcher i två trollformler med klubben, den sista mot Stevenage i EFL Trophy i november.
Han var medlem i Shrimpers sida som vann back-to-back kampanjer från League Two till Championship 2005 och 2006, och även League Two play-off final 2015.
"Han kommer att bli ihågkommen som en av Blues största och en sann legend," Brown berättade klubbens webbplats.
Southend manager Phil Brown säger domaren för sin sidas 2-1 nederlag på Gillingham bör vara "fört till uppgiften" över hans prestation.