McCall sa att han och några av hans spelare var goaded av supportrar efter deras 1-0 förlust till Lions på Wembley.
Han ifrågasatte varför förvaltare inte hade förhindrat invasionen.
"Vi är helt förtvivlade, vi ville klappa våra egna fans, det sista vi behöver är att folk springer runt oss och ger oss verbala ord", säger McCall.
"Jag tycker det är nonsens", sa han till BBC Radio Leeds. "Tio minuter senare kommer en armé av förvaltare på när de skulle ha varit på direkt efter den slutliga visselpipan och stod på halvvägs linje.
"Jag förstår inte varför folk känner att de behöver komma över till spelare, skrämma oss och avsluta oss. Jag var nära att titta på ett par.
"Jag skyller inte nödvändigtvis på dem som gjorde det, men var var förvaltaren? Varför marschera ut dem tio minuter efteråt?
"De borde ha kommit halvvägs och hindrat vem som helst från att komma över."
Millwall boss Neil Harris uppmuntrade sin sidas fans att lämna planen för att låta laget att njuta av deras firande, medan match-vinnare Steve Morison hävdade att de hade "ruined" ögonblicket.
"Det är inte idealiskt, det är inte riktigt platsen för en pitch invasion, jag måste vara ärlig," Harris berättade BBC Radio London.
"Jag tolererar det inte alls. Jag hoppas bara att det inte fanns någon respektlöshet mot Stuart och hans team.
"För mig, Jag ville få bort dem eftersom jag ville se mina spelare njuta av det och jag ville se mina spelare ta beundran av hela fan bas, som hände i slutändan.
"Jag tycker det var överdrivet nitiskt, många människor vill selfies och hoppa om. Jag tolererar det verkligen inte, men jag hoppas att det var lättsamt."
Bradford City boss Stuart McCall sa att han var "nära att titta" Millwall fans som invaderade planen i slutet av League One play-off finalen.