Ashley hade ombetts att vittna om behandlingen av sina arbetstagare.
Det följer en BBC-undersökning av Derbyshires lagerverksamhet.
Mr Ashley har till den 21 mars att svara efter ett brev från Hartlepool MP Iain Wright.
Brevet visar att Ashley hade bjudit in den utvalda kommittén Business, Innovation and Skills (BIS) - som Wright är ordförande för - till ett möte på företagets bas i Shirebrook.
"Behandlingen av lågavlönade arbetstagare och tillämpningen av den nationella minimilönen är frågor som kommittén kommer att se över under de kommande månaderna", säger Wright i sitt brev.
"I linje med de utvalda kommittéernas engagemang för öppenhet är det normalt att BIS-kommittén sammanträder offentligt i Westminster och vi enades om att följa denna praxis vid detta tillfälle.
"Ett antal alternativa datum har erbjudits dig av kommittén Clerk, men... du har inte accepterat någon av dem, eller i princip gått med på att närvara.
"Om ni underlåter att i ert svar gå med på att närvara vid ett av de datum som erbjuds er... förbehåller sig utskottet rätten att föra frågan vidare, inklusive att söka stöd från underhuset med avseende på varje klagomål om förakt."
Sports Direct har inte svarat på BBC: s begäran om en kommentar.
Företaget har tidigare lovat att granska arbetstagarnas rättigheter, med tillsyn av Ashley, som också äger Newcastle United Football Club.
Sport direkt chef Mike Ashley har hotats med att vara i förakt för parlamentet efter att ha underlåtit att framträda inför ett utskott av parlamentsledamöter.