Mr Ashley underlät att infinna sig inför en kommitté för arbetsförhållanden i företagets lager i Derbyshire.
I ett brev anklagar han parlamentsledamöter för "missbruk av parlamentariska förfaranden" för att "skapa en mediecirkus vid Westminster".
Chris Bryant MP sade att kammaren kunde "tvinga" Mr Ashley att delta i ett möte.
Raden följer en BBC-undersökning av arbetsrutinerna på företagets lager i Shirebrook.
Uppdateringar om denna berättelse och mer från Derbyshire
Newcastle United FC ägare fick en tidsfrist på 21 Mars för att svara på ett brev från MP Iain Wright - som leder Business, Innovation and Skills (BIS) utvalda kommittén - efter sin no-show.
I brevet sägs att kommittén förbehåller sig rätten att "föra frågan vidare" om han inte deltar i kommande datum.
Som svar sade Ashley: " Jag blev äcklad när jag fick veta att ni har intagit en ståndpunkt som medvetet är antagonistisk.
"Genom att vägra att besöka Sports Direct för att se saker med egna ögon, du missar en verklig möjlighet att få en detaljerad och balanserad förståelse av de frågor du vill diskutera.
"Jag tror att ni missbrukar parlamentariskt förfarande i ett försök att skapa en mediecirkus i Westminster, vilket inte ligger i någon av de personers intresse som arbetar på Sports Direct."
Man tror att ingen har anklagats för förakt för parlamentet sedan 1950-talet.
Bryant sade i underhuset på torsdag: "[Herr Ashley] må vara den 22:a rikaste mannen i Storbritannien, men han driver en modern dag sweatshop och denna kammare kommer att komma till sanningen."
Utskottet skall sammanträda på tisdag för att diskutera nästa steg efter Ashleys korrespondens.
Sports Direct boss Mike Ashley har anklagat parlamentsledamöter för att vara "deliberat antagonistisk" efter att han hotades med att vara föraktad av parlamentet.