Han sa till Buzzfeed News att han behövde gå till en "tyst plats" för att fokusera på att skriva, tillägger att Twitter är "den minst tysta plats jag någonsin varit i mitt liv."
"Det är som att ta advokatexamen på Coachella", sa han. "Jag behöver verkligen koncentrera mig på detta!"
En del har betecknat hans porträtt av kvinnliga karaktärer, bland annat Scarlett Johanssons svarta änka, som sexistisk.
Kritiken kom som en överraskning - som författaren-vände-director hade tidigare lovordats för att skapa starka kvinnliga leads i hans TV-program Buffy Vampire Slayer och Dollhouse.
Han sa: "Jag såg många säga: 'De sociala rättvisans krigare förstörde en av sina egna!' Det är som, nope. Det hände inte."
Whedon förnekade också anklagelsen att han slutade Twitter på grund av specifik kritik från kampanjgruppen Feminist Frequency.
"Litteralt den andra personen att skriva till mig för att fråga om jag var okej när jag hoppade av var [feminist frekvens grundare] Anita [Sarkeesian]", sade han.
Omedelbart innan han tog bort sitt konto, Whedon tweetade: "Tack till alla människor som har varit så vänliga och roliga och inspirerande upp här".
Strax efter, en sökning efter ett konto under @josswhedon handtag returnerade en "sidan hittades inte" fel.
En kritiker hade skapat en vittomfattande gemensam montagebild som visade många av de budskap som sändes till Whedon.
En del kallade honom kvinnohatare och sade att han hade gjort ett "hatchet jobb" på Black Widow, vars stora historia i den senaste Avengers filmen är en dödsdömd romans.
En kritiker frågade varför orden "stark kvinnlig karaktär" inte fanns i hans ordförråd.
Men många av Whedons fans har nu vänt sig mot nejsägarna och utsatt vissa för trakasserier och övergrepp.
Komikern och skådespelaren Patton Oswalt anklagade dem för att ha "fört bort Joss Whedon från Twitter".
Whedon hade tidigare varit en hög profil användare av Twitter, kallar det "enormt arbete - mycket roligt".
Men han berättade för Buzzfeed att han hade börjat bli obekväm med sin vana.
"Twitter är en beroendeframkallande liten sak, och om det finns där, måste jag kolla det. När du fortsätter att göra något efter att det slutar ge dig njutning, det är lite av botten för en missbrukare.
"Jag hade bara ett litet ögonblick av klarhet där jag är som, "Vet du vad? Om jag vill få saker gjorda, behöver jag inte ständigt slå denna sak för en nyhet eller ett skämt eller något beröm, och sedan plötsligt vara ledsen när det finns hat och sedan hat och sedan hat.'"
Direktör Joss Whedon har vägrat lämna Twitter över feministisk kritik av sin senaste film, Avengers: Age of Ultron.