Hans socialdemokratiska vänsterparti (PSD) hade anklagat honom för att ha misslyckats med att genomföra nödvändiga ekonomiska reformer.
Premiärministern var inblandad i en maktkamp med partiledaren Liviu Dragnea, som utestängdes från ämbetet efter en fällande dom för valfusk.
Grindeanu förlorade misstroendevotumet med 241 röster för och 10 röster emot.
Beslutet av hans eget parti och dess liberala ALDE-allierade att kasta ut honom sågs som ett första beslut, även för Rumäniens turbulenta politik. För att förslaget skulle antas behövde de en parlamentarisk majoritet på 233 röster.
PSD vann val i december bara ett år efter att ha förlorat makten. Inom några veckor utbröt protester över hela landet över ett dekret som ansågs försvaga åtgärderna mot korruption i en av EU:s mest korrupta medlemsstater.
I februari varnade EU regeringen i Bukarest för "backtracking" i sina insatser mot korruption. Även om Grindeanu drog tillbaka dekretet försvagade krisen den nya regeringen och försämrade förbindelserna mellan premiärministern och Dragnea.
Mario Dragnea kritiserade sin rival i regeringen i onsdags och anklagade honom för att ha misslyckats med att genomföra "det mest ambitiösa programmet sedan 1989". Vissa kommentatorer har hävdat att hans avlägsnande mer handlade om att lindra åtgärder som syftar till att bekämpa korruption.
Dragnea, som är makten bakom vänsterpartiets tron, kan inte ta makten eftersom han fick en villkorlig fängelsetid för rösträttsfusk och också ställs inför rätta för påstått maktmissbruk.
Hans första val som premiärminister, Sevil Shhaideh, avvisades av president Klaus Iohannis i december. En ny kandidat från den styrande koalitionen måste också godkännas av presidenten.
I stället för att vara Europas sjuke man uppvisar Rumäniens ekonomi den högsta tillväxten i EU, 5,6 % under året fram till mars 2017.
Dess rättssystem har dock varit föremål för EU:s granskning ända sedan landet anslöt sig 2007.
I sin senaste rapport i år lovordade EU:s verkställande organ Rumäniens antikorruptionsbyrå (DNA) men varnade för att kampen mot korruption allvarligt hotades av politiska attacker och medieattacker.
Rumäniens premiärminister Sorin Grindeanu har tvingats från makten efter bara sex månader av sitt eget parti, i en misstroendeomröstning i parlamentet.