Författningsdomstolen kommer nu att avgöra om han har brutit mot författningen och kan avsättas.
BBC:s Martin Vogl i huvudstaden, Antananarivo, säger att senkvällens omröstning kom som en överraskning för många.
Rajaonarimampianina har suttit i tjänst i 16 månader och man hoppades att hans val skulle få ett slut på åratal av politiska oroligheter på ön.
Madagaskar drabbades av fem år av politisk turbulens från och med 2009 då Andry Rajoelina drev bort Marc Ravalomanana från makten.
Kuppen lämnade landet isolerat i det internationella samfundet och berövades utländskt bistånd.
Inför den parlamentariska omröstningen uppmanade USA:s ambassad i Antananarivo parlamentsledamöterna att sätta landets stabilitet främst.
Parlamentarer på Madagaskar har röstat för att åtala president Hery Rajaonarimampaniana.