Australiens utrikesminister sade att dessa var "inte en väns handlingar".
Förenade kungariket vidtog liknande åtgärder i mars, efter att ha dragit slutsatsen att Israel var ansvarigt för användningen av förfalskade brittiska pass i handlingen.
Det israeliska utrikesdepartementet sade att Australiens beslut var en besvikelse.
Ministeri talesman Yigal Palmor sade att det var "inte i linje med betydelsen och kvaliteten på förbindelserna mellan våra länder".
Minst fyra förfalskade australiska pass användes vid mordet på Mahmoud al-Mabhouh i Dubai i januari. Originalen tillhörde australier som bodde i Israel.
Den australiska regeringen sade en polisutredning hade lämnat det i ingen tvekan om att de israeliska myndigheterna var bakom "misshandel och förfalskning av passen".
Som en följd av detta bad utrikesminister Stephen Smith Israel att dra tillbaka en diplomat, som han inte identifiera
"Beslutet att be Israel att flytta från Australien en av sina officerare på Israels ambassad i Canberra är inte något som fyller den australiska regeringen med någon glädje", sade han.
"Tvärtom, beslutet fattades mycket mer i sorg än i ilska."
Pass från Frankrike, Irland, Tyskland och Storbritannien användes i operationen, och i mars utvisade den brittiska regeringen en israelisk diplomat från London.
Den israeliska regeringen har sagt att det inte finns några bevis för att den låg bakom mordet, även om Dubais tjänstemän har sagt att de är 99,9% säkra på att agenter från Mossad var ansvariga.
Australien har relegerat en israelisk diplomat som säger att Israel låg bakom smidandet av australiska pass kopplade till mordet på en Hamas-agent i Dubai.