Kommentaren riktades till en kvinna i publiken som hade kritiserat Martelly och hans administration.
Enligt Haitis media sa Martelly åt henne att "ta en man och gå in i buskarna" på mötet i Miragoane.
En presidentrådgivare sade att Martellys ord hade förvrängts.
Martelly, som är i det sista året av sin femårsperiod, är en före detta sångare av haitiska dansmusik känd för sin praktfulla stil och ibland färgstarka språk.
Raden utlöstes av president Martellys reaktion på en kvinna vid ett kampanjmöte i hamnstaden Miragoane den 29 juli.
Kvinnan klagade över regeringens underlåtenhet att ge elektricitet till sitt område, vilket föranledde Martellys fientliga svar, som i sin tur hälsades av jubel och applåder från publiken.
Som svar på händelsen meddelade minister Yves Rose Morquette, socialminister Victor Benoit och utrikesminister Mozart Clerisson på onsdagen att de skulle lämna sina poster.
De tillhör alla det haitiska socialdemokratiska partiet Fusion, som är en del av den styrande koalitionen.
Partiledaren Edmonde Supplice Beauzile sa att Martellys beteende var att "inte komma" till en statschef.
Supplice Beauzile kandiderar till president i det kommande presidentvalet i oktober, där Martelly inte kommer att kunna ställa upp igen.
Hon sa att "genom att förolämpa denna kvinna har han förolämpat alla haitiska kvinnor".
"Ett sådant beteende är en skam för landet", tillade hon.
Hon uppmanade också väljarna att "straffa" kandidater till Martellys parti i söndags parlamentsval.
Tre tjänstemän i Haitis styrande koalition meddelade sin avgång på onsdag i protest vid en kommentar president Michel Martelly gjorde vid ett kampanjmöte förra veckan.