Mr Ordonez sa att Gen Palomino skulle undersökas över det påstådda skapandet av en manlig prostitution ring.
Generalen är också under utredning för påstådd olaglig anrikning och olaglig avlyssning.
Gen Palomino välkomnade sonden, som han sa att han visste skulle rentvå hans namn.
"Jag hoppas att rättssystemet kan återställa den värdighet som har tagits från mig genom lögner och vanära", sade generalen i ett uttalande.
Utredningen utlöstes av anklagelser från en poliskapten som sa att han hade blivit misshandlad av högre officerare under sin tid som kadett.
Edgardo Ordonez sade att anklagelsen hade backats upp av ett klagomål från en nu pensionerad poliskapten.
Enligt klagomålet, unga manliga poliser kadetter var cajoled och hotade att ha sex med högre tjänstemän.
Edgardo Ordonez sade att enligt vittnesmålet från hans kansli hade en senator också påstås vara inblandad i prostitutionsringen, kallad "Ringens gemenskap".
Han sade också att de påstådda händelserna hade ägt rum "med hjälp och delaktighet av polistjänstemän, inklusive generaldirektören [Rodolfo Palomino]".
De avlyssnande anklagelserna har också att göra med fallet. Påstått poliser avlyssnade journalisters telefoner för att utreda skandalen.
Gen Palomino har bestämt förnekat något orätt.
Han har också förnekat anklagelser om olaglig berikning och har försett åklagarna med handlingar som han säger visar varifrån hans pengar och egendom kommer.
Han säger att anklagelserna är en politisk vendetta som ska driva bort honom.
Colombias riksåklagare Alejandro Ordonez säger att han kommer att inleda en "disciplinär utredning" mot landets polischef, Gen Rodolfo Palomino.