President Juan Manuel Santos sade att myndigheterna inte vet hur många människor som fortfarande saknas.
Kraftiga regn fick floden Liboriana i staden Salgar att spränga sina stränder och utlösa jordskredet.
En stor del av byn Santa Margarita, sydväst om provinshuvudstaden Medellin, sopades bort när katastrofen inträffade tidigt på måndagen.
Räddningsteam och invånare har kommit tillsammans för att gräva igenom rubel i hopp om att hitta överlevande.
Efter att ha besökt katastrofplatsen förklarade Santos ett undantagstillstånd och lovade att återuppbygga husen.
"Vi kan inte återuppväcka de döda, vilket vi beklagar djupt, och vi kommer att stödja familjerna (offrens familjer), sade Santos tidigare.
"Men vi måste gå vidare från denna tragedi, och se framåt med mod och mod."
"Prioriteringen nu är sjukhuset", sade presidenten.
Tidigare på måndagen avbröts gas- och eltjänsterna i staden som en försiktighetsåtgärd.
Det colombianska flygvapnet och polisen har skickat helikoptrar till området. Mer än 160 soldater arbetar i nödinsatsen.
Omkring 100 personer har evakuerats från högriskområden.
Lokala tjänstemän Zulma Osorio talade om en "raseri av enorma proportioner".
Mud, klippor och trädstammar förstörde många hus i fattiga områden nära floden.
Invånaren Jorge Quintero beskrev sin pärs när jordskredet kom till byn: " När jag kände att mitt hus skakade kom vi ut, min familj och jag. När vi kom ut, var vi fast mitt i jordskredet, det kom från båda sidor och vi var i mitten.
"Jag sa till min fru, låt oss hålla varandra och hoppas att Gud räddar oss och jag vet att han gav oss sin hand för här är vi, levande, fortfarande rädda, men fortfarande levande."
Mer regn väntas i de närmaste dagarna.
Mer än 50 personer har dödats i ett jordskred i Antioquiaprovinsen i nordvästra Colombia, säger tjänstemän.