International Federation for Human Rights (FIDH) sade att vissa människor dödades helt enkelt därför att de inte hade identitetshandlingar.
En malisk arméofficer uppges förneka anklagelserna.
Under tiden säger FN att 7 100 civila har flytt till grannländerna sedan den 10 januari för att fly från striderna.
Rapporter tyder på att den huvudsakligen svarta afrikanska maliska armén, som till stor del hämtats från söder, har riktat in sig på araber och etniska tuareger från norr och avslöjat en rasistisk aspekt på kriget här som har dolts av betoningen på västerländska trupper som utkämpar ett krig mot islamistiska rebeller, säger BBC:s Mark Doyle i Mali.
Frankrike ingrep militärt den 11 januari för att stoppa ett militant framsteg.
Det sade att al-Qaida kopplade samman islamister - av vilka några var utlänningar - och hotade att förvandla Mali till en "terroriststat".
Den har bombat misstänkta rebellpositioner och utplacerat omkring 2.000 trupper för att hjälpa den svaga maliska armén att återta territoriet.
FIDH sade att det behövs en oberoende undersökning av påstådda övergrepp som begåtts av maliska soldater och att de ansvariga bör straffas.
I garnisonsstaden Sevare avrättades minst sju personer vid ett militärläger, nära en busstation och ett sjukhus, sades det.
Det fanns "trovärdig information" pekar på 20 andra avrättningar i Sevare, med organ "begravda hastigt, särskilt i brunnar", FIDH sade.
Sammanfattande mord ägde också rum i städerna Mopti och Niono, tillade gruppen.
"Andra anklagelser om summariska avrättningar fortsätter att komma från alla områden i västra och centrala delen av landet", sade den.
Det tillade att några av offren anklagades för att inneha vapen och för att vara "infiltratörer" och "kompliker" av militanterna.
Andra dödades därför att de inte hade identitetshandlingar eller helt enkelt på grund av sin etnicitet, sade FIDH.
Dussintals etniska tuareger i Malis huvudstad, Bamako, har också fått sina hem plundrade av trupper, tillade gruppen.
Röster från Diabaly efter rebellstriden
Den maliska arméns kapten Modibo Traore sa att anklagelserna var "helt falska" men vägrade att kommentera ytterligare, AP nyhetsbyrå rapporterar.
FN: s flyktingbyrå (UNHCR) regional samordnare Valentin Tapsoba sade 7.100 människor hade flytt till grannländerna under de senaste två veckorna för att fly strider.
De flesta av dem - omkring 4000 - hade flytt till Mauretanien, Malis västra granne, Tapsoba berättade för BBC:s program Fokus på Afrika.
Han sade att ytterligare 3 100 personer hade korsat Burkina Faso och Tchad öster om Mali.
Nästan 10.000 har också flyttat in i läger i Mali sedan den 10 januari, sade han.
Den senaste konflikten bröt ut efter det att militanterna hade avancerat söderut och attackerat de centrala städerna Konna, Diabaly och Douentza.
Franska tjänstemän säger att deras styrkor har hjälpt Malis trupper att återta alla tre städerna.
Frankrike hoppas kunna överlämna ledningen över operationen till en västafrikansk styrka, som för närvarande har omkring 1.000 soldater på marken.
Malis armé har genomfört en "serie av summariska avrättningar" eftersom den kämpar för att återta den islamistiska kontrollerade norden, en rättighetsgrupp har sagt.