Han dödades i sin bil nära presidentpalatset i huvudstaden, Mogadishu, tillade tjänstemännen.
Presidenten har avbrutit sitt besök i Etiopien efter Abas Abdullahi Sheikhs dödande, statliga radiorapporter.
Han växte upp i ett flyktingläger och blev Somalias yngsta riksdagsledamot i november och minister i februari.
Somalia har drabbats av konflikter sedan den länge tjänstgjorde härskaren Siad Barre blev utkastad 1991.
Det strider för närvarande mot militanta islamister från al-Shabab-gruppen, som är knuten till al-Qaida.
Säkerhetsstyrkor på patrull kom över ett fordon som blockerade vägen och trodde att det drevs av militanta, öppnade eld, polis Major Nur Hussein berättade för Reuters nyhetsbyrå.
Mr Abas dödades "av misstag - de öppnade eld på hans bil av misstag. Må Gud vila hans själ", Mogadishu borgmästar talesman Abdifatah Omar Halane citerades som säger.
En stigande stjärna har dödats: Abdirizak Atosh, BBC Somaliska, Nairobi
Somaliska ungdomar har berövats en förebild efter Abas chockerande död. Den tidigare barnflyktingen var alltid artig och välklädd och beundrades i stor utsträckning för sin beslutsamhet att lyckas.
Abas kom från en framstående religiös familj och studerade vid Kenyas prestigefyllda Nairobi University och började i politiken förra året.
Han blev parlamentsledamot för hamnstaden Kismayo i Somalias Jubbaland-region efter att en valskola hade valt honom före en regeringsminister som hade varit på den politiska scenen i mer än två decennier.
Abas seger visade att somalierna var trötta på den gamla vakten och krävde förändring. Presidenten, som såg sin popularitet hos ungdomen, utnämnde honom till kabinett i mars.
Mindre än tre månader senare har denna stigande stjärna blivit det senaste offret för mer än två decenniers våld i Somalia. Men i detta fall frågar några: Har Somalia förlorat en framtida president?
Abas fick en statsbegravning i Mogadishu i närvaro av president Mohamed Abdullahi Mohamed Farmajo, parlamentsledamöter, somaliska ungdomar och äldste.
President Farmajo har beordrat säkerhetschefer att omedelbart "komma till botten med denna olyckliga tragedi" och se till att förövarna "kom till bok".
Informationsminister Abdirahman Osman sade att flera personer hade arresterats, men inte ge detaljer, statligt ägda Radio Mogadishu rapporterade.
Troops är ibland nervösa, och har tidigare skjutit tjänstemän - och varandra - av misstag, säger BBC Somalia analytiker Abdullahi Abdi.
Men Abas, ministern för offentliga arbeten, är förmodligen den mest högt uppsatta tjänsteman som dödats av "vänlig eld", tillägger han.
Abas växte upp i Dadaablägret i Kenya, där hundratusentals somalier flydde från torka och konflikter.
Ordföranden utsåg Abas till kabinett efter sin överraskningsseger i februari.
President Farmajo lovade att förbättra säkerheten och upprätta en effektiv regering i Somalia.
En stor del av landet kontrolleras fortfarande av al-Shabab.
Somalias säkerhetsstyrkor har skjutit ihjäl en 31-årig regeringsminister efter att ha missbedömt honom för en militant islamist, har tjänstemän sagt.