Tjänstemän i Pakistan, Malaysia och Indonesien sade alla att de inte formellt hade gått med på att ansluta sig till alliansen.
Saudiarabien på tisdag sade 34 huvudsakligen muslimska nationer skulle vara en del av kampen mot terrorism gruppering.
Prins Mohammed sade att det skulle fokusera på insatser för att bekämpa terrorism i Irak, Syrien, Libyen, Egypten och Afghanistan.
"För närvarande bekämpar varje muslimskt land terrorism individuellt... så det är mycket viktigt att samordna insatserna", berättade han för en nyhetskonferens.
Han påpekade att det fortfarande finns "förfaranden" för dessa länder att gå igenom innan de går med, "men av iver att uppnå denna koalition så snart som möjligt, [alliansen med] 34 länder har tillkännagivits".
Pakistans utrikesminister Aizaz Chaudhry citerades i Dawn tidningen som säger att han var förvånad över tillkännagivandet och hade bett den pakistanska ambassadören i Riyadh för klargörande.
Landets utrikeskontor sade i ett uttalande senare på onsdagen att det var "vänta ytterligare detaljer för att avgöra omfattningen av sitt deltagande i olika aktiviteter i alliansen" innan ett beslut om att gå med.
I Indonesien sade utrikesdepartementet att man ännu inte hade bestämt sig för om man skulle gå med.
"Regeringen fortfarande observerar och väntar på att se villkoren för den militära koalition som bildas av Saudiarabien," utrikesminister talesman Arrmanatha Nasir berättade för The Jakarta Post.
Malaysias försvarsminister Hishammuddin Hussein gick längre - och uttryckte sitt stöd för koalitionen men uteslöt all militär inblandning från Kuala Lumpur.
"Det saudiska initiativet innebär inte något militärt engagemang, men en förståelse för att vi kommer att bekämpa militans", sade han.
Saudiarabiska Arabien tillkännagav alliansen och sade att ett gemensamt operationscentrum skulle inrättas i huvudstaden Riyadh och koalitionen skulle fokusera på terrorgrupper "vad deras doktrin än är".
Det sker under internationella påtryckningar för att arabstaterna i Gulfstaterna ska göra mer i kampen mot den så kallade islamiska staten.
BBC:s Frank Gardner påpekar att shiamajoritetsnationerna i Iran och Irak, liksom Syrien, är märkbart frånvarande från alliansen.
Han tillägger att det är långt ifrån klart hur man utan dessa regeringars samtycke skulle kunna genomföra insatser mot terrorism i IS-plaguserat Irak och Syrien.
Saudiarabiens förteckning över 34 alliansmedlemmar: Saudiarabien, Bahrain, Bangladesh, Benin, Tchad, Komorerna, Djibouti, Egypten, Gabon, Guinea, Elfenbenskusten, Jordanien, Kuwait, Libanon, Libyen, Malaysia, Maldiverna, Mali, Marocko, Mauretanien, Niger, Nigeria, Pakistan, palestinierna, Qatar, Senegal, Sierra Leone, Somalia, Sudan, Togo, Tunisien, Turkiet, Förenade Arabemiraten och Jemen.
Ett antal länder har uttryckt sin förvåning över att Saudiarabien har inkluderat dem i en ny militär allians för att bekämpa terrorism.