Gray öppnade scoring i 52: a minuten med en fin solo mål innan Slimani fördubblade ledningen kort därefter.
Den algeriska gjorde sin andra fyra minuter senare när han buntade hem Grays kors från nära håll.
Caolan Lavery s tillfälliga sena strejk minskade underskottet men Musa sköt hem i stopptid.
Första halvan var till stor del händelselös eftersom båda sidor gjorde åtta ändringar från helgens ligamatcher.
Grays mål var det första ögonblicket av kvalitet i matchen när han samlade bollen 30-yards från mål på vänster vinge, körde i fältet och slog tre försvarare innan slotting genom Blades målvakt Jake Eastwood ben.
Slimani gjorde sedan en fyra minuters hängslen som såg ut att ha löst slipsen som strejkaren - signerad för £29m 2016 - visade utmärkt rörelse och lugn.
Men, Lavery drog ett mål tillbaka i 83: e minuten som hans missriktade kors slog Ben Hamer på nära inlägget innan Blades sköt ytterligare med 19-åriga Foxes debutant Josh Knight gör ett fint block för att förneka Billy Sharp.
Leicesterförsvaret fortsatte att hålla sig starkt och på 93:e minuten drev Musa genom United Defense och körde hem för att bekräfta resultatet.
Matchen slutar, Sheffield United 1, Leicester City 4.
Andra halvlek, Sheffield United 1, Leicester City 4.
Mål!  Sheffield Förenade 1, Leicester City 4. Ahmed Musa (Leicester City) höger fotade skott från mitten av lådan till övre högra hörnet.
Försök blockerat. Ahmed Musa (Leicester City) höger fotade skott från mitten av lådan är blockerad.
Islam Slimani (Leicester City) vinner en frispark i angreppshalvan.
Stöld av David Brooks (Sheffield United).
Foul av Ahmed Musa (Leicester City).
David Brooks (Sheffield United) vinner en frispark på högerkanten.
Försök missade. David Brooks (Sheffield United) huvud från mitten av lådan är för högt. Hjälpt av John Lundstram med ett kors efter ett hörn.
Hörnet, Sheffield United. Förföljd av Josh Knight.
Försök blockerat. Billy Sharp (Sheffield United) höger fotade skott från mitten av lådan är blockerad. Hjälpt av Caolan Lavery.
Hörnet, Leicester City. Förföljd av Chris Basham.
Försök missade. Islam Slimani (Leicester City) höger fotade skott från mitten av lådan missar till vänster. Hjälpt av Ahmed Musa.
Mål!  Sheffield United 1, Leicester City 3. Caolan Lavery (Sheffield United) höger fotade skott från en svår vinkel och lång räckvidd på höger till nedre högra hörnet. Hjälpt av David Brooks.
Foul av Nampalys Mendy (Leicester City).
Caolan Lavery (Sheffield United) vinner en frispark i den defensiva halvan.
Ersättning, Leicester City. Josh Knight ersätter Harry Maguire.
Hörnet, Leicester City. Förföljd av Chris Basham.
Försök blockerat. Demarai Gray (Leicester City) vänster fotade skott från vänster sida av lådan är blockerad. Hjälpt av Ahmed Musa.
Ersättning, Leicester City. Nampalys Mendy ersätter Wilfred Ndidi.
Foul av Wilfred Ndidi (Leicester City).
Samir Carruthers (Sheffield United) vinner en frispark i anfallshalvan.
Videorecension:.
Offside, Leicester City. Ahmed Musa försöker en genom boll, men Wilfred Ndidi fångas offside.
Hörnet, Leicester City. Förföljd av John Lundstram.
Försök blockerat. Ben Chilwell (Leicester City) vänster fotade skott från vänster sida av lådan är blockerad. Hjälpt av Ahmed Musa.
Hörnet, Sheffield United. Förföljd av Ben Chilwell.
Substitution, Sheffield United. Paul Coutts ersätter George Baldock.
Substitution, Sheffield United. Chris Basham ersätter Jake M Wright.
Mål!  Sheffield Förenade 0, Leicester City 3. Islam Slimani (Leicester City) höger fotade skott från mycket nära håll till nedre vänstra hörnet. Hjälpt av Demarai Gray med ett kors.
Hörnet, Leicester City. Förföljd av Jake Eastwood.
Försöket räddades. Demarai Gray (Leicester City) höger fotade skott från utsidan rutan sparas i det övre högra hörnet. Hjälpt av Andy King.
Försök blockerat. Wilfred Ndidi (Leicester City) höger fotade skott utanför lådan är blockerad.
Hörnet, Sheffield United. Förföljd av Wilfred Ndidi.
Mål!  Sheffield Förenade 0, Leicester City 2. Islam Slimani (Leicester City) vänster fotade skott från vänster sida av sex yard box till nedre vänstra hörnet. Hjälpt av Andy King med en genomboll.
Substitution, Sheffield United. Billy Sharp ersätter Ched Evans.
Christian Fuchs (Leicester City) vinner en frispark i den defensiva halvan.
Foul av George Baldock (Sheffield Förenade).
Offside, Sheffield United. Ched Evans försöker en genom boll, men George Baldock fångas offside.
Offside, Leicester City. Daniel Amartey försöker en genom boll, men Islam Slimani fångas offside.
Mål från Demarai Gray, Islam Slimani (2) och Ahmed Musa tog Leicester tidigare Championship sida Sheffield United och in i EFL Cup tredje omgången.