Mediauppspelning stöds inte på den här enheten
Hemsidan slutade på 151-7 i svar på Glamorgans 176-5, trots Michael Klingers 52 off 34 bollar.
Miller slog sina 50 off 33 inklusive tre sexor, när Welsh County flyttade till toppen av södra gruppbordet.
Rudolphs 51 off 46 var en mer mätt ansträngning, medan Sri Lankas sjöman Thisara Perera skålade hårt för sin 2-25.
Glamorgan flyttade före Surrey på nätet run-rate på toppen som Miller visade sin internationella klass trots en patchy wicket som gynnade medel-pacers.
Klinger hotade ett tag att få Gloucestershire i jakten framför en fullsatt hemmapublik, men Colin Ingram tog 1-18 i genomsnitt fyra overs medan Graham Wagg hävdade sin 100th T20 wicket och hemmasidan föll kort.
Mannen från matchen David Miller sa till BBC Wales Sport:
"Jag är mycket glad att vara en (vinn) från en, och ser fram emot de kommande fyra matcher. Jag var lite nervös för ett par bollar, det tog mig sex eller sju att komma igång men det är trevligt att slåss med Jacques Rudolph som har en hel del erfarenhet.
"Det är alltid bra att komma till paviljongen, den jag fick ut jag försökte slå över toppen av lägenheterna, men det är trevligt att slå några sexor och få upp farten.
"Varje enda spel jag blir nervös, men det är vad du gör med nerverna och där du tar det - det är en kort stint att göra ett intryck men jag försöker bara spela mitt spel och njuta av det, vilket har varit riktigt lätt med detta omklädningsrum."
Fifties för Glamorgan debutant David Miller och kapten Jacques Rudolph visade sig vara nyckeln när de slog Gloucestershire med 25 körningar i Bristol.