Sunderlands Giaccerini sloted hem i första halvlek efter att ha samlat Leonardo Bonuccis fantastiska långa pass.
Southampton's Pelle förseglade vinsten i skadetid med en emfatisk volley efter ett skarpt brott.
Belgien var mycket besviken, med Romelu Lukaku och Divock Origi slösaktigt framför målet.
Everton framåt Lukaku kröp över från kanten av lådan med bara väktaren att slå medan Liverpools Origi missade två tillfällen att huvudet hans sida nivå.
Innan turneringen började några puntits fördömde denna Italien trupp för en brist på kvalitet, och även coach Antonio Conte sade: "Det är inte en bra tid för vår fotboll."
Den snart till-be-Chelsea chefen tillade: "Det är viktigt att gruppen har en god anda. Jag jobbar mycket med det här."
På bevis för detta spel, är det inte det enda han har arbetat på.
Italiens triumf var ett resultat av överlägsen organisation och disciplin mot 11 belgiska individer som, åtminstone på papperet, verkar ha den större talangen.
Båda sidor möter nu matcher mot Republiken Irland och Sverige, som ritade 1-1 i Grupp E öppnare tidigare på måndagen.
Med 16 av 24 lag som avancerar från gruppstadiet, Italien tog ett stort steg mot att avancera med seger mot sina mest sympatiska utmanare.
Italien har vunnit denna tävling en gång, 1968, och slutade två gånger - senast 2012, när de revs 4-0 av Spanien i finalen.
Medan den nuvarande Azzurri sidan gick obesegrad genom kvalificering, vinna sju av sina 10 matcher, de jämföra ogynnsamt med sidan av fyra år sedan, saknar lugn, kreativ briljans av Andrea Pirlo i mitten av fältet och en angripande spjutspets att tillräckligt ersätta en bleknad Mario Balotelli.
Vad de har är en minutiös och taktiskt skarpsinnig tränare i Chelsea-bundet Conte och ett envist Juventus-centriskt försvar.
En sådan stiftelse gjorde det möjligt för dem att begränsa och frustrera Belgien, vilket gör dem sårbara för en bit hänsynslös motattack briljans - som Bonuccis 50-yards, försvarssplittrande pass och Giaccerinis svala finish gav.
Den andra halvan skulle ha varit bekvämare för Italien om ett andra mål hade gjorts från en omärkt position av Pelle, som också hade en andra rubrik sparad av Thibaut Courtois efter pausen.
Men Contes illvilliga eftertrupp hölls fast innan Pelle volleyed hem en prydlig flisa kors från Antonio Candreva.
Trots att bara ha kvalificerat sig för en stor turnering under de senaste 14 åren, Belgien kom till Frankrike som Europas topprankade sida och en av favoriterna att triumfera i Paris den 10 juli.
Deras status är uppbyggd kring attackerande potential och klubbförfalskade rykte av individer som Kevin de Bruyne, Eden Hazard och Lukaku, i motsats till konsekventa bevis för ett sammanhållet internationellt team.
Röda Devils gjorde dock inte mycket för att antyda att de är redo att omvandla detta löfte till något konkret på den stora scenen.
De var fotgängare i första halvan, misslyckas med att komma in bakom den italienska backline, med De Bruyne särskilt isolerad.
De ökade farten efter pausen men kämpade fortfarande för att testa Gianluigi Buffon, med Lukaku curling över en god chans och ersätta Origi sporra två härliga huvud möjligheter.
Lika oroande för Belgien var resultatet av deras försvar.
Redan utan den skadade Vincent Kompany, de såg särskilt sårbar ut med Jan Vertonghen utplacerad på vänster sida i stället för tillsammans med hans Tottenham kollega Toby Alderweireld i centrum.
Italien tränare Antonio Conte: "Det vi visade ikväll är att det fanns två lag som spelade spännande fotboll, med förändringar i båda ändar. Det bevisar att ingenting redan är skrivet i fotboll, och det är på fältet där du måste göra din poäng.
"I en turnering som denna, du behöver en alkemi, av människor som kommer bra tillsammans och den största tillfredsställelsen för mig ikväll är att se hur glada de alla var, även de på bänken. Det finns en mycket god anda i den här gruppen."
Belgien målvakt Thibaut Courtois: "Nu måste vi vinna de andra två matcherna och vara ett bättre lag. Italien utklassade oss i organisation, och taktiskt var de det bästa laget."
BBC pundit och före detta italienaren Gianluca Vialli: "Jag vill inte skryta, men vi var nästan perfekta. Vi dominerade spelet, vi visade lust och engagemang och vi spelade som ett lag. Vi hade en perfekt spelplan."
BBC pundit och ex-England försvarare Rio Ferdinand: "Det var ett perfekt exempel på en spelar som ett lag, den andra som en grupp av individer. Vad som var så imponerande är hur de kan gå från försvar till attack så snabbt."
Italien möter Sverige i Toulouse kl 14:00 BST på fredag med Belgien tar på Republiken Irland i Bordeaux kl 14:00 följande dag.
Matchen slutar, Belgien 0, Italien 2.
Andra halvlek, Belgien 0, Italien 2.
Mål!  Belgien 0, Italien 2. Graziano Pellè (Italien) höger fotade skott från mitten av lådan till nedre vänstra hörnet. Hjälpt av Antonio Candreva.
Jan Vertonghen (Belgien) visas det gula kortet.
Foul av Dries Mertens (Belgien).
Marco Parolo (Italien) vinner en frispark i defensiva halvan.
Hörnet, Belgien. Förföljd av Mattia De Sciglio.
Försöket räddades. Marco Parolo (Italien) vänster fotade skott från mitten av lådan sparas i nedre vänstra hörnet.
Hörnet, Italien. Förföljd av Divock Origi.
Hörnet, Italien. Översatt av Thibaut Courtois.
Försöket räddades. Ciro Immobile (Italien) höger fotade skott från utsidan boxen sparas i toppen av målet.
Tiago Motta (Italien) visas det gula kortet för en dålig foul.
Eden Hazard (Belgien) vinner en frispark i anfallshalvan.
Foul av Thiago Motta (Italien).
Eden Hazard (Belgien) vinner en frispark i den defensiva halvan.
Foul av Thiago Motta (Italien).
Försök missade. Divock Origi (Belgien) huvudet från mitten av lådan är bara lite för hög. Hjälpt av Kevin De Bruyne med ett kors efter ett hörn.
Hörnet, Belgien. Förföljd av Mattia De Sciglio.
Eden Hazard (Belgien) vinner en frispark i anfallshalvan.
Foul av Emanuele Giaccerini (Italien).
Hörnet, Belgien. Sammankallad av Graziano Pellè.
Försök blockerat. Dries Mertens (Belgien) höger fotade skott utanför lådan är blockerad. Hjälpt av Marouane Fellaini.
Försök blockerat. Kevin De Bruyne (Belgien) höger fotade skott utanför lådan är blockerad. Hjälpt av Eden Hazard.
Försök blockerat. Dries Mertens (Belgien) höger fotade skott utanför lådan är blockerad. Hjälpt av Eden Hazard.
Thomas Vermaelen (Belgien) vinner en frispark i den defensiva halvan.
Foul av Ciro Immobile (Italien).
Ersättning, Italien. Thiago Motta ersätter Daniele De Rossi.
Leonardo Bonucci (Italien) visas det gula kortet för en dålig foul.
Divock Origi (Belgien) vinner en frispark i anfallshalvan.
Foul av Leonardo Bonucci (Italien).
Försök blockerat. Axel Witsel (Belgien) vänster fotade skott utanför lådan är blockerad.
Substitution, Belgien. Yannick Carrasco ersätter Laurent Ciman.
Ersättning, Italien. Ciro Immobile ersätter Éder.
Éder (Italien) visas det gula kortet för en dålig foul.
Dries Mertens (Belgien) vinner en frispark i den defensiva halvan.
Foul av Éder (Italien).
Hörnet, Italien. Förföljd av Laurent Ciman.
Försök blockerat. Emanuele Giaccerini (Italien) höger fotade skott utanför lådan är blockerad. Hjälpt av Marco Parolo.
Substitution, Belgien. Divock Origi ersätter Romalu Lukaku.
Foul av Dries Mertens (Belgien).
Emanuele Giaccerini och Graziano Pelle gjorde mål när Italien började sin Euro 2016 kampanj med seger över mycket välrenommerade Belgien i Lyon.