袁天罡是四川人。父親袁璣，任梁州司倉，祖父袁嵩，周朝時先後擔任犍為地區浦陽、蒲江二郡的郡守和車騎將軍。曾祖袁達，梁朝時做過江、黃二州的刺使，周朝時連續擔任過天水、懷仁二郡的郡守。袁天罡是在孤獨與貧窮中度過他的少年時代。他喜歡作學問和學習技藝，精通相術。唐高祖武德年間擔任過火井令。唐太宗貞觀六年任期屆滿來到京城長安。太宗召見袁天罡。對他說：“巴蜀古時候有個嚴君平擅長占卜，我現在有你，你自己看怎麼樣？”袁天罡回答說：“嚴君平生不逢時，我遇到了聖明的皇上，我應該勝過他。”
隋煬帝大業末年，竇軌寄居在劍南德陽縣，跟袁天罡住在一起。竇軌當時的境遇困苦不堪，於是，讓袁天罡給他看看面相，預卜一下未來的命運。袁天罡說：“你前額到髮際骨骼隆起，一直連到腦後的玉枕處，你的下巴渾圓肥大。今後十年之內，你一定會富貴的，成為朝廷的賢臣良將。你的右側下巴隆起，而且明潔光亮，應當以梁、益二州為分界線，樹立顯赫的功名。”竇軌說：“如果真像你說的那樣，不敢忘你的大德。”開始，竇軌官任益州行台僕射，到任後，召請袁天罡，對他說：“從前你我在德陽縣相見，怎麼能忘啊！”說完，深施一禮，又請袁天罡為自己相面。袁天罡望了他許久，說：“你的面相和過去沒有什麼不同，然而眼睛色紅連著瞳人，說話浮躁，面色赤紅，做了武將怕是要多殺人的啊，但願你要警戒自己。”
唐高祖武德九年，竇軌被召前往京城。臨行前，他問袁天罡，說：“我這次應召進京，還能得什麼官？”袁天罡回答說：“看你臉，面上佳人，坐位不動，下巴右側有光澤，看來是又有好消息等著你。到了京城一定會得到皇上的恩遇，還將回到本地任職。”這一年竇軌果然被授於益州都督，重新回到益州。
袁天罡初到洛陽時，在清化坊安頓下來，無論是朝廷中的高官顯貴，還是民間的各等人士都往他那裡跑，家中常常聚滿了人。當時，杜淹、王珪、韋挺三個人來見袁天罡，請他給看相。袁天罡對杜淹說：“這位官人，鼻子的左側飽滿分明，臉盤寬闊。”對王珪說：“這位官人從鼻翼經嘴角的兩條縱理紋清晰，而且天庭與地閣直臨。從現在算起，十年之內，一定能榮任五品的顯要官職。”對韋挺說：“這位官人臉像大獸的臉。文角清晰，一定會得到貴人的提攜。剛開始時任武官。”又對杜淹說：“二十年以後，恐怕三位賢士要同時被責罰貶黜，但是暫時的，很快又會被召回恢復官職的。”
不久，杜淹升遷侍御史。唐高祖武德年間，又任天策府兵曹文字館學士。王珪任隱太子中允。韋挺在隋朝末年由隱太子李世民引薦做了率更。武德六年三人都被發配，流放到雋州。杜淹三人經過益州時，見了袁天罡哭泣著說：“袁公從前在洛陽說的話全都像神明的預示啊！今天的情況如此，再給我們看一看相吧。”袁天罡說：“各位的骨法，大大勝過以往，不久就會回來的，最終必定能享受榮華富貴的。”
武德九年六月，三人都被召回京城。回來時，又經過益州，三人造訪了袁天罡。袁天罡說：“杜公到京城，就能得到三品要職。年壽我就不知道了。王、韋二公，在這以後應該到得三品官，又都能長壽，但到了晚年在仕途上不能有太大的發展了。韋公可能更明顯一些。”杜淹到了京城，就被授予御史大夫，檢校吏部尚書。王珪不久任侍中，出任同州刺史。韋挺擔任了好幾年蒙州刺史，並且病死在任上。這一切全都和袁天罡當年所說的一樣。
唐太宗貞觀年間，皇帝下詔書令袁天罡到九成宮，當時中書舍人岑文本讓袁天罡給看相。袁天罡說：“舍人的臉面寬大，眼眉又長過眼睛，你的文才可在海內名聲大振。但是你頭有生骨，不可能有太大的成就。從後面看完全沒有得到三品官的命相，從前面看可以得到三品官。但是你四肢虛弱，骨與肉不相稱，如果得到三品位，恐怕是折壽的徵兆。”後來，岑文本升任中書令後，不久就死了。
房玄齡與李審素一同來見袁天罡。房玄齡說：“審素恃才傲物，你先給他看相，看他能得個什麼官？”袁天罡說：“五品看不出來。如果是六品以下比較重要的官職還有可能。”李審素不再問他自己的事，說：“看看房公能得個什麼官？”袁天罡說：“這位官人大富大貴，你要想得到五品官職就求他吧。”李審素不信袁天罡的話。後來，房玄齡任宰相，李審素任起居舍人，死在任上。唐高宗聽說了袁天罡給房玄齡看相時說過的這些話後，讓房玄齡贈封給袁天罡五品官職，房玄齡奏請聖上贈封他為諫議大夫。申國公高士廉對袁天罡說：“你今後還能得到什麼官職？”袁天罡說：“我知道我的官運已經到頭了，不會再有了。恐怕我今年四月要有大難。”果然，四月還沒過完，袁天罡就去世了。