Hans karriär hög kom på 1970-talet och inkluderade den anthemiska Baker Street och Stuck i mitten med You, inspelade med sitt band Stealers Wheel.
Rafferty hade kämpat en drink problem och tillbringade tid på sjukhus i Bournemouth med leversvikt.
Han föddes i Paisley och började sin musikaliska karriär som busker på London Underground.
Rafferty dog fridfullt i sitt hem i Dorset, med sin dotter Martha vid sin säng.
Det är förstått att hans begravning kommer att hållas i Paisley senare denna månad.
Rafferty hade spelat in och turnerat med Billy Connolly som en del av Humblebums, innan han bildade Stealers Wheel med sin vän Joe Egan 1972.
Stuck in the Middle with You var en hit i början av 70-talet och dök också upp på soundtrack av Quentin Tarantinos debutfilm Reservoir Dogs 1992.
Baker Street kartlades i Storbritannien och USA 1978 efter att Rafferty började sin solokarriär och fortfarande uppnår airplay på radiostationer runt om i världen.
Musican Raphael Ravenscroft, som spelade låtens berömda saxofonmelodi, beskrev Rafferty som "en fantastisk författare" som " skrev några av mina favoritlåtar genom tiderna".
I ett uttalande kallade Billy Connolly Rafferty "en enormt begåvad låtskrivare och sångare som kommer att bli mycket saknad".
Han tillade: " Jag hade förmånen att ha tillbringat mina formbara år med att arbeta med Gerry, och det fanns fortfarande ett starkt vänskapsband mellan oss som varade ända till hans förtidiga död.
"Gerry hade extraordinära gåvor och hans förtidiga bortgång berövar världen ett riktigt geni."
Musikjournalist och BBC Radio 2 presentatör Paul Gambaccini sade att det var en grym ironi att Baker Street, om Raffertys olycklighet med att vara en stjärna, gav honom mer av den berömmelse han hatade.
Gambaccini sade: " Han var helt enkelt inte med i konstitutionen för att ta itu med musikbranschen eller respektera den.
"På så sätt fann han berömmelse och konstnärlig framgång oförenliga, och han blev en vandrare, en ensam man, påstås drickare. Och nu har vi detta olyckliga slut."
Musiker och BBC 6 Musik presentatör Tom Robinson sade Rafferty skulle vara mycket saknad.
"Jag är djupt ledsen att höra att Gerry har förlorat kampen med sin dåliga hälsa", sade han.
"Hans tidiga arbete med Stealers Wheel var en inspiration för en hel generation låtskrivare på 70-talet, inklusive mig.
"Många av oss hade hoppats att hans senaste album Life Goes On 2009 skulle leda till en återgång på heltid till att skriva och uppträda för en lyrisk och begåvad konstnär."
BBC News webbplats läsare från hela världen har skickat in sina hyllningar:
Tala inte om mitt hjärta var min favorit. Hans röst var som sammet.  Han lugnade ner mig när jag lyssnade på honom. Jag kan inte fatta att han är borta. Susan Miller, Kilmaurs, Ayrshire, Skottland
Har följt hans utsläpp från Stealers Wheel till närvarande. Han skrev vackra låtar och han och Joe Egan, som tyvärr inte fick samma erkännande, har gett mig några fantastiska musikaliska minnen. George Morris, Donaghadee, County Down, Nordirland
Som muso själv älskade jag arrangemanget av den hemsökande Baker Street och spelade ofta Stuck In The Middle With You med ett band som jag var en del av på 80- och 90-talet i England. Båda låtarna spelas ofta på Nya Zeelands radiostationer. Gerry kommer att saknas. Tony Last, Hastings, Nya Zeeland
Min första LP var Can I Have my Money Back, som jag fortfarande har. Min favoritlåt är Arken från City till City med Jerry Donahue på gitarr. Han skrev om livet självt, saker man kan relatera till. Han förde in musikalisk kvalitet i livet ibland när det inte fanns så mycket runt omkring. Keith Dhan-Weller, Nuertingen, Tyskland
Baker Street är nog min favoritlåt. Jag är låtskrivare och lär ut kreativt skrivande. Baker Street handlar om Gerrys egen erfarenhet av musikindustrin men han skrev texten i tredje person. Detta gör historien mer intressant och sorgsen. Låten fungerar på så många olika nivåer. Musikalt och lyriskt. Richard Abbott, Limavady, Nordirland
Jag var en ung radioproducent med BBC Scotland i slutet av 1960-talet när ett par pojkar kom in till Queen Margaret Drive för att delta i vissa program. De var Humblebums, och de gjorde lysande musik. Repetitioner lockade alla möjliga ursäkter från personalen att avstå från sina skrivbord för att gå och lyssna i studion båset. Föga anade vi... Alan Muirhead, Kirkby Lonsdale, Cumbria, England.
Min äldsta dotter gick i skolan med sin dotter Martha när Gerry bodde i Kilmacolm. Min man och jag var stora fans av hans musik och låtar och är ledsna att höra om hans död. Rita Walker, Greenock, Skottland
Gerry Rafferty hade djup bortom sina två bästsäljande singlar. En begåvad och öppensinnad musiker som stöttade andra talanger - han kommer att missas. Alastair, Northampton, England
Den skotske sångerskan Gerry Rafferty har avlidit vid 63 års ålder efter en lång sjukdom.