32-åringen gjorde det sista av sina 63 Test framträdanden i 16-12 seger över Italien i Turin förra månaden.
Hamilton gjorde sin skotska debut mot Rumänien i november 2006.
"Jag har älskat varje ögonblick av att bära tisteln och känner mig extremt ödmjuk att ha gjort det i nio år," sa Saracens spelaren på Twitter.
"Idag är både en sorglig dag och en dag som jag känner mig oerhört stolt över att ha haft.
"Tack till de skotska supportrarna för att de gjorde det så speciellt."
Hamilton var en av 11 spelare att missa när Cotter klippte sin 42-man träningstrupp till sitt slutliga urval på tisdag.
John Barclay, Blair Cowan, Adam Ashe, Hugh Blake, Chris Cusiter, Alex Dunbar, Rob Harley, Ruaridh Jackson, Duncan Taylor och Greig Tonks utelämnades också.
Skottland öppnar sin VM Pool B-kampanj mot Japan i Gloucester den 23 september.
De möter sedan USA i Leeds innan de träffar Sydafrika och sedan Samoa i Newcastle.
Scotland lock Jim Hamilton har meddelat sin pension från internationell rugby efter att han lämnades utanför Vern Cotter s VM trupp.