綠島舊名雞心嶼、青仔嶼與火燒島等，阿美族稱為Sanasai，西方人則稱之Samasana。火燒島舊名眾說紛紜，以清朝嘉慶年間大火焚燒島嶼之說最為大眾採信。1937年設火燒島庄，屬台東廳台東郡管轄。戰後火燒島設鄉，歸屬於台東縣管轄，於1948年改名為「綠島」，延用至今。
據歷史記載，綠島最早為達悟族、阿美族等原住民居地。清嘉慶18年小琉球（今琉球鄉）漢人漁民曾勝開等因風浪漂至火燒島，於阿眉山下的海濱建一住屋稱為公館，著手開墾，並招小琉球家眷及民眾前來，因來者日眾，故在中寮灣岸建一聚落，名曰「中寮」。清道光30年，東港漁民陳必先等餘人，在行船歸途中遭遇颱風，漂流至綠島，大嘆綠島之美，一年後便率人前來定居開墾，最早於柚子湖、溫泉一帶居住，後來移民漸增。今日綠島之公館村、南寮村、中寮村、溫泉村等村落由來如此。
海洋為綠島築起天然城牆，使綠島成為設置監獄的最佳地點。日治時代（1911年）日本人就在島上建立了「火燒島浮浪人收容所」，這是島上的第一所監獄；中華民國政府在綠島建設的第一座監獄於民國59年籌備，民國61年完工啟用，收容台灣各監獄移禁頑劣、誣控濫告、最難以管教，甚至無法管教之收容人，係屬高度管理隔離監。因此，綠島監獄謂台灣各監獄的最後一道防線，除有助他監順利推行矯治業務外，對國內治安、社會安寧實有莫大的貢獻。同時由於所關皆為重刑犯，如一清專案、治平專案的「大哥」級人物，因而充滿神秘色彩，中外人士常遠道慕名而來，一睹其真面目。
長久以來在島上建立的各式監獄，加深了國人對綠島的刻板印象，使得綠島承載汙名之冤。所幸，因綠島得天獨厚的生態環境、特殊的歷史背景與人文景觀，如今已成功轉型為台灣著名觀光區域，每年有為數眾多的遊客前往綠島旅遊，綠島遂成為東臺灣重要的觀光小島。
綠島人權文化園區位於綠島鄉公館村將軍岩前方，占地極廣，涵蓋人權紀念碑公園、綠洲山莊等。其中綠洲山莊為白色恐怖時期專用以囚禁政治犯和思想犯之處，保留了昔日的高聳圍牆、鐵絲網、操場、禮堂和八卦樓。在綠洲山莊右前方的洞口名為鬼門關，原是過去進入綠洲山莊必經之處，過了鬼門關後即是綠洲山莊，意味著生還機會渺茫。綠洲山莊內展示許多白色恐怖時期相關史料，窄小的監獄、幽暗沉重的氛圍籠罩，即使在多年後的現在，那份沉重仍然在其中揮之不去。
人權紀念碑象徵著新時代免於恐懼、追求自由的意念，特別選在1999年國際人權日動工，又稱「綠島垂淚碑」，螺旋狀的結構，使下雨時雨水由兩旁的集水渠彙集流入中心點，就像是流淚般。在旁邊碑文名為「垂淚碑」，上面有著名作家柏楊所題的碑文：「在那個時代，有多少母親，為她們被囚禁在這個島上的孩子，長夜哭泣。」短短28個字卻道盡了時代的苦難。