參觀完鬼島大洞窟之後，搭下山的巴士可以要求在山腳下就下車，從這裡慢慢步行為港邊，一路逛遍市區的景點，而在這個上坡路上就有做鬼的石像，象徵再往上走就是鬼怪的聚集地。
有趣的是就在山腳邊，有座規模不小的住吉神社，相傳建於14到16世紀的室町時代，外觀看來就很有莊嚴的古意。
爬上階梯穿越鳥居，回頭就可以看到遠方的海景，是個風景頗不錯的神社。
遊客好像很少上來這個神社參拜，入口處的手水舍裡沒有水。
住吉神社是以航海守護神住吉三神為祭神，在小島上的海港邊幾乎都設有住吉神社，遊客來這裡也可以一併祈求旅途平安。
神社的本殿旁有個小舞台，可能是和祭典有關，住吉神社每2年會舉行一次住吉神社大祭，是在西元的奇數年8月舉行，是用傳統方式舉辦的祭典。
本殿的後方還有狛犬和一座小神社，在神社簡單參拜之後，就要去繼續參觀女木島的其他藝術景點了。