相傳為晉代東方名僧慧遠採擷花卉、草藥處。這兒四時花開，猶如錦繡，故名。北宋文學家王安石詩云：“還家一笑即芳晨，好與名山作主人。邂逅五湖乘興往，相邀錦繡谷中春。”據説是他遊覽即興之作。沿錦繡谷傍絕壁懸崖修築的石級便道遊覽，可謂“路盤松頂上，穿雲破霧出。天風拂衣襟，縹緲一身輕。”谷中千岩競秀，萬壑回縈；斷崖天成，石林挺秀，峭壁峰壑如雄獅長嘯，如猛虎躍澗，似捷猿攀登，似仙翁盤坐，栩栩如生。一路景色如錦繡畫卷，令人陶醉。