Vào thời Lý, vua Lý Thần Tông (1128-1138) cho lập ở vị trí này một cung điện mang tên cung Từ Hoa để công chúa Từ Hoa cùng các cung nữ trồng dâu, nuôi tằm, dệt vải nằm bên trong khu vực có tên là Trại Tằm Tang. Khi công chúa qua đời, trên nền cũ của cung điện dựng lên một ngôi chùa.