Di sản đô thị được tạo ra bởi những nhân tố gắn với quá trình lịch sử, những kiến trúc đặc trưng cho từng giai đoạn phát triển, những thành phần đã ổn định của cấu trúc và không gian đô thị, những dấu tích và cảnh quan đã gắn bó và ăn sâu vào tâm thức cộng đồng cư dân và cả những du khách viếng thăm thành phố. Tòa nhà dinh Thượng Thơ có đầy đủ các yếu tố này dù chưa được công nhận là di tích.