Όσοι ζητούν την αντικατάστασή του φοβούνται το ρόλο που είχε κάποτε ως μουσείο προς τιμή του τέως σταλινιστή δικτάτορα Ενβέρ Χότζα.
Oni koji se zalažu za to da novi objekat nikne na mestu piramide kao razlog navode činjenicu da je svojevremeno bila i muzej u čast pokojnog staljinističkog diktatora Envera Hodže.