Precedentemente, nello stesso sito, insisteva una struttura difensiva quadrilatera con quattro torri d'angolo a pianta circolare, di attribuzione bizantina, per la serie di monete coniate a Bisanzio e reperite all'interno delle mura di trincea sottostanti alle alzate normanne.
Il recupero negli scavi archeologici di un tarì aureo con legenda cufica di Gisulfo I e di monete degli imperatori d'Oriente dal IX all'XI secolo confermano questa realtà storica.
L'importanza strategica del sito era rilevante, al centro di un sistema viario che realizzava i tragitti più brevi e più comodi da Bari verso i Centri Urbani più importanti dell'intera Area, quali Salerno e Matera, grazie alla cosiddetta "Via Vecchia Altamura" o "Via delle Murge o delle Crociate".
Un impegno economico così rilevante poteva essere sostenuto da un unico altro soggetto diverso da Federico II: un ordine cavalleresco".