Il nome "Pammatone" ha un'origine incerta, da alcuni è fatto risalire al termine, di origine greca, "pamathlon", indicante una palestra di ginnastica. Nella zona dove fu costruito l'ospedale, detta anche "dell'Olivella", si svolgevano infatti le esercitazioni dei balestrieri genovesi, corpo scelto dell'esercito della Repubblica.