L'EMA è nata al termine di oltre sette anni di negoziati tra i governi europei, sostituendo due organismi preesistenti, il CHMP ("Committee for Medicinal Products for Human Use"), formalmente conosciuto come CPMP ("Committee for Proprietary Medicinal Products"), e il CVMP ("Committee for Veterinary Medicinal Products"), entrambi istituiti nel 1977. La sede dell'agenzia era stata stabilita a Londra. A seguito della Brexit, il 20 novembre 2017 si è reso necessario fare la scelta di una nuova sede. La votazione segreta del Consiglio dell'Unione europea si è conclusa col sorteggio di Amsterdam, in seguito a un testa a testa con Milano. Il trasferimento da Londra nei Paesi Bassi è avvenuto a marzo 2019, in una sede provvisoria presso la stazione di Amsterdam Sloterdijk, in attesa che l'edificio definitivo sia pronto (vicino alla stazione Amsterdam RAI). Il governo italiano e il comune di Milano hanno presentato ricorso, ma in data 15 marzo 2018 l'Unione europea ha confermato Amsterdam come sede dell'EMA, a condizione che l'intero processo di trasferimento (e quindi strutture definitive pronte) sia completato entro il mese di novembre del 2019.