Charles-Édouard Brown nacque a Port Louis, nella Repubblica di Mauritius, negli anni in cui l'isola passò dal dominio francese a quello inglese. La madre, Henriette Charlotte Pelerine Séquard, nativa dell'Isola di Reunione, sposò un capitano di ventura americano, ma di origini irlandesi, Edward Brown.