Rođen 14. listopada 1873. u malom selu Theuley-les-Lavoncourt na istoku Francuske, Rimet je bio sin skromnog trgovca namirnicama.
Născut în satul Theuley-les-Lavoncourt, în estul Franţei, pe data de 14 octombrie 1783, Rimet a fost fiul unui băcan cu venituri modeste.