Născut în satul Theuley-les-Lavoncourt, în estul Franţei, pe data de 14 octombrie 1783, Rimet a fost fiul unui băcan cu venituri modeste.
Rođen u malom selu Telej le Lavonkur u istočnoj Francuskoj 14. oktobra 1873, Rime je bio sin skromnog piljara.