Născut în satul Theuley-les-Lavoncourt, în estul Franţei, pe data de 14 octombrie 1783, Rimet a fost fiul unui băcan cu venituri modeste.
Lindur në fshatin e vogël Thëlej-les-Lavonkur në Francën lindore më 14 tetor 1873, Rime ishte djali i një tregtari me atë ardhura modeste.