Auch munkelte man, er wäre der Geliebte der Königin Marie-Antoinette gewesen, der Nachfolger des Herrn von Coigny und der Vorgänger des Herzogs von Lauzun. Er hatte ein wüstes Leben hinter sich, voller Zweikämpfe, toller Wetten und Frauengeschichten.
Ugy beszélték, hogy Laverdière herczeg szeretője volt Mária-Antoinette királynénak, Coigny után és Lauzun előtt. Fiatalkorában, s későbbi éveiben is, nagyon kicsapongó életmódot folytatott; élete folyása csupa párbajból, szöktetésből és vakmerő fogadásból állott, elverte az egész vagyonát s valóságos réme volt egész családjának.