街の中でもいかがわしい地区として知られていた。そのようなことは言えなかった。するというのも、慣れないことで、不安もあった。フランスでは公式の愛人がいたが、ウィーンでは非公式だった。彼女は、委員を送り出し、多くのドアをノックした。結婚していない者同士がベッドにいる場合、厳しい罰則があった。女運が悪いのが長かった。可愛らしく、彼は彼女をとても愛していた。優しい言葉を交わしていたかもしれないからだ。第2子の出産時にイザベラが子供と一緒に亡くなった時、ジョセフはやりきれない気持ちになった。長女を若くして亡くし、再び女性と幸せになることをあきらめた。母親の強い希望で、従姉妹のバイエルン公マリア・ヨゼファと2度目の結婚をした。短い結婚生活の中で、子供は生まれなかった。ヨセフが結婚を望まなかった時もありました。その代わり、シュピッテルベルクで娼婦を相手に欲求を満たしていた。パブには、それを裏付けるような碑文がある。皇帝ヨーゼフ2世は、ウィーンに売春宿を導入しようという提案に対し、「何が売春宿だ」と言ったと言われている。ウィーン全土に大きな屋根を作ってもらえば、売春宿は完成する。何人もの隠し子がいたことはよく知られている。