Filha de pai italiano e mãe húngara, nasceu em família que cultivava o gosto pelas modinhas e recebia a sociedade carioca do início do século XX com festas na chácara do bairro da Gávea, no Rio de Janeiro. Pianista, Lydia herdou da mãe, Celestina Wamosy de Macedo, o talento e o gosto musical. Casou-se aos 16 anos com Clodoaldo Pereira da Silva de Moraes, com quem teve quatro filhos, dentre os quais Vinicius de Moraes, que, segundo a lenda familiar, “aprendeu a cantar antes de falar”.