Baillie, figlio del Prof. Rev. James Baillie e di Dorothea Hunter, è nato nel 1761 a Shotts Manse nel Lanarkshire. Sua sorella era la poetessa Joanna Baillie. Baillie è stato pupillo dello zio, il famoso anatomico John Hunter, e del suocero, Thomas Denman, un preminente ostetrico di Londra al volgere del XIX secolo, il cui trattato sulla nascita dei bambini era stato pubblicato nel 1788.