Nel 1852 pose fine alle sue prestazioni lavorative presso la Glasgow Eye Infirmary, ma solo nel 1862 abbandonò definitivamente le lezioni. Nel 1854 fu celebrato il secondo dei suoi matrimoni con la trentacinquenne Sophia Napier, da cui nacque William James.