Його жінки, вийшли заміж у клані Тагора, за тодішніми звичаєвими правилами, й жили в навколишніх селах Східної Бенгалії. Мати Рабіндранат Тагора — Сарада Деві (1830—1875 роки), померла в молодому віці, коли Тагору було лише 14 років.