Polisen sa att den äldre mannen sågs i vattnet vid Leith vid 22:00 på onsdag.
Han fördes till Edinburgh med ambulans för behandling, men dog senare.
En talesman för polisen i Skottland sade att undersökningar om omständigheterna kring denna händelse pågick.
En man har dött efter att ha dragits ur vattnet nära Royal Yacht Britannia vid Ocean Terminal i Edinburgh.