Tait, som fick en medalj tillsammans med Kate Hornsey i kvinnoparet, fick diagnosen livmoderhalscancer 2013.
Australiska Rowing huvudtränare Chris O'Brien sade: " Sarah har varit, och kommer att fortsätta att vara, en inspiration för många australiska roddare.
"Hon var en stark förebild för unga idrottare, och särskilt inflytelserik med våra framväxande kvinnliga idrottare."
Tait och Hornsey slutade bakom Heather Stanning i Storbritannien och Helen Glover i 2012 års parfinal, som var GB:s första guld i London 2012.
Glover blev vän med Tait efter finalen och berättade för BBC World Service att hon var en "otrolig personlighet".
Hon tillade: " För att uppnå så mycket i hennes alltför korta liv - två vackra barn, en man, en olympisk silvermedalj, fortsätter listan.
"Bortsett från allt detta var hon en inspirerande och verkligt härlig person som har banat väg för kvinnor inom idrotten hemma i Australien och över hela världen."
Australisk roddare Sarah Tait, som vann silver vid OS i London 2012, har dött i åldern 33 år.