Chartoffs döttrar bekräftade att han dog hemma i Santa Monica omgiven av sin familj. Han hade pankreascancer.
"Han var en fantastisk far och person", sade Julie Chartoff och tillade: "Det finns inga ord."
Han vann den bästa bilden Oscar för den första Rocky filmen 1977, som skrevs av dess stjärna Sylvester Stallone.
Producenten delade Oscarn - en av tre för 1976 års film - med partnern Irwin Winkler.
De båda fortsatte att producera alla sju Rocky filmer, inklusive den kommande filmen Creed, som för närvarande är i efterproduktion.
Chartoff nominerades också till en Oscar 1981 för Raging Bull, Martin Scorseses mörkare ta på sporten, som spelade Robert De Niro som boxare Jake La Motta.
Han producerade filmer i slutet av 70-talet och början av 80-talet, inklusive 2014 års Gambler med Mark Wahlberg och 2013 års Enders Game med Harrison Ford.
Han jobbade också på Jane Fondas De skjuter hästar, eller hur? 1983 film The Right Stuff, som vann fyra Oscars.
Chartoff och Winkler - som arbetade tillsammans fram till 1985 - övertygade United Artists att göra Rocky för mindre än 1 miljon dollar (646 000 pund), efter Stallone insisterade på att spela huvudrollen, enligt Variety.
Filmen fortsatte att tjäna 10 Oscar nomineringar och tar mer än $ 200m (129m).
Chartoff överlever av tredje hustrun Jenny Weyman och hans fem barn.
Oscarsvinnande producent Robert Chartoff, som låg efter hitboxningsfilmer som Rocky-serien och Raging Bull, har dött i Kalifornien, 81 år.