Fly-halv Billy Burns var Premiership sidans hjälte, poäng alla 16 av sina poäng innan de motsatte sig en stridande comeback från det franska laget.
Burns avlyssnade och körde längden på fältet för öppningen försök efter en jämn första halv hade avslutat 6-6.
Värdarna slog tillbaka genom Damien Lagrange men hans försök var oomvänt.
Cherry och Whites kommer att möta antingen Stade Francais eller lokala rivaler Bath - som träffas i Paris på söndag - i finalen i Edinburgh fredagen den 12 maj.
Besegra för La Rochelle var den franska topp 14 ledare "första hemma den här säsongen.
Gloucester, 2014-15 vinnare, var aldrig efter i matchen, tar en sex-punkts ledning tidigt genom Burns "boot innan värdarna slog tillbaka till nivå innan pausen, och sedan försvaras beslutsamt i slutskedet.
Scotland kapten Greig Laidlaw gjorde sin återkomst från skada från ersättnings bänken för Cherry och Whites, som inte har varit med sedan plocka upp en fotled skada under Six Nations.
Gloucester chef för rugby David Humphreys:
"Den ansträngning spelarna satte in där ute var otroligt. Vi visade karaktär och anda mot ett otroligt bra team.
"Jag är glad för alla på klubben. Så mycket av vad vi planerade att göra kom av, särskilt under de första 30 minuterna, och vi hängde i där när spelet fortsatte.
"Att försvara sättet vi gjorde mot ett otroligt fysiskt team var verkligen glädjande och jag är glad att komma tillbaka till en annan europeisk final."
La Rochelle: Murimurivalu; Lacroix, Jordaan, Aguillon, Rattez; James, Januarie; Pelo, Mauruard, Atonio (kapt), Nailiko, Tanguy, Sazy, Veivuke, Gourdon.
Ersättningar: Seneca, Corbel, Boughanmi, Cedaro, Lagrange, Retiere, Bales, Rawaca.
Gloucester: Marshall; maj, Trinder, Atkinson, Halaiponua; Burns, Heinz (kapt); Hohneck, Hibbard, Afoa, Savage, Thrush, Moriarty, Rowan, Morgan.
Ersättningar: Matu'u, McAllister, Thomas, Galarza, Ludlow, Laidlaw, Tolvträd, Sharples.
För de senaste rugby facket nyheter följa @bbcrugbyunion på Twitter.
Gloucester nådde sin andra European Challenge Cup final i tre säsonger som de höll på att vinna en absorberande semifinal på La Rochelle.