Men tack vare kontroversen kring gåvorna till David Cameron från hans mor, är IHT nu under politiskt fokus.
Bara 40100 familjer - det är cirka 8% av egendomar - kommer att betala någon IHT alls 2016/17, enligt Byrån för budgetansvar (OBR).
Tack vare stigande bostadspriser kommer det antalet att stiga under de närmaste åren, men mycket långsammare än vad som ursprungligen förväntades.
Det beror på att kanslern, George Osborne, äntligen har kunnat göra förändringar i IHT - förändringar som blockerades av liberaldemokraterna under åren av koalitionsregering.
Så hur fungerar IHT - och vilka reformer är redan på gång?
Om du överför egendom, eller något annat av penningvärde, till dina ättlingar, kommer du att betala IHT, men bara om det totala värdet överstiger 325.000 pund 2016/17.
Allt över detta belopp kommer att beskattas med 40 procent.
Eftersom gifta eller civila partner kan överföra tillgångar utan skatt mellan varandra, ärver den ena partnern automatiskt den andras ersättning.
Så i praktiken fördubblas IHT-ersättningen ofta till 650 000 pund.
Med andra ord, om en far ger rikedom till en mor, som senare också dör, kan hon föra vidare upp till 650 000 pund utan att behöva betala IHT.
Från och med april 2017 kommer regeringen att införa en ny transferable Main Residence Allowance (TMRA) för att hjälpa människor att överföra egendom till sina ättlingar.
Inledningsvis kommer detta att uppgå till 100 000 pund, vilket kommer att öka till 175 000 pund fram till 2020/21.
När den läggs till IHT-tröskeln på 325.000 pund, kommer den att göra det möjligt för varje individ att föra över 425 000 pund utan att betala skatt - eller 850.000 pund per par.
År 2021 kommer den skattefria gränsen att vara 500 000 pund vardera, eller 1 miljon pund för gifta eller civila partner.
Ytterligare detaljer om TMRA finns här
Även om en förälder sätter upp ett förtroende till förmån för ett barn, är arvsskatt fortfarande betalas. I de flesta fall kommer IHT att debiteras 20 % på pengar eller egendom när det går in i trusten, om det överskrider IHT-tillägget.
Om föräldern avlider inom sju år debiteras ytterligare 20 %, vilket motsvarar 40 % av den icke-tillförlitliga räntan.
Dessutom omvärderas tillgångar inom en trust oftast vart tionde år, för att ta hänsyn till exempelvis ändrade fastighetsvärderingar.
Enligt gällande regler kan du överföra pengar, egendom eller ägodelar utan att betala någon skatt, så länge du överlever i sju år efter att ha gett dem till mottagaren.
Om du dör inom sjuårsperioden, och du ger mer än bidrag, finns det ett nedsänkt system. Om du dör sex år efter gåvan, till exempel, kommer du bara att betala 8% IHT. Se tabellen nedan.
Dessutom kan du ge upp till 250 pund per år till så många människor som du vill utan att betala skatt.
Vanligtvis är det egendomen som är ansvarig för IHT. Men om du är mottagare av en gåva, och givaren har dött inom 7 år, och redan har gett bort mer än £ 325.000, kan du vara skyldig att betala IHT själv.
Mer information om gåvor
Vem som helst kan ge bort upp till 3 000 pund om året, och betala ingen skatt. Detta kallas det årliga undantaget. Om detta bidrag inte utnyttjas kan det överföras till följande år, dock högst 6 000 pund.
Dessutom, om du kan visa att gåvan finansierades ur inkomst - i motsats till sparande - kommer du inte att betala IHT. Men du kanske måste bevisa att den avlidnes levnadsstandard inte sänktes till följd av detta.
Reglerna om bröllop - eller civilt partnerskap - gåvor är annorlunda igen. Förutsatt att gåvorna ges vid tiden för bröllopet, finns det traktamenten enligt följande:
Mycket få människor betalar arvsskatt (IHT) och det ger relativt lite pengar till statskassan.