McKelvie sa att han gick efter att ha fått veta att han kan krävas som vittne under utredningens undersökningar.
Hans information hade lett till Labour MP Tom Watson väcker oro över huruvida en minister hade kopplingar till en tidigare pedofil ring.
Senare rapporterades det att polisen inte hade funnit några bevis för ett sådant påstående.
IICSA-utredningen, som drivs av pedofiler som opererar i Westminster på 1980-talet, kommer att undersöka om "statliga och icke-statliga institutioner har misslyckats i sin omsorgsplikt för att skydda barn från sexuella övergrepp och exploatering" i England och Wales.
McKelvie sade att han "avstod" från att avgå efter att ha "vägrats om att jag sannolikt kommer att krävas som vittne i utredningens undersökningar, och att utredningen kan behöva undersöka mitt arbete med att driva på anklagelser om [barnmisshandel]".
Domare Lowell Goddard, som leder IICSA, tackade McKelvie för hans arbete i rådgivande panelen för offer och överlevande.
Hon tillade: " Jag skulle också vilja ta tillfället i akt att betona att anklagelser om sexuella övergrepp mot barn med anknytning till Westminster bara är en del av utredningens arbete.
"Som jag sade i mitt inledningsanförande sträcker sig undersökningens mandat mycket längre än så och omfattar alla institutioner inom England och Wales. Detta viktiga arbete fortsätter."
BBC rapporterade på torsdag att e-postmeddelanden som grävts fram av BBC: s Panorama-program visade att detektiver avfärdade de anklagelser som gjordes av Graham Watson i oktober 2012, två månader efter Commons uttalande.
De akter som Graham Watson grundade sitt uttalande på beslagtogs som en del av en undersökning som omfattade McKelvie, i pedofilringen som kretsades kring den äldre socialarbetaren Peter Righton i början av 1990-talet.
Graham Watson informerades om deras innehåll, innan han gjorde sitt uttalande, av McKelvie.
McKelvie har sagt till BBC att han inte gjorde anspråk på Watson att det hade funnits en "Westminster pedofil ring" och påpekade att de polisutredningar som följde på Commons uttalande hade lett till fällande domar för två män som var en del av den ursprungliga pedofil ringen.
Det visade sig också på torsdag att barnmisshandelsoffer har ombetts att på nytt lämna information till utredningen efter att den av misstag raderats.
Online formulär togs bort på grund av en "förändring i vår webbplats adress", Goddard undersökning till historiska missbruk sade på sin webbplats.
Före detta barnskyddsombudet Peter McKelvie har avgått som rådgivare till den oberoende utredningen om sexuella övergrepp mot barn (IICSA), säger utredningen.