Lord Advocate sade att han hade informerat förste minister Nicola Sturgeon om sin avsikt att sluta tjänsten efter fem år i tjänsten.
Han sade att det hade varit ett "verkligt privilegium" att leda åklagarmyndigheten i Skottland och att ge juridisk rådgivning till den skotska regeringen.
Advokaten tillade att det var dags att "gå ner och göra andra saker".
I ett uttalande sade Mulholland: " På senare år har kronan inbäddat specialiseringar i sitt sätt att utföra sitt arbete.
– Vår expertis när det gäller att hantera brott som våldtäkt, misshandel i hemmet, grov organiserad brottslighet, terrorismbekämpning och kalla fall har hjälpt oss att bli en av de mest effektiva åklagarmyndigheterna i världen och gett offren större förtroende för att anmäla brott.
"Det har varit en ära att arbeta med så många engagerade och begåvade människor för att skipa rättvisa i några av de mest krävande och utmanande fallen."
Nicola Sturgeon beskrev Mulholland som "en framstående generaladvokat".
I ett uttalande sade hon att han hade utfört sin roll med "dedikation, energi, integritet och intellekt".
Hon belyste hans arbete med att leda Skottlands första framgångsrika mordåtal mot Worlds End-mördaren Angus Sinclair.
Den förste ministern lovordade också sin roll i inrättandet av en nationell enhet för sexuella brott och utnämningen av Skottlands första specialiståklagare för att hantera våld i hemmet.
"Det är tydligt att han har arbetat för att åstadkomma förändring för att se till att systemet gör en verklig skillnad för människors liv, och hans engagemang för lagen och hans medkänsla för andra har legat bakom denna drivkraft", tillade hon.
"Frank har lämnat ett betydande bidrag till lagen och det skotska samhället."
Mulholland tjänstgjorde som generalsolicitor fram till 2011 då han efterträdde Dame Elish Angiolini som Lord Advocate.
Han har fått kritik under sin tid, framför allt över kronans beslut att inte anmäla lastbilskraschen i Glasgow bin.
Familjerna till några av offren för tragedin 2014 ägnar sig nu åt ett privat åtal mot föraren.
Det är underförstått att han formellt avgår när hans efterträdare utses av drottningen.
Skottlands främsta jurist, Frank Mulholland, kommer att avgå efter det skotska parlamentsvalet i maj.