44-åringen hade varit chef på Rugby Park sedan februari 2016, då han ersatte Gary Locke.
Han höll Killie i Premiership förra säsongen och lämnar dem på sjätte plats.
Chris Brass, 41, hade meddelats i december som huvudtränare på Bury till slutet av säsongen efter David Flitcroft avfyrades.
"Lee är någon som jag har följt genom sin spel-och chefskarriär," sade Shakers ordförande Stewart Day.
"Jag tror fullt och fast att Lee är rätt man och han har en entusiasm och passionerad önskan att föra denna klubb framåt. Jag var överväldigad av hans kunskap om klubben och de kontakter han har i spelet och hur han tror på vad vi kan uppnå tillsammans."
Tidigare Huddersfield, Birmingham och Blackpool boss Clark tar hand om en Bury sida satt i nedflyttningszonen i den tredje nivån och kommer att vara på sidan för matchen mot Chesterfield på lördag.
Assistent Lee McCulloch blir tillförordnad chef för Kilmarnock, med Peter Leven som nummer 2. McCulloch kommer sannolikt att erbjudas tjänsten fram till slutet av säsongen.
Clark, en före detta midfielder vid Newcastle, Fulham och Sunderland, vann 10 av sina 44 matcher i Kilmarnock.
"Jag har haft ett underbart år som Kilmarnock manager", berättade han klubbens hemsida. "Klubben och fansen har behandlat mig och min familj fantastiskt – vi är i en bra position med en stark och lojal trupp och personal.
– Regissörerna har gett mig sitt fulla stöd för att återuppbygga truppen och fansen kommer alltid att ha en speciell plats i mitt hjärta, men jag har fortfarande en enorm ambition att en dag lyckas på högsta nivå i England, vilket uppenbarligen är Premier League.
"Jag känner att den nya utmaningen med att leda en klubb i Englands League Man kan ge mig plattformen att bygga mot detta mål."
Lee Clark har lämnat Kilmarnock för att bli chef på League Ena sidan Bury, efter att de kommit överens om ett kompensationspaket med den skotska premiärministerns sida.