Den sa att den skulle ersätta dem med mindre påträngande övervakning.
Men muslimska ledare har uppmanat tillbedjare att fortsätta bojkotta den heliga föreningen för tillfället.
Det förekom dödliga sammandrabbningar efter det att metalldetektorerna sattes upp, vilket palestinierna såg som ett israeliskt försök att hävda kontrollen över platsen.
Israel sade att de var nödvändiga för att förhindra att vapen smugglas in.
Det följde dödandet den 14 juli av två israeliska poliser av israelisk-arabiska beväpnade män, som polisen säger hade gömt sina vapen på kullen platsen känd för judar som Temple Mount och Muslims som Haram al-Sharif.
Den israeliska premiärministerns kontor sade att de statliga säkerhetsorganen hade rekommenderat att ersätta metalldetektorerna med "avancerad teknik och andra medel".
Det sade de nya, ospecificerade, åtgärder, kostar 100m shekel ($28m; Â£21m), skulle införas under de kommande sex månaderna. Fram till dess skulle extra polis sättas in runt platsen, tillade den.
Men den muslimska kropp som övervakar den heliga föreningen, Waqf, uppmanade tillbedjare att hålla sig borta från platsen tills det rådde något annat.
Många palestinier hade vägrat att besöka komplexet så länge metalldetektorerna fanns där och höll böner på gatan utanför Gamla stan istället.
Tom Bateman, BBC Jerusalemkorrespondent
Krisen på denna vördade plats handlade om mycket mer än existensen av portarna i flygplatsstil och elektroniken hos metalldetektorerna själva.
För palestinierna symboliserade deras installation vad de såg som ett försök av Israel att hävda ytterligare kontroll över platsen för deras heliga helgedom i det ockuperade östra Jerusalem - moskén som också fungerar som en kraftfull symbol för deras nationella strävan.
För Israels regering innebar flytten behovet av att säkra vad en minister kallade "den känsligaste platsen på jorden" - judendomens heligaste plats - efter mordet på två israeliska poliser i närheten.
Ledarna kommer inom sina egna valkretsar att ha känt sig pressade att inte ge upp.
Internationella krav på en lösning har ökat trycket på båda sidor - som också handlade om komplicerad intern politik - men det är fortfarande inte klart att denna kris har lösts helt.
Installationen av metalldetektorerna dagen efter att polisen dödades drog arga protester från palestinier och dagar av sammandrabbningar med israeliska säkerhetsstyrkor.
Våldet lämnade fyra palestinier döda i östra Jerusalem och den ockuperade Västbanken, medan tre israeliska civila knivhöggs till döds av en palestinsk som hade sagt att han hämnades israeliska åtgärder på den heliga platsen.
På måndag FN: s Mellanöstern sändebud varnade för "potentiella katastrofala kostnader" även utanför regionen om frågan inte lösts på fredag, när muslimer traditionellt flockas till platsen för böner.
Det spekuleras om att Israel gick med på att ta bort metalldetektorerna i utbyte mot att Jordanien lät Israels ambassadpersonal lämna landet efter ett diplomatiskt dödläge.
Jordanska myndigheter ville ifrågasätta en israelisk säkerhetsvakt som Israel sade sköt ihjäl en jordanier som hade attackerat honom med en skruvmejsel i ett residens bredvid ambassaden. En andra jordanier som dog dödades oavsiktligt av skottlossningen, sade Israel.
Israel sade att vakten hade diplomatisk immunitet och både han och all personal var instängda i ambassaden under försök att hitta en lösning.
I ett telefonsamtal på måndag kväll diskuterade Jordaniens kung Abdullah och Netanyahu krisen kring den heliga platsen och incidenten på ambassaden. Kungen uppmanade mr Netanyahu att ta bort metalldetektorerna. Ungefär samtidigt tillkännagavs det att ambassadpersonalen hade återvänt till Israel.
Jordanien, som har en stor palestinsk befolkning, har en historisk roll som väktare av den heliga platsen i Jerusalem.
Netanyahus kontor sa att ambassadpersonalens återkomst var möjlig tack vare ett nära samarbete med Jordanien.
Templeberget/Haram al-Sharif i Jerusalems gamla stad är heligt för både judar och muslimer. Judarna vördar den som platsen för två bibliska tempel och den heligaste platsen i judendomen. Det är också al-Aqsa moskéförening, den tredje heligaste platsen i Islam.
Området, i östra Jerusalem, har varit ockuperat av Israel sedan kriget i Mellanöstern 1967.
Webbplatsen är enormt politiskt känslig och har under de senaste 50 åren varit föremål för en känslig uppsättning arrangemang - vanligen kallad "status quo" - som styr tillträde, säkerhet och administration.
Enligt arrangemanget ansvarar Israel för säkerheten och ett jordanskt finansierat religiöst förtroende, eller Waqf, sköter den dagliga driften av platsen.
Palestinierna sade att placeringen av metalldetektorerna rubbade status quo, vilket Israel upprepade gånger har lovat att upprätthålla. Israel sade att palestinierna använde frågan som förevändning för att sprida fientlighet mot den judiska staten.
Israel har tagit bort metalldetektorer utanför en helig plats i östra Jerusalem efter uppror från palestinierna under deras senaste introduktion.