Jamal Hakrish börjar sitt arbete som vice kommissionsledamot efter månader av våld mellan israeler och palestinier.
Han kommer att övervaka polisväsendet i arabiska samhällen där det sedan länge råder misstro mot polisen.
En femtedel av Israels befolkning är arabisk och de klagar ofta över att områden där de bor inte är så väl bevakade och har sämre offentliga tjänster.
Deras klagomål har fått stöd av Human Rights Watch, som under de senaste åren har publicerat flera rapporter som belyser den diskriminering som den arabiska befolkningen utsätts för.
Vice kommissionsledamot Hakrish, från byn Kafr Kanna i Galiléen, kommer att ansvara för en nyskapad polisavdelning som inrättats för att förbättra polisväsendet i arabiska samhällen, rapporterade The Times of Israel.
Vice kommissionsledamot Hakrish utnämndes formellt till sin nya befattning på onsdag vid en ceremoni där poliskommissarie Roni Alsheich närvarade. Ett av hans huvudansvar kommer att vara att förhindra att olagliga vapen hamnar i händerna på arabsamfundet.
Alsheich vill också minska våldet i hemmet, antalet mord och andra brott inom arabsektorn.
Han och regeringen vill rekrytera 1300 nya officerare och bygga flera nya stationer i arabiska befolkningscentrum.
En arabisk polis har befordrats av Israel till den högsta rang som någonsin uppnåtts av en muslim i styrkan.