Det stödde planer på att utfärda böter till en början, och endast tillgripa straffrättsliga avgifter för upprepade lagöverträdare.
Att sälja, köpa och producera drogen kommer att förbli olagligt och flytten måste fortfarande ratificeras av parlamentet.
Enligt FN:s kontor för narkotika och brottslighet använder nästan 9 procent av israelerna cannabis, även om vissa experter anser att siffran är högre.
Flyttningen följer rekommendationer från en kommitté som inrättats för att studera frågan, och ett antal amerikanska stater och europeiska nationer vidtar åtgärder för att avkriminalisera användningen av drogen.
"Å ena sidan öppnar vi oss för framtiden. Å andra sidan förstår vi farorna och kommer att försöka balansera de två," premiärminister Benjamin Netanyahu berättade hans kabinett före omröstningen.
Israels justitieminister Ayelet Shaked sade: "Israel kan inte blunda för de förändringar som görs över hela världen när det gäller marijuanakonsumtion och dess effekter."
Under tiden tillade säkerhetsminister Gilad Erdan att flytten var "ett viktigt steg på vägen mot att genomföra en ny politik som kommer att betona utbildning och behandling i stället för straffrättsliga påföljder".
Enligt det nya systemet, första gången personliga användare som fångas och erkänner kommer att bötfällas 1000 shekel (220 pund; $270), med denna dubblering vid andra tillfället.
Prövning kommer att tillämpas tredje gången och endast ett fjärde fall skulle leda till åtal.
Israel är en av världens ledande forskare inom forskning om medicinsk användning av marijuana.
Den israeliska regeringen har vidtagit åtgärder för att minska straffen för personligt marijuanabruk.