Benjamin Netanyahus uttalande kom efter ett krismöte med hans kabinetts- och säkerhetschefer.
Alexander Levlovitz dog i en bilolycka som tydligen orsakades av en stenkastningsattack i Jerusalem.
Samtidigt fortsatte sammandrabbningarna mellan israeliska poliser och palestinska demonstranter under en tredje dag i staden.
"På kvällen före det judiska nyåret, såg vi återigen hur kasta stenar kan döda," Mr Netanyahu sade i sitt uttalande.
"Denna typ av aktiviteter kommer att mötas med en mycket våldsam straffande och avskräckande reaktion."
Regeringen enades om att fastställa obligatoriska minimistraff för dem som "farligt mänskligt liv genom att kasta stenar, brandbomber och sprängämnen".
Det sades också att det skulle införa hårda böter för föräldrar som tillåter sina barn att engagera sig i våldsamma upplopp.
Mr Levlovitz dog och två passagerare uppges ha skadats efter att deras bil hade slagits i sten på måndagen. Polisen utreder incidenten.
separat har våldet återigen skakat al-Aqsa moskén.
Föreningen - känd för judar som Temple Mount och för muslimer som al-Haram al-Sharif - är den heligaste platsen i judendomen, och innehåller al-Aqsa moskén - den tredje heligaste platsen i Islam.
Sammanslutningen är en källa till religiösa och politiska spänningar mellan Israel och palestinierna. Det är en ofta förekommande flampunkt för våld.
På tisdagen berättade polistaleskvinnan Luba Samri för AP att polisen gick in i moskén Al-Aqsa tidigt på morgonen för att skingra demonstranter som hade stannat inne i moskén över natten.
Protestanterna kastade projektiler på officerare, sa Samri, och tillade att två palestinier arresterades och fem poliser skadades något.
26 palestinier skadades i tisdags, ingen av dem allvarligt, chefen för den palestinska Röda halvmånen, Amin Abu Ghazaleh, berättade för Reuters.
FN:s särskilda sändebud Nickolay Mladenov varnade senare för att oroligheter i Jerusalem "kan utlösa våld utanför dess murar".
Han uppmanade också alla ledare att "se till att besökare och tillbedjare visar återhållsamhet och respekt" på heliga platser.
Den israeliska premiärministern har lovat att "använda alla nödvändiga medel" för att stoppa stenkastare efter att en israelisk man dött i en bilolycka kopplad till en sådan attack.