Давно SUN разрабатывала процессоры, для которых jv-байт код был родным, но все это загнулось на стадии проектирования. ОС - можно использовать легковесный линукс с предустоновленной jv - по сути то что вам и нжно.