Händelsen inträffade i närheten av Dr Grays sjukhus strax efter 10:00.
Mannen fördes till sjukhuset med det polisen sa var allvarliga men inte livshotande skador.
A96:an stängdes i området i flera timmar, men har sedan dess öppnats igen.
En cyklist har drabbats av allvarliga huvudskador efter en kollision med en bil i Elgin.