한성부 출신으로 남대문상업학교를 졸업했다. 이후 조선영화예술협회 연구생을 거쳐 조선프롤레타리아예술가동맹에 참가하면서 영화계에서 활동했다.

1928년 김유영이 연출한 경향파 영화 《유랑》에 출연했다. 《유랑》은 식민지의 비참한 현실을 묘사한 작품으로, 임화도 배우로 출연했다. 강호가 연출한 《지지마라 순이야》에도 출연했다. 한편, 조선영화예술협회가 서울 키노로 개칭하고 제작한 영화 《화륜》에서는 각본과 편집을 맡았다.

영화 평론가로서는 조선 영화 비평과 경향파 영화 이론의 소개에 집중하였고, 세르게이 에이젠슈타인의 몽타주 이론을 소개하기도 했다. 1929년 김유영과 함께 신흥예술가동맹을 설립한 뒤 카프의 강경파인 임화와는 대립하면서 카프를 탈퇴하였다. 1932년에는 역시 김유영과 함께 도쿄로 건너가 영화 공부를 했다. 1933년 10월 5일 윤백남의 주례로 연극 배우 김선초와 결혼했다. 

1938년 데뷔작으로 《군용 열차》를 연출했는데, 군수품을 나르는 군용 열차의 조선인 직원들과 이들을 매수하려는 중국인 스파이가 등장하는 내선일체 홍보 영화이다. 《군용 열차》 발표를 기점으로 태평양 전쟁 종전 때까지 친일 영화가 다수 제작되기 때문에 선구적인 친일 작품으로 볼 수 있다. 이 영화에서는 당시 높은 인기를 누리던 배우 문예봉이 여주인공을 맡았다.

이후 친일 영화인 모임인 조선영화인협회의 이사를 맡았고 영화인기능심사위원회에도 참가했다. 1940년 발표한 〈신체제와 영화〉는 조선 영화령의 정당성을 옹호하는 내용을 담고 있기도 하다. 1920년대 후반부터 1930년대 초반까지는 경향파 영화 이론에, 1930년대 중반부터는 할리우드의 고전적 리얼리즘 영화 미학에 입각한 평론 활동을 벌였다. 전향 이후의 작품인 《군용 열차》는 할리우드 스릴러 영화의 문법을 차용했다.

광복 후에는 카프 경력을 바탕으로 좌익 계열에서 활동했다. 1945년 조선영화동맹 중앙집행위원을 맡았고 , 좌익 강경파를 대표하는 추민과 맞서 현실론을 주창하여 간접 논쟁을 벌였다. 추민과 서광제는 해방 공간에서의 영화 운동을 이끌어가는 양대 축이었다. 추민이 영화 동맹의 정치적 역할을 강조한 반면, 서광제는 《신천지》에 발표한 〈조선 영화론〉(1946)을 통해 좌익소아병과 정치소아병을 비판하고 영화 예술과 정치의 분리를 통한 영화 동맹의 개조가 필요하다고 선언했다.

미군정 시기에 소군정 지역을 방문하고 돌아온 뒤 정현웅이 장정을 맡은 《북조선 기행》(1948)이라는 책을 남기기도 했으며, 이 무렵인 1948년경에 월북한 것으로 전해진다. 조선민주주의인민공화국 시나리오 위원회에 소속되어 《위대한 역사》 등의 시나리오를 썼다. 한국 전쟁 이후 남로당 계열이 숙청당하던 1950년대 후반에 이색분자로 비난 받은 기록이 있다. 

2008년 민족문제연구소가 발표한 친일인명사전 수록 예정자 명단 연극/영화 부문에 포함되었으며 2009년 친일반민족행위진상규명위원회가 발표한 친일반민족행위 705인 명단에도 포함되었다.
서광제가 영화배우 김초선과 혼인할 때 주례를 봐준 사람은?
윤백남