Mark Piper är åtalad för mordet på Levi Blu.
Levi dog 2013 av inre blödningar. Hans mor Danielle Cassin är också anklagad för mord.
En kvinna berättade för en jury på Birmingham Crown Court att hon såg Mr Piper vara våldsam mot sitt andra barn, som var fem år då, 2012.
Händelsen hände i vardagsrummet i Mr Pipers Chelmsley Wood hem efter att han förbjöd ungen från att spela på en spelkonsol, sade hon.
Vittnet sa att mr Piper svor på sin son och släpade ut honom i rummet innan han petade och knuffade honom i ansiktet vid trappan.
"Han (barnet) grät", sade kvinnan, som träffade 31-årige Mr Piper genom en gemensam vän.
"Han slog honom i magen samtidigt på trappan. Det var svårt, tillräckligt för att skada honom.
"Jag har aldrig sett någon slå ett barn så där. Det var tufft. Det var så du slog dina vänner. Den lilla pojken grät. Han var verkligen upprörd."
Men Paul Lewis QC, som försvarade Mr Piper, ville veta varför slagen inte nämndes i hennes ursprungliga polisuttalande.
"Jag ljög (för polisen), sade hon.
"Jag ville inte verka som ett gräs."
Mr Lewis ifrågasatte hur hon kunde vara säker på de ord som Mr Piper hade använt när hon gjorde sitt polisuttalande månader efter händelsen.
Han belyste ett budskap från vittnet om Piper som sade: " Han älskar alla sina barn och ser efter dem väl. Jag förstår inte allt det här."
Levi hittades i lägenheten hans föräldrar delade i Nightingale Avenue, Chelmsley Wood, den 20 februari 2013.
Både Cassin, 27, av Frensham Close, Chelmsley Wood och Mr Piper, om ingen fast bostad, neka mord.
De förnekar också att Levi dog eller att han fick lida.
Rättegången fortsätter.
En man som anklagats för att ha mördat sin 22 månader gamla son i Birmingham hade tidigare slagit sin andra son i magen, en domstol hörde.