Marinsoldaterna, tillbaka i League 2 efter en sex år frånvaro, såg nervös tidigt på och före detta England strejkaren Darren Bent två gånger gick nära för Rams.
Derby gjorde genombrottet när kapten Keogh böjde sig för att åka hem till Craig Brysons kors.
Shaun Pearson såg hans huvud räddas för Grimsby och Kayden Jacksons skott rensades från linjen i skadan tid.
Matchen slutar, Derby County 1, Grimsby stad 0.
Andra halvlek, Derby County 1, Grimsby Town 0.
Hörnet, Grimsby Town. Förföljd av Alex Pearce.
Försöket räddades. James McKeuwn (Grimsby Town) header från mitten av rutan sparas i toppen av målet.
Hörnet, Grimsby Town. Förföljd av Richard Keogh.
Försöket räddades. Shaun Pearson (Grimsby Town) höger fotad skott från mitten av lådan sparas i toppen av målet.
Hörnet, Grimsby Town. Förföljd av Alex Pearce.
Hörnet, Grimsby Town. Förföljd av Richard Keogh.
Försök missade. Cyrus Christie (Derby County) vänster fotade skott utanför lådan missar till vänster.
Försök missade. Jacob Butterfield (Derby County) höger fotade skott från vänster sida av lådan är nära, men missar övre vänstra hörnet.
Substitution, Derby County. Jeff Hendrick ersätter Will Hughes.
Substitution, Grimsby stad. Tom Bolarinwa ersätter Ashley Chambers.
Försök missade. Tom Ince (Derby County) höger fotade skott från vänster sida av lådan är nära, men missar övre högra hörnet.
Substitution, Grimsby stad. Kayden Jackson ersätter Dominic Vose.
Försök missade. Darren Bent (Derby County) header från mitten av lådan är bara lite för hög.
Substitution, Derby County. Tom Ince ersätter Nick Blackman.
Substitution, Derby County. Jacob Butterfield ersätter Chris Martin.
Hörnet, Derby County. Förhörd av Andrew Boyce.
Hörnet, Grimsby Town. Förföljd av Alex Pearce.
Mål!  Derby County 1, Grimsby stad 0. Richard Keogh (Derby County) huvud från vänster sida av sex yard box till övre vänstra hörnet. Hjälpt av Cyrus Christie efter en viss situation.
Försök missade. Will Hughes (Derby County) höger fotade skott utanför lådan missar till vänster.
Hörnet, Derby County. Förföljd av Shaun Pearson.
Substitution, Grimsby stad. Rhys Browne ersätter Sean McAllister.
Försök missade. Nick Blackman (Derby County) höger fotade skott utanför lådan missar till vänster.
Försök missade. Craig Bryson (Derby County) huvudet från mitten av lådan missar till höger.
Hörnet, Derby County. Förföljd av James McKeown.
Försöket räddades. Johnny Russell (Derby County) höger fotade skott från utsidan boxen sparas i övre vänstra hörnet.
Hörnet, Derby County. Förföljd av Ben Davies.
Försök missade. Darren Bent (Derby County) huvudet från mitten av lådan missar till höger.
Andra halvan börjar Derby County 0, Grimsby Town 0.
Första halvlek, Derby County 0, Grimsby Town 0.
Försök missade. Alex Pearce (Derby County) header från utanför lådan är nära, men missar den övre högra hörnet.
Hörnet, Derby County. Förföljd av Shaun Pearson.
Hörnet, Derby County. Förföljd av James McKeown.
Försöket räddades. Nick Blackman (Derby County) höger fotade skott från utsidan rutan sparas i nedre vänstra hörnet.
Försök missade. Nick Blackman (Derby County) höger fotade skott från utsidan lådan är hög och bred till höger.
Försöket räddades. James Berrett (Grimsby stad) höger fotade skott från utsidan boxen sparas i toppen av målet.
Försöket räddades. Will Hughes (Derby County) höger fotade skott från utsidan boxen sparas i toppen av målet.
Försöket räddades. Craig Forsyth (Derby County) header från vänster sida av rutan sparas i den översta mitten av målet.
Försök missade. Johnny Russell (Derby County) höger fotade skott från höger sida av sex yard box missar till höger.
Richard Keoghs andra hälften huvud kantade Derby in i EFL Cup andra omgången med seger över Grimsby.