Människor för etisk behandling av djur (Peta) vill att maskoten ska ersättas med en modern djurvänlig version.
Gruppen har föreslagit en fisk med sloganen Skegness - En glad rödspätta.
Borgmästaren i Skegness sade att alla förslag var välkomna men sade att han inte trodde att det skulle finnas mycket stöd för Jolly att yxa.
Den ursprungliga Jolly Fisherman affischen beställdes av Great Northern Railway för att uppmuntra besökare att ta tåget på sina kustbrytningar till Skegness.
Affischen innehöll sloganen "Skegness är så stärkande".
Det beställdes 1908 för 12 guineas och har blivit synonymt med Lincolnshire resort.
Men Dawn Carr, från Peta, sade Jolly "väcker bilder av grymhet mot djur".
"Fisk som luras att spetsa sig i munnen, djur som dras ut ur havet i gigantiska nät där de är så krossade tillsammans pressar trycket ut magarna genom munnen och deras ögon sticker ut."
"Detta är vad Jolly Fisherman representerar", sade hon.
Hon sa att Petas förslag skulle ge orten en möjlighet att ommärka sig som en progressiv semesterdestination.
"En där stympning och dödande av havsdjur inte firas."
Skegness borgmästare, Carl Macey, sa att Jolly Fisherman var älskad av både vuxna och barn.
Han sade: " Djurplågeri är något som vi inte vill bli porträtterade för, men jag tror inte att Jolly någonsin har stött på på det sättet.
"Han är bara accepterad som glad och vänlig och han gör ett så underbart jobb för Skegness.
"Det [Petas förslag] kommer att gå före rådet, men om det inte är trasigt kommer vi inte att försöka fixa det."
En grupp för djurens rättigheter kräver att Skegness maskot, Jolly Fisherman, ersätts med en fisk.