Författare inklusive den engelske patientskribenten Michael Ondaatje och Peter Carey kommer inte att delta i PEN Litterary Gala i New York den 5 maj.
De sade att PEN - känd för att försvara fängslade författare - gick utöver sin traditionella roll.
Islamister stormade Charlie Hebdo kontor i Paris i januari.
Tolv personer dödades under attacken, över tidningens skildring av profeten Mohammed.
Författarna Rachel Kushner, Teju Cole, Taiye Selasi och Francine Prose är också emot att PEN överlämnar utmärkelsen Freedom of Expression Courage Award till Charlie Hebdo, eftersom de är obekväma med tidningens "kulturella intolerans".
Booker Prize-wining författaren Carey berättade för New York Times att gruppen av författare kände PEN: s roll var att skydda yttrandefriheten mot statligt förtryck.
"Ett hemskt brott begicks, men var det en yttrandefrihetsfråga för PEN America att vara självrättfärdig om?" sade Carey.
"Allt detta kompliceras av PEN:s skenbara blindhet för den franska nationens kulturella arrogans, som inte erkänner sin moraliska skyldighet gentemot ett stort och maktlöst segment av befolkningen."
Bojkotten har kritiserats av författaren Salman Rushdie, en före detta president i PEN som gömde sig i åratal över islamistiska hot som svar på sin roman The Satanic Verses.
Han sa att hans vänner hade "hemskt fel" och hoppades att ingen skulle komma efter dem.
Charlie Hebdo essäist Jean-Baptiste Thoret, som undkom attacken genom att komma sent till arbetet, kommer att ta emot priset på uppdrag av sina kollegor.
PEN sade att det inte trodde Charlie Hebdo avsikt var att "stractise eller förolämpa Muslims, utan snarare att kraftfullt förkasta ansträngningarna av en liten minoritet av radikala extremister att placera breda kategorier av tal utanför gränser."
Det tillade: "Vi kommer att vara ledsna över att inte se dem som har valt bort från galan, men vi respekterar dem för deras övertygelse."
Sex framstående författare bojkottar en stor amerikansk litterär händelse över planer på att ge satiriska tidningen Charlie Hebdo en yttrandefrihetspris.