Arsenal dominerade med Gervinho misslyckas med att träffa målet från en bra position och Jake Kean gör flera viktiga räddningar.
Tomas Rosicky slog i baren efter pausen men Championship sidan gjorde när Kazim-Richards följde in på Martin Olssons skott.
Theo Walcott nekades sent i spelet som Arsenals förhoppningar om att avsluta sin åttaåriga trofé torka var bucklade.
"Blackburn bara fortsatte att tro att de kunde få något av detta spel.
"Det tryck Arsenal utsatte dem för i slutet var obevekligt. Grant Hanley och Scott Dann kommer inte att ha spelat ett bättre spel den här säsongen, eller ens i hela sin karriär.
"En enastående föreställning från Blackburn."
Gunners kunde inte hitta en väg genom Blackburns försvar som Michael Appletons team försvarade för sina liv i slutet av spelet. Mikel Arteta var en annan Arsenal spelare som sköt utanför målet.
Det betyder Arsene Wenger lag har bara Champions League kvar om de ska vinna silverware denna säsong, har redan slagits ut av Capital One Cup av League Två sida Bradford i december.
Appleton har redan förlorat i FA Cup denna säsong, när ansvarig för Portsmouth, och var chef på Blackpool i den tredje omgången när de drog med Fulham innan 37-åringen lämnade klubben.
Men han har övervakat en omvandling på Ewood Park under sin korta tid på Rovers, som förvisades från Premier League förra säsongen. Denna seger förlängde hans sida oslagbara springa till sex matcher efter att ha lidit nederlag av Charlton i sin första match som ledare den 19 januari.
Blackburn är ännu att medge i FA Cup denna säsong och har nu nått kvartsfinalen för första gången sedan 2007 och sitter sex poäng av play-off platser i Championship.
Efter att ha gjort sju ändringar på den sida som besegrade Sunderland 1-0 förra helgen, var det tydligt Wenger hade ett öga på tisdagens Champions League slips mot Bayern München.
Men fransmannen kan leva för att ångra att vänta tills 70 minuter hade gått innan föra på substitut Walcott, Jack Wilshere och Santi Cazorla som hans sida jagade spelet på 0-0.
Gervinho återvände från en imponerande Afrika Cup of Nations turnering med Elfenbenskusten för att starta sin första Arsenal spel sedan straff shoot-out förlust till Bradford den 11 december.
Tyvärr var hans största bidrag i en första halv domineras av Gunners att dra sin skott bred när han sattes igenom av Rosicky efter 41 minuter.
För alla deras innehav i en öppningsperiod där Arsenal hade 12 hörn, Wengers team gjorde inte många öppningar. Och när de gjorde det, den imponerande Blackburn målvakt Kean räddade huvuden från Abou Diaby och Thomas Vermaelen, som återvände till sidan efter skada.
Kean stoppade också Olivier Girouds ansträngningar efter pausen med Jason Lowes huvud Blackburns bästa insats fram till timmarkeringen.
Rovers tog med tidigare Gunner David Bentley för att försöka göra ett intryck, men det verkade väcka hemsupportrarna innan Rosicky slog ett långdistans skott mot baren.
Det var hans sista meningsfulla handling som Wenger förde på sin trio av substitut för att försöka undvika en repris i en redan överbelastad månad.
Men Blackburn gick vidare två minuter senare. Wojciech Szczesny fick bara handflata Olssons vinklade skott bort och Kazim-Richards slitna rebound gick in från stolpen.
Det var ett fantastiskt slag av Rovers anfallare, en pojke Arsenal fan.
Walcott injicerade en del välbehövlig brådska i Gunners pjäs och hans huvud från Wilshere kors kunde inte bryta Blackburn rearguard som Appleton sida höll på för en berömd seger.
Blackburn manager Michael Appleton: "Colin Kazim-Richards har varit fantastisk för de senaste fem matcherna och har spelat i ett par olika roller.
"Jag är glad att han fick belöningen för allt sitt arbete, det var inte hans största strejker, men jag tror att han bara försökte att inte välla in det i Row Z och fick den bit tur han förtjänade.
"Jag hade en kort stint på Blackpool när jag slutade med en 1-1 dragning på Fulham i den sista omgången, då hade turen att vinna på Derby, men detta är isen på toppen av kakan."
Heltid Spelet är över, när domaren blåser i visselpipan.
Ansträngning på mål av Mikel Arteta från djupt inne i straffområdet missar till höger om målet.
Francis Coquelin skjuter. Scott Dann får ett kvarter in.
Thomas Vermaelen tar frispark.
Bokning David Goodwillie visas ett gult kort för osportande beteende.
Frispark tilldelad för en orättvis utmaning på Francis Coquelin av David Goodwillie.
Theo Walcott skjuter. Bekväm räddning av Jake Kean.
Scott Dann producerar en högerfotad skott från lång räckvidd som går ofarligt över baren.
Santi Cazorla skjuter. Scott Dann får ett kvarter in.
Vassiriki Diaby skjuter. Jake Kean gör en räddning.
Olivier Giroud skjuter. Jake Kean gör en bekväm räddning.
Foul av Morten Gamst Pedersen på Francis Coquelin, frispark delas ut. Thomas Vermaelen tar frispark.
Ansträngning från kanten av området vid Nacho Monreal går bred höger-hand upprätt.
Jake Kean startar om spelet med den fria kicken.
Substitution Jordan Rhodes lämnar fältet för att ersättas av David Goodwillie.
Offsideflaggan är riktad mot Theo Walcott.
Morten Gamst Pedersen startar om spelet med den fria kicken.
Bokning Francis Coquelin går in i domarens bok för osportande beteende.
Frispark tilldelad för en orättvis utmaning på Morten Gamst Pedersen av Francis Coquelin.
Skjuten av Nacho Monreal från djupt inne i straffområdet missar bred till vänster om målet.
Olivier Giroud hanterar bollen och medger en frispark. Jake Kean tar gratissparken.
Theo Walcott skämdes av Morten Gamst Pedersen, domaren ger en frispark. Direkt frispark tagen av Jack Wilshere.
Hörnet tas högerfotad av Santi Cazorla, Header på mål av Olivier Giroud inifrån lådan går ofarligt över målet.
Assist på målet kom från Martin Olsson.
Mål!  - Colin Kazim-Richards - Arsenal 0 - 1 Blackburn Colin Kazim-Richards tar ett mål från djupt inne i straffboxen lågt in i mitten av målet. Arsenal 0-1 Blackburn.
Martin Olsson skjuter. Rädda av Wojciech Szczesny.
Substitution Santi Cazorla ersätter Alex Oxlade-Chamberlain.
Substitution Yao Gervinho lämnar fältet att ersättas av Theo Walcott.
Substitution Jack Wilshere kommer i stället för Tomas Rosicky.
Skjuten av Vassiriki Diaby från 25 meter. Räddad av Jake Kean.
Yao Gervinho skjuter. Blockerad av Bradley Orr. Outswinging hörnet tas högerfotad av Mikel Arteta spelade till nära inlägget, klarering gjord av Morten Gamst Pedersen.
Skjuten av Tomas Rosicky.
Tomas Rosicky har ett skott på mål från utanför området som missar vänster.
Substitution (Blackburn) gör en substitution, med David Bentley på väg mot Markus Olsson.
Skjuten inifrån området av Alex Oxlade-Chamberlain rensar baren.
Corner taget av Tomas Rosicky från vänster by-line spelas till nära inlägget, klarering gjord av Morten Gamst Pedersen. Huvudet från djupt inne i området av Vassiriki Diaby går ofarligt över korsstången.
Vassiriki Diaby producerar en högerfotad skott från lång räckvidd som går bred höger om målet.
Mikel Arteta ger bort en gratis kick för en orättvis utmaning på Jordan Rhodes. Frispark tagen av Scott Dann.
Alex Oxlade-Chamberlain skjuter. Blockerad av Bradley Orr.
Thomas Vermaelen ger bort en frispark för en orättvis utmaning på Martin Olsson. Jake Kean tar gratissparken.
Hörnet från vänster by-line tagna av Morten Gamst Pedersen, Thomas Vermaelen lyckas göra en klarering.
Gratis kick delas ut för en orättvis utmaning på Thomas Vermaelen av Jordan Rhodes. Thomas Vermaelen startar om spelet med den fria kicken.
Utanför hörnet tagna till höger av Alex Oxlade-Chamberlain, Olivier Giroud tar ett skott. Jake Kean gör en bekväm räddning.
Insvingande hörn taget av Morten Gamst Pedersen, Jason Lowe tar ett skott. Mikel Arteta ger klartecken.
Domaren får den andra halvan på gång.
Halvtid Domaren blåser för att signalera halvtid.
Jason Lowe ger bort en frispark för en orättvis utmaning på Olivier Giroud. Shot on mål kommer in från Mikel Arteta från frispark, spara gjord av Jake Kean.
Ansträngning från kanten av området vid Yao Gervinho går bred vänsterhand upprätt.
Yao Gervinho producerar ett högerfotat skott utanför straffboxen och missar vänster.
Skjuten av Nacho Monreal. Blockerad av Bradley Orr. Tomas Rosicky tar inswinging hörnet, klartecken som gjorts av Lee Williamson.
Lee Williamson straffas för handboll och medger en frispark. Mikel Arteta tar direkt frispark.
Insvingande hörn tagna till höger fotad av Tomas Rosicky, klarering av Bradley Orr. Inswinging hörnet tagna från vänster by-line av Tomas Rosicky, klarering av Bradley Orr. Bradley Orr befläckad av Thomas Vermaelen, domaren ger en frispark. Jake Kean tar gratissparken.
Gratis kick delas ut för en foul av Mikel Arteta på Jordan Rhodes. Morten Gamst Pedersen levererar bollen, Headed ansträngning inifrån området av Scott Dann missar till vänster om målet.
Alex Oxlade-Chamberlain har en insats på mål från utanför området saknas till den breda vänster om målet.
Inswinging hörnet tagna från vänster by-line av Tomas Rosicky, Vassiriki Diaby tar ett skott. Bekväm räddning av Jake Kean. Utvändigt hörn taget av Alex Oxlade-Chamberlain, klarering gjord av Martin Olsson.
Hörnet tagna till höger av Tomas Rosicky från vänster by-line, sparad av Jake Kean.
Vassiriki Diaby tar chansen att få en insats på mål. Bradley Orr får ett kvarter in.
Colin Kazim-Richards erkänner en frispark för en foul på Francis Coquelin. Frispark tagen av Francis Coquelin.
Hörnet taget av Tomas Rosicky från vänster by-line, bekväm räddning av Jake Kean.
Mikel Arteta hanterar bollen och medger en frispark. Jake Kean tar direkt frispark.
Hörnet taget av Tomas Rosicky, Bradley Orr lyckas göra en klarering.
Alex Oxlade-Chamberlain tar en outswinging hörn till nära post, Morten Gamst Pedersen gör en klarering.
Lee Williamson ger bort en frispark för en orättvis utmaning på Vassiriki Diaby. Direkt frispark tagen av Mikel Arteta.
Ytterhörnet tagna högerfotad av Alex Oxlade-Chamberlain, nära håll huvudet av Laurent Koscielny går bred vänster-handen post.
Tomas Rosicky tar inswinging hörnet, klartecken av Scott Dann. Outswinging hörnet tagna av Alex Oxlade-Chamberlain från höger by-line spelas till nära inlägget, klarering gjord av Jordan Rhodes.
Thomas Vermaelen tar direkt frispark.
Bokning Domaren böcker Bradley Orr för osportande beteende.
Bradley Orr ger bort en frispark för en orättvis utmaning på Yao Gervinho.
Domaren straffar Bradley Orr för handboll. Den fria spark är svängd i höger fot av Mikel Arteta.
Markus Olsson har en satsning på mål från djupt inne i området som saknas till höger om målet.
Martin Olsson befläckad av Francis Coquelin, domaren ger en frispark. Morten Gamst Pedersen startar om spelet med den fria kicken.
Markus Olsson flaggas offside av biträdande domare. Frispark tagen av Wojciech Szczesny.
Spelet sparkar igång.
Live-data och text som tillhandahålls av våra dataleverantörer
Colin Kazim-Richards sena mål bedövade Arsenal som Blackburn Rovers nådde FA Cup kvartsfinalen.