Högra AfD-partiet, som bildades för bara tre år sedan, kom tvåa i kanslerns hemstat Mecklenburg-West Pommern, som röstade 21%.
Angela Merkel har försvarat sin politik men sade att hon måste vinna tillbaka förtroendet.
Omkring 1,1 miljoner flyktingar och migranter anlände till Tyskland 2015.
Många av dem kom efter att regeringen beslutat att lätta på gränskontrollerna för drygt ett år sedan.
Angela Merkel, som är i Kina för G20-toppmötet, sade att hon var "mycket missnöjd" med valresultatet.
"Alla behöver nu tänka på hur vi kan vinna tillbaka förtroende - mest av allt, naturligtvis själv", sade hon.
"Tydligen har det [valresultatet] något att göra med flyktingfrågan. Men jag anser ändå att de beslut som fattades var riktiga och vi måste fortsätta att arbeta med dem."
Detta är förödmjukande för Angela Merkel - inte minst för att detta var på hemmaplan.  Detta val - som sågs som ett viktigt prov inför nästa års allmänna val - handlade om hennes flyktingpolitik. Under ett år har hon insisterat på "Wir schaffen es" (vi kan göra det) men tyska väljare är inte övertygade.
Alternative fuer Deutschlands antiinvandrar- och allt starkare anti-islam-budskap har en stark dragningskraft på människor som är intresserade av integration och oroar sig för den inhemska säkerheten.
Det ser inte bra ut för mrs Merkel. Hennes betyg är fem år lågt. Men var inte frestad att avskriva henne ännu - hon har en vana att studsa tillbaka och det finns ingen seriös utmanare som väntar i vingarna för att ersätta henne.
AfD-ledaren i Mecklenburg-West Pommern, Leif-Erik Holm, föreslog att "kanske detta är början på slutet av Angela Merkels kanslerskap".
AfD (Alternativ fuer Deutschland) har nu delegater i nio av Tysklands 16 stater.
"Det är en debacle för Angela Merkel och hennes flyktingpolitik", säger Edmund Stoiber, hedersordförande för den bayerska-baserade CSU, syster parti CDU.
Det var inte tillräckligt att kritisera afD:s väljare, menade han - CDU måste förstå varför folk förlorade tron på dess politik.
Stoiber efterlyste en begränsning av antalet personer som kommer in i Tyskland.
CDU är i koalition nationellt med SPD, och även regionalt i Mecklenburg-West Pommern, även om det nu kan förändras.
Wolfgang Bosbach av CDU sade ankomsten av hundratusentals migranter utan dokument hade "sätta vinden i AfD segel".
CSU:s generalsekreterare Andreas Scheuer förklarade att det som nu behövdes var en övre gräns för antalet flyktingar och en bättre repatriering av misslyckade asylsökande.
Inför omröstningen gav Angela Merkel en trotsig intervju om invandring och insisterade på att förändring inte var något dåligt och att "Tyskland kommer att förbli Tyskland, med allt som ligger oss varmt om hjärtat".
Även om kanslerns popularitet har minskat nationellt har hon fortfarande 45 % godkännandebetyg och har ännu inte bestämt sig för om hon vill ställa upp för en fjärde mandatperiod i valet i september 2017.
"Hur många fler valkatastrofer kan Merkel ta?" undrar tabloid Bild, som förutspår att motståndet mot kanslern inom hennes konservativa block skulle kunna bryta ut med full kraft.
Ett stycke i Sueddeutsche Zeitung förutspår ett "höst av missnöje" för kanslern, medan Die Welt tror att många av hennes långvariga kritiker nu kommer att "bryta omslaget" och "låta rip".
Der Spiegel tror att medan valet är ett "debacle" för Angela Merkel, hennes jobb är inte på linjen ännu.  Och Frankfurter Allgemeine Zeitung hävdar att väljarna är arga på "(nästan) alla" mainstream-partier, och inte bara kristdemokraterna, främst över globaliseringen och "kompromissbaserad politik".
Vad vill Tysklands högerflygel afD?
Frauke Petry: Profil av AfD ledare
Den tyske förbundskanslern Angela Merkels allierade har uppmanat henne att byta kurs mot flyktingar efter att hennes styrande CDU-parti misshandlats i ett regionalt val av ett anti-invandrarparti.