År 2014 var den största kolonin av de sällsynta sjöfåglarna i Winterton, nära Great Yarmouth, Norfolk, men fåglarna har sedan dess flyttat norrut till Sea Palling.
För två år sedan fanns det 300 par av den sällsynta sjöfågeln. I år finns det bara 190 par på Sea Palling.
RSPB sa att arten minskar.
Små tärnor färdas 3000 mil från Västafrika för att föröka sig på den brittiska kusten, men enligt RSPB har antalet återvändande till Storbritannien minskat med mellan 30-50 % sedan förra året.
Det sägs att platsen nära Sea Palling fortfarande är landets största koloni, trots den betydande minskningen i antal.
Fabienne Fossez, fängelsedirektör för RSPB East Norfolk, sade: "Vi är oerhört oroade, det är en art på tillbakagång och de är i verkliga problem.
– Vad vi inte vet är vad som händer ute i Västafrika på vintern men det har något att göra med klimat, väder och mat.
"Men vi har en riktigt bra framgångshistoria här nära Sea Palling, trots alla odds."
Ms Fossez sa att 380 kycklingar har kläckts i östra Norfolk sedan mitten av maj.
Hennes team har övervakat kolonin dygnet runt för att skydda fåglarna.
Men hon sade att häckande fåglar inte har haft samma framgångsnivå någon annanstans.
"De små tärnorna har haft en riktigt svår tid i år", sade hon.
"På norra Norfolkkusten var de helt utspolade i början av juni. Vi var skyddade här på östkusten och vi är lyckligt lottade över att det bara finns små tärnor som häckar här."
Djurvårdare har sagt att de är "extremt oroade" över att antalet små tärnor som häckar i Storbritanniens största avelskoloni minskade med nästan hälften på ett år.