Järnet har förlorat tre av sina senaste sex ligamatcher, men är fortfarande tvåa i League One.
Hem nederlaget av Shrewsbury den 11 februari avslutade en körning av 26 liga matcher utan att förlora på Glanford Park.
"Låt oss bli verkliga, vi är tvåa i ligan och det är efter att ha spelat förmodligen vår värsta fotboll för säsongen," Swann berättade klubbens webbplats.
"Tror du ärligt talat att när en spelare inte styr bollen med sin första touch av spelet bör vi vara på hans rygg?"
Han tillade: " Ryktena om kontraktstvister, oroligheter i laget, en icke-förlovad attityd, är så långt ifrån sanningen att det gör ont när jag läser den och vissa människor bara vill spåra ur vår framgång vare sig medvetet, eller inte, vilket är ännu mer irriterande.
"Vi ber passionerat att ni alla kommer bakom dem och ger dem den chansen att återta sin form och ja, inte panik, eftersom vi kan göra det, vi kan bli befordrade och vi kan vara stolta över dem."
Järnet var överst på bordet när de senast vann, mot Port Vale den 28 januari, men är nu sju poäng bakom ledare Sheffield United och nivå på punkter med tredje plats Fleetwood.
Scunthorpe är värd för torskarmén på lördag.
Scunthorpe ordförande Peter Swann har uppmanat fans att hålla tron på laget och "inte få på spelarnas ryggar".