Många av landets 32 lokala myndigheter hade uttryckt oro över att deras inkomster minskade med 2 %.
Swinney berättade för den lokala regeringen och förnyelsekommittén att han inte underskattade de "pågående utmaningarna".
Han ansåg dock att råden hade fått en "mycket trovärdig lösning".
Jag tror att en del av pratet har varit ärligt talat överst på sidan om konsekvenserna av uppgörelsen för de lokala myndigheterna.
Ministern sade att de lokala myndigheternas utgifter under 2016/17 skulle minskas med 350 miljoner pund, vilket motsvarar en minskning med 2 procent.
Swinney insisterade på att rubrikfiguren inte var hela historien.
Han förklarade för MSP: "När vi tar hänsyn till att 250 miljoner pund kommer att spenderas genom de integrerade gemensamma styrelserna för att stödja utgifter för tjänster som lokala myndigheter är viktiga deltagare, och med tanke på den vägledning som jag har gett de lokala myndigheterna om vad de kan förvänta sig att fonden ska stödja, innebär detta en nettominskning av lokalförvaltningens budget på omkring 100 miljoner pund, av 16 miljarder pund, vilket motsvarar mindre än 1 procent."
Under de senaste sju åren har de lokala myndigheterna genomfört ett avtal med den skotska regeringen, genom vilket rådets skatteräkningar har förblivit frysta.
Men i år ansåg rådet i Moray att man skulle öka rådets skatteräkningar med 18 % för att lätta nedskräpningen.
Det beslutade att inte gå vidare med planen eftersom det skulle ha resulterat i att den skotska regeringen höll inne 1,1 miljoner pund för att kompensera frysningen.
Rådsledaren Stewart Cree sade: "Vi kan helt enkelt inte gå vidare med förslaget, eftersom de extra straff som det nu skulle dra till sig skulle ha en förödande effekt på de tjänster som folket i Moray säger att de vill ha skyddas.
"Så för att få det att gå ihop i år har administrationen beslutat att skjuta upp vissa arbeten och utgifter, och att dra det återstående underskottet från reserver."
Swinney svarade på en fråga om Morays rådsförslag om att sänka skattestoppet och sade: " Jag tror att en del av det tal vi har hört har gått rakt på sak över toppen om hur uppgörelsen påverkar de lokala myndigheterna.
"Jag underskattar inte de pågående utmaningarna när det gäller att tillhandahålla offentliga tjänster inom en begränsad finansiell miljö."
Han tillade: "Allt som allt anser jag att den uppgörelse som erbjuds lokala myndigheter är en mycket trovärdig uppgörelse, den förtjänar verkligen inte den typ av beskrivning den har haft från vissa röster inom lokala myndigheter och den förtjänar definitivt inte en 18-procentig höjning av rådets skatt."
Skottlands förste minister har separat uppmanat råden att "göra det rätta" och acceptera den finansieringsöverenskommelse som erbjuds av den skotska regeringen.
Nicola Sturgeon insisterade på att lokala myndigheter skulle få en "god affär" som en del av budgeten, med ett paket med resurser som kommer att hjälpa dem att betala den levande lönen till vårdpersonal.
Hon framförde sin vädjan eftersom tidsfristen den 9 februari snart skulle löpa ut för de lokala myndigheterna att underteckna finansieringspaketet.
Skottlands finansminister John Swinney har sagt att prat om minskade rådsbudgetar som påverkar lokala tjänster var "snabbt överst".