Sherwood tog över i februari med Villa i botten tre och ledde klubben till Premier League säkerhet och 17: e.
"Vi gav fansen inget att heja på idag men jag lovar dem att det kommer att bli bättre," Sherwood berättade BBC Sport.
"Vi har stannat i divisionen men vi har en förlorande mentalitet. Vi vill inte skrota nedflyttningen nästa säsong."
Villa utklassades av Arsenal, vars seger vid Wembley såg dem bli den mest framgångsrika klubben i FA Cup historia med en 12: e titel.
Sherwood erkände sin sida "kom upp kort" mot Gunners, tillägger att hans spelare "måste lära sig att vara vinnare".
Mediauppspelning stöds inte på den här enheten
"Självklart trodde vi att vi kunde vinna detta men jag kan inte komma med några ursäkter", tillade 46-åringen. "Det är en inlärningskurva och vi behöver bygga ett nytt team.
"Några av pojkarna har redan fått veta att de inte kommer att vara här nästa år eller de kan hitta andra klubbar. Jag vill vara ärlig mot spelare och vill inte vara stringerande erfarna spelare tillsammans.
"Men det är inte bara nya tillägg till gruppen men också få några av de spelare vi måste spela på ett annat sätt, för att ändra mentaliteten hos några av dem."
Villa kapten Fabian Delph höll med Arsenal hade varit värdiga vinnare och betonade också vikten av att Villa hitta en "vinnande mentalitet" nästa säsong.
"Vi var upp mot det, vi försökte gräva djupt men deras kvalitet lyste igenom och vi kämpade," sade 25-åringen.
"Förvaltaren sa att vi hade det i oss att orsaka en upprörd men vi kunde inte hitta föreställningen. Men för några veckor sedan skulle vi ha knäppt din hand för att stanna i ligan och komma till denna final. Nu är det viktigt att vi får en vinnande mentalitet.
"Vi måste glömma idag, vissa spelare kommer genom dörren för att stärka oss och jag är säker på att vi kommer att bli bättre och bättre."
Aston Villa manager Tim Sherwood lovade att befria klubben från sin "förlorande mentalitet" efter att ha lidit ett 4-0 nederlag av Arsenal i FA Cup finalen.