Ranieri guidade Leicester till titeln trots att de blev betygsatta 5000-1 skott i början av kampanjen 2015-16.
Foxes är 17:e denna säsong och förlorade till League One Millwall i FA Cup.
"Det är mycket sorgligt", sade Match of the Day presenter Lineker. "Det är oförklarligt för mig. Det är oförklarligt för många fotbollsfans som älskar spelet."
På tal om BBC Radio 4 tillade 56-åringen: "Jag antar att du kan förklara det i termer av ett panikbeslut och för mig ett felaktigt beslut.
"Jag fällde en tår igår kväll för Claudio, för fotboll och för min klubb."
Efter nyheten om 65-åriga italienska uppsägning bröt på torsdag, före detta England kapten Lineker, som spelade för sin hemstad klubb för sju säsonger, sade "spelet är borta" i ett inlägg på sociala medier.
"Det är ett tecken på modern fotboll, det som hände förra säsongen var verkligen enastående ", tillade han på fredag. "Den bristande tacksamheten från ägarna av klubben och vem vet vem annan som deltar i ett sådant beslut tiggar tro.
"Den säsongen kommer att förbli hos oss för evigt, det var verkligen speciell och en hel del av det var ner till ledningen.
"Samma kille kan inte anses oförmögen att göra jobbet några månader senare efter att ha uppnått vad, för mig, var det största mirakel inom idrott."
Chelsea avfärdade Jose Mourinho som chef säsongen efter deras 2015 titel och Lineker säger medan det är "förväntas på stora klubbar", beslutet att sparka Ranieri "tar bort från äran" för Foxes.
"För en klubb som Leicester att vinna ligan förra säsongen, storslagenheten av historien, likheten av klubben under Ranieri - den ultimata gentleman - det typ av förnedrar klubben.
"Leicester var enormt populär runt om i världen. Att göra något sådant nu förlorar en hel del av denna popularitet."
Frankrike mittfälter N'Golo Kante flyttade till Chelsea för £ 30m på sommaren och Lineker sade att förlora 25-åringen var "huge".
Han tillade: " Det fanns en hel mängd saker som gjorde säsongen ganska oundviklig i den bemärkelsen att den aldrig skulle vara något liknande förra säsongen.
"De hade en resenär tillbaka fyra som skyddades briljant av Kante. De var fyra år gamla, ett år äldre.
"Helt plötsligt var de på försäsongen turer, spela Barcelona, resa över hela världen. De var inte förberedda för den nya säsongen och sedan den förtroende aspekt smyger in."
Före detta Leicester och Englands målvakt Peter Shilton, sade klubbens strider den här säsongen gjorde Ranieris avsked förståeligt.
När han talade till Radio 4 sade han: " Att gå ner skulle vara en katastrof för Leicester, och jag antar att styrelsen har fattat ett mycket modigt beslut.
"Om de stannar i Premier League så har de fattat rätt beslut. Många kommer att säga att det inte finns någon känsla i fotboll, titta på vad han har gjort för klubben, men han har haft en hel del av säsongen för att få saker igång.
"Det finns uppenbarligen någon anledning till varför inte. Vi är inte intresserade av det - kanske styrelsen är det. Det kanske är oroligheter i omklädningsrummet, vem vet? Kanske spelarna bara inte uppträder. "
Leicester ägare Vichai Srivaddhanarabha använde sociala medier plattform Instagram för att förklara varför han sparkade Ranieri.
"Vi har gjort vårt bästa som ledning, vi har inte bara ett problem att lösa, men det finns en miljon saker att göra för att vår klubb ska överleva ", skrev miljardären.
"Var snäll och respektera mitt beslut, jag kommer aldrig att svika klubben."
Detta innehåll fungerar inte på din enhet, kontrollera Javascript och cookies är aktiverade eller uppdatera din webbläsare
Jason Bourne, BBC Radio Leicester
"Det finns nästan en känsla av sorg i staden idag, med många har förlorat sin 'favorit farbror'.
"Claudio Ranieri var mannen som väckte drömmen till liv genom att vinna Premier League-titeln. Det har gått sur denna term med spelare underpresterande, nya signeringar inte fungerar och förbryllande taktik på gång från Tinkerman.
"Jag trodde att de skulle förvisas med Ranieri som chef. Jag hatade att säga det. Jag hoppades att det inte skulle bli sant och att det skulle visa sig vara fel.
"Detta ger dem en chans. En annan sorts chans att stanna uppe."
Phil McNulty, BBC:s chefsfotbollsförfattare:
Det är nästan tanken som inte vågar säga sitt namn mitt i vågen av chock, upprördhet och avsky över Leicesters beslut att skoningslöst avfärda den enormt populära 65-åringen, som vann alla supportrars hjärtan med sin goda humor, klass och värdighet när han ledde rävarna till titeln.
Men finns det egentligen metod i vad många ser som galenskapen hos klubbens thailändska ägare?
Leicesters fall har varit mer dramatiskt än något de kunde förutse i sina värsta mardrömmar. En seger för någon av Sunderland, Crystal Palace och Hull City denna helg skulle sätta Foxes på nedflyttningsplatserna. Vinster för alla tre och de skulle vara botten när de möter Liverpool på vad som nu kommer att vara en högt laddad tillfälle på King Power på måndag.
Efter 26 matcher förra året var de topp på 53 poäng, två före Spurs. Den här säsongen är de 17 efter 25 matcher, med bara 21 poäng. Förra säsongen hade de bara förlorat tre matcher jämfört med 14 i denna kampanj, och medgav bara 29 mål jämfört med 43 denna term. Faktum är att de bara medgav 36 under hela säsongen 2015-16.
Skillnaden är stark och, mycket tydligt enligt Leicesters ägare, farlig.
Pat Murphy, BBC Radio 5 live
Jag förstår några inflytelserika spelare i omklädningsrummet, som var en del av Nigel Pearson gruppen för ett par år sedan, gjorde grafiska kontraster med laganda och organisatoriska egenskaper Pearson jämfört med Ranieri den här säsongen.
Klubben förlorade aldrig tron på Pearson för två år sen. Trots det faktum att de var i parlous position, den allmänna känslan var att han hade omklädningsrummet och visste vart han var på väg. Han lämnade sommaren 2015 av olika skäl - personliga skäl förknippade med sin son, som var i personalen.
Ranieri hade helt klart förlorat många viktiga allierade i omklädningsrummet i Leicester med långa minnen.
Den 7 februari utfärdade Leicester ett uttalande om att Ranieri hade deras "oavbrutna stöd". Sexton dagar senare sparkade de den 65-årige italienaren, som hade tecknat ett nytt fyraårigt avtal på sommaren.
Hans avgång kom en dag efter Foxes vann beröm för sin prestation trots att förlora 2-1 i deras Champions League sista-16 första-ben slips på Sevilla.
"Ranieri fick veta att han avskedades på torsdag eftermiddag i Leicester när laget återvände från Spanien, men förslaget är ägarna beslutat innan nederlaget av Sevilla," sade BBC sportredaktör Dan Roan.
"Beslutet fattades motvilligt men klubbens ägare är desperata att undvika nedflyttning och dess konsekvenser."
Foxes vice ordförande Aiyawatt Srivaddhanarabha sade: "Detta har varit det svåraste beslutet vi har fått fatta på nästan sju år sedan King Power tog över Leicester City.
"Men vi är skyldiga att sätta klubbens långsiktiga intressen framför all känsla för personliga känslor, oavsett hur starkt det kan vara.
"Claudio har fört med sig enastående egenskaper till sitt kontor. Hans skickliga ledning, motivationskrafter och mätthet har återspeglat den rika erfarenhet vi alltid visste att han skulle föra till Leicester City."
Srivadhanarabha tillade: " Hans värme, charm och karisma har bidragit till att förändra uppfattningarna om klubben och utveckla dess profil i global skala. Vi kommer för evigt att vara tacksamma mot honom för det han har hjälpt oss att uppnå.
"Det var aldrig vår förväntan att de extraordinära bedrifter av förra säsongen bör replikeras denna säsong. Faktum är att överlevnad i Premier League var vårt första och enda mål i början av kampanjen.
"Men vi står nu inför en kamp för att nå detta mål och känner att en förändring är nödvändig för att maximera den möjlighet som de sista 13 matcherna erbjuder."
En nyhetskonferens med Leicester biträdande chef Craig Shakespeare kommer att äga rum klockan 13:00 GMT på fredag.
Mediauppspelning stöds inte på den här enheten
Detta innehåll fungerar inte på din enhet, kontrollera Javascript och cookies är aktiverade eller uppdatera din webbläsare
14 februari 2016: Leicester förlorar 2-1 på Arsenal, deras slutliga nederlag av säsongen 2015-16 innan en 12-spel oslagbar körning.
2 maj 2016: The Foxes är krönta mästare i England för första gången i sin historia som Tottenham dra på Chelsea.
16 juli 2016: Midfielder N'Golo Kante lämnar för att underteckna ett femårigt avtal med Chelsea.
13 augusti 2016: Leicester förlorar sin första match i 2016-17 säsongen - ett 2-1 nederlag på Hull City.
15 oktober 2016: Rävarna är hamrade 3-0 av bord topping Chelsea på Stamford Bridge.
22 November 2016: Leicester säker topp plats i deras Champions League grupp med ett spel att undvara.
18 December 2016: Ranieri heter Coach of the Year på BBC Sports Personality of the Year utmärkelser.
7 februari 2017: Efter två segrar i 15 ligamatcher ger Leicester Ranieri sitt "oavbrutna stöd".
22 februari 2017: The Foxes förlorar 2-1 till Sevilla i första benet av deras Champions League förra 16 slips.
23 februari 2017: Ranieri avskedas.
Leicesters beslut att sparka Claudio Ranieri nio månader efter att ha vunnit Premier League gjorde f.d. Foxes-strejkaren Gary Lineker "slog en tår".