Leroy Fer gav värdarna en första halv ledning när han styrde bollen hem från nära håll på baksidan post efter Baston Borjas knockdown från ett hörn.
Roberto Firmino jämnades ut kort efter halvtid när han gick in från Jordan Hendersons kors.
Milner nettade vinnaren sex minuter från tiden efter Firmino var fouled.
Liverpool mittfielder mål var bara belöna en dominerande andra halvan av sitt lag, som nu har vunnit fyra Premier League-matcher i rad.
Det var dock lite grymt på Swansea, vars livliga uppträdande förmodligen har köpt Guidolin lite mer tid att vända saker och ting.
Svanarna är ovanför nedflyttningszonen på målskillnad och har inte vunnit i ligan sedan öppningsdagen för säsongen.
Men klubbens ägare hade före matchen antytt att uppträdandets sätt skulle ha lika stor betydelse för Guidolins framtid som resultatet.
Liverpool anlände i södra Wales på en hög, vinna sina senaste tre liga matcher och poäng 11 mål i processen.
Trots sin sidas fluens i attacken, hade chef Jurgen Klopp uttryckt oro över de rödas bräcklighet från set-pieces, och hans rädsla visade sig välgrundad när de föll efter i skrotiga omständigheter.
Rattled av sina motståndares energiska press, Liverpool medgav ett hörn och, från det, Swanseas £ 15m rekord signering Borja på väg över mål för Fer att vända bollen in från en gård ut.
De taggade besökarna kunde ha medgett en annan hade Borja inte varit så egensinnig med en fri rubrik - och Liverpool fans kan ha fruktat en annan svår tur historia, liknar deras enda nederlag för säsongen i Burnley, den 20 augusti.
Besökarna förbättrades dock kraftigt under den andra halvan då de återtog sin senaste imponerande form och utjämnades tack vare mer ostadiga set-piece försvar, som Firmino på väg in från nära håll.
Klopps sida dominerade från den punkten och efter att de först omintetgjordes av envis Swansea försvarare, slog de till slut när Angel Rangel knuffade Firmino i ryggen och Milner lugnt konverterade straffet.
I skarp kontrast till sina högt flygande motståndare, Swansea in i spelet mitt i en torr stavning ordförande Huw Jenkins beskrivs i matchprogrammet som den svåraste av sina 12 år vid rodret.
Guidolin framtid förblir i balans, med sin sida bara en punkt över nedflyttningszonen och utan en liga seger sedan slå Burnley den 13 augusti.
Hans spelare svarade utmärkt på hans svåra situation, trakassera Liverpool med en högoktan första halvan display.
Men de var överväldigade efter intervallet och var maktlösa att stoppa Guidolin lider en tredje på varandra följande liga nederlag för första gången i hans upplåtelse.
Hans ställning är nu lika osäker som någonsin.
Även om Swanseas ägare har börjat sammanställa en lista över potentiella efterträdare i händelse av Guidolins avskedande, angav de i förväg att italienaren skulle få tid att vända klubbens förmögenheter.
Mediauppspelning stöds inte på den här enheten
Efter ännu ett spel utan vinst, dock, den tiden kan vara på väg ut för Guidolin.
Swansea boss Francesco Guidolin:
"Spelarna gav mig ett bra svar. Vårt förhållande är bra. Det är inga problem mellan mig och mina spelare.
"Jag vet inte [om framtiden]. Det är inte mitt beslut. Det är bara för att jag ska förbereda mig för spelet och laget. Jag känner till situationen. Det är en möjlighet. Det viktiga är att förbereda sig med tålamod.
Mediauppspelning stöds inte på den här enheten
"Innan matchen såg jag de nya ägarna Jason [Levien] och Steve [Kaplan] bara för att säga 'hej'. Jag vet inte om det blir möte nästa dag."
Liverpools chef Jurgen Klopp:
"Jag tänkte att vi kunde ha gjort bättre ifrån oss i första halvlek. Vårt kroppsspråk var inte bra, vi var statiska och det var lätt att försvara mot oss. Vi är inte så bra som vi borde ha varit.
"Du måste visa varför vi är här. Vi visade en reaktion, var mer organiserade, tydliga i alla situationer och vi förtjänade att vinna.  Naturligtvis är jag glad att vi har haft två eller tre lysande spel i rad.
"Om Milner är vår bästa målskytt i slutet av säsongen med straff, har jag inga problem med det. Allt är bra. Föreställningen var inte perfekt men det var bra nog."
Efter den internationella pausen står Swansea inför en annan tuff match i Premier League när de beger sig till Arsenal på lördag, 15 oktober (15:00 BST). Liverpool möter våldsamma rivaler Manchester United på Anfield måndagen den 17 oktober (20:00 BST).
Matchändar, Swansea City 1, Liverpool 2.
Andra halvlek, Swansea City 1, Liverpool 2.
Försök missade. Mike van der Hoorn (Swansea City) höger fotade skott från mitten av lådan missar till vänster. Hjälpt av Angel Rangel med ett kors.
Försöket räddades. Divock Origi (Liverpool) höger fotade skott från utsidan rutan sparas i nedre högra hörnet. Hjälpt av Philippe Coutinho.
Försöket räddades. Philippe Coutinho (Liverpool) vänster fotade skott från en svår vinkel till vänster sparas i nedre högra hörnet. Hjälpt av Divock Origi.
Ersättning, Liverpool. Divock Origi ersätter Roberto Firmino.
Ersättning, Liverpool. Emre Can ersätter Georginio Wijnaldum.
Mål!  Swansea City 1, Liverpool 2. James Milner (Liverpool) konverterar straffet med en högerfotad skott till den höga mitten av målet.
Straffet Liverpool. Roberto Firmino drar ett brott i straffområdet.
Straffet medgavs av Angel Rangel (Swansea City) efter ett brott i straffområdet.
Hörnet, Liverpool. Förföljd av Borja Bastón.
Försök blockerat. Joel Matip (Liverpool) huvud från höger sida av sex yard box är blockerad. Hjälpt av Jordan Henderson med ett kors.
Hörnet, Liverpool. Förföljd av Jack Cork.
Försök blockerat. Philippe Coutinho (Liverpool) höger fotade skott utanför lådan är blockerad. Hjälpt av James Milner.
Foul av Joel Matip (Liverpool).
Gylfi Sigurdsson (Swansea City) vinner en frispark på vänsterflygeln.
Försening över. De är redo att fortsätta.
Försening i match Loris Karius (Liverpool) på grund av en skada.
Hörnet, Swansea City. Förföljd av Joel Matip.
Hörnet, Swansea City. Förföljd av Joel Matip.
Försök blockerat. Jay Fulton (Swansea City) huvud från mitten av lådan är blockerad. Hjälpt av Modou Barrow med ett kors.
Hörnet, Liverpool. Förföljd av Modou Barrow.
Substitution, Swansea City. Jay Fulton ersätter Leroy Fer.
Försök missade. Daniel Sturridge (Liverpool) huvud från mitten av lådan missar till vänster. Hjälpt av Philippe Coutinho med ett kors efter ett hörn.
Hörnet, Liverpool. Förföljd av Kyle Naughton.
Försök blockerat. Sadio Mané (Liverpool) vänster fotade skott från mitten av lådan är blockerad. Hjälpt av James Milner.
Försöket räddades. Nathaniel Clyne (Liverpool) höger fotade skott från utsidan boxen sparas i mitten av målet. Hjälpt av Georginio Wijnaldum.
Nathaniel Clyne (Liverpool) vinner en frispark i den defensiva halvan.
Foul av Modou Barrow (Svanenstaden).
Hörnet, Liverpool. Förföljd av Jordi Amat.
Jordan Henderson (Liverpool) vinner en frispark i defensiva halvan.
Foul av Gylfi Sigurdsson (Swansea City).
Substitution, Swansea City. Ki Sung-yueng ersätter Leon Britton.
Substitution, Swansea City. Modou Barrow ersätter Wayne Routledge.
Hörnet, Liverpool. Förföljd av Angel Rangel.
Försök blockerat. Georginio Wijnaldum (Liverpool) höger fotade skott utanför lådan är blockerad. Hjälpt av Nathaniel Clyne.
Försök missade. Philippe Coutinho (Liverpool) höger fotade skott utanför lådan är nära, men missar till höger. Hjälpt av Georginio Wijnaldum.
Sadio Mané (Liverpool) vinner en frispark i den defensiva halvan.
Foul av Jack Cork (Swansea City).
Mål!  Swansea City 1, Liverpool 1. Roberto Firmino (Liverpool) huvud från mitten av rutan till nedre vänstra hörnet. Hjälpt av Jordan Henderson efter en viss situation.
James Milners sena straff gav Liverpool en hårdnackad seger över Swansea, vilket ökade granskningen av Swans boss Francesco Guidolin.