Forfar är sju punkter från Arbroath, som rör sig över Elgin City genom att slå dem 3-2.
Edinburgh City utökade sin oslagbara liga till sju matcher med en 0-0 dragning på Clyde's Broadwood Stadium.
Montrose vann 2-1 bort till Berwick Rangers, medan Stirling Albion slog Annan Athletic att flytta från botten plats.
Fraser Mullens frikick gav Cowden ledningen mot Forfar, men Lewis Milne ledde besökarna.
Swankies första strejk gav tillfälligt hans sida ledningen, bara för Mullen att konvertera en annan frikick.
Kris Rentons strejk satte värdarna framför, Josh Peters sköt Forfar nivå igen och Swankies vänster-fot skott i stoppage tid bestämde matchen.
Det var också sent drama på Gayfield, där Elgin flyttade in i en två-måls ledning genom strejker av Brian Cameron och Chris McLeish.
Bryan Prunty körde Arbroath tillbaka in i matchen och satte sedan Steven Doris att utjämna.
Värdarna hade on-loan Dundee United försvarare Jassem Sukar skickade iväg för en andra bokning och Elgins Thomas Reilly drabbades av samma öde.
Det var ytterligare en twist i berättelsen som Keiran Stewart fouled Colin Hamilton och Doris konverterade den resulterande straffet.
Det var en tidig spot-kick som gav Annan ledningen på Forthbank Stadium, Max Wright scoring efter Ross Smith hade hindrat Aidan Smith.
Darren Lee Smiths strejk och Ross McMillans huvud vände matchen i Stirlings favör i första halvlek och Dylan Nguene Bikey sköt Albions clinching mål 15 minuter från slutet.
Ryan Ferguson och ersätta Jonny Court nettade båda sidor av Michael McKennas leveler som Montrose hävdade sin andra raka seger över Berwick, med alla tre mål kommer i den andra halvan.
Gavin Swankies sena vinnare gav Scottish League två ledare Forfar Athletic en 4-3 seger över Cowdenbeath, som sjunker till foten av bordet.