Midfielder Doughty knivhögg hem i 94:e minuten efter att Millwall misslyckades med att rensa en frikick.
Lee Gregory sprack genom försvaret för att göra sitt 22: a mål för säsongen och dålig försvar tillät Steve Morison att göra det 2-0 till Millwall.
Men Nicky Ajoses straff, efter att Raphael Rossi Branco blev avslöjad, satte igång Doughtys dramatiska avslutning.
Millwall är fortfarande femte och har gått fem matcher utan nederlag, medan Swindon - vars oslagbara körning nu står på sex liga matcher - sjunker till 14: e.
Williams skrev på ett femårigt kontrakt mitt i veckan efter en lyckad trollformel som vaktmästare.
Millwall manager Neil Harris berättade för BBC Radio London:
Mediauppspelning stöds inte på den här enheten
"Jag är väldigt frustrerad, jag är verkligen besviken på resultatet. Jag trodde vi var så bra så länge med och utan bollen.
"Jag tyckte vi var enastående i första halvlek och jag tror i andra halvlek även om Swindon hade all fotboll. På motattacken vi var riktigt bra, vi bara saknade den lilla biten av kvalitet och hänsynslöshet i den sista tredjedelen.
"Om du inte ser spelet av - och det är en mycket tvivelaktig straff mot dig, om den mjukaste straff jag har sett under en lång tid - du är backs-to-the-wall lite."
Michael Doughty tjänade en dragning mot Millwall i Swindons första match sedan Luke Williams utsågs till manager.