Mediauppspelning stöds inte på den här enheten
Glenavon hade tagit ledningen på 34 minuter när Kyle Neills hörn gick rakt in på långt håll.
Kirk Millar och Andrew Waterworth gjorde två för att sätta Linfield 3-1 upp med Kris Lindsay dra en tillbaka.
Glenavon drog nivå när Andy Kilmartins skott avleds av lagkamrat Eoin Bradley men Mark Haughey fick vinnaren med en avböjd rubrik.
Linfields Kirk Millar: " Vi gjorde det svårt för oss själva i slutändan, men Mark Haughey grävde ut oss med en rubrik för vinnaren.
"Vi borde ha vunnit spelet innan det och vi gjorde det svårare än det borde ha varit.
"Det var på tiden att jag slog i nätet. Jag var tvungen att springa eftersom du vet att en spelare av Niall Quinns kvalitet kommer att leverera bollen.
"Andrew Waterworth är bara en naturlig målgörare och han gav oss kanten i första halvlek."
Linfield bibehöll sin fyrapunkts ledning på toppen av Irish Premiership genom att slå Glenavon 4-3 på Windsor Park.