Femfaldig världsmästare O'Sullivan kom från 3-0 ner för att jämna ut matchen innan kollegan Englishman Holt tog den avgörande ramen med en paus av 76.
Patriot Peter Ebdon, 30th i rankingen, chockade värld nummer tre Neil Robertson 4-3 på Venue Cymru.
Ebdon möter nu Kinas Ding Junhui, som slog 4-3 engelsman Ben Woollaston.
World nummer 31 Holt gjorde en lysande 119 och 88 för att etablera en tidig fördel mot O'Sullivan, men förra årets tvåa sammanställde en 86 som han drog nivå.
O'Sullivan missade ett rött till centrum i beslutspersonen när Holt ordnade ett andra-round möte med Liang Wenbo eller Graeme Dott.
Joe Perry slog Barry Hawkins 4-0, och kollegan Martin Gould såg av Kinas Tian Pengfei med samma marginal.
I rond två, kommer Perry att spela vinnaren av onsdagens match mellan walesaren Jamie Jones och Englands Kyren Wilson.
Gould möter Michael White eller Shaun Murphy, 2005 års världsmästare, i nästa omgång.
Ryan Day gick framåt med en 4-1 seger över Matthew Selt, medan John Higgins slog kollegan Scot Stephen Maguire 4-0.
Vinnaren av Grand Prix kommer att tjäna 100 000 pund i prispengar.
Michael Holt överlevde en Ronnie O'Sullivan comeback för att vinna 4-3 i den första omgången av World Grand Prix i Llandudno.