Vicesheriffen Hunter Adam gav Bailiff Richard Collas ett brev som informerade honom om beslutet efter en paus för hans styrelse att diskutera sina alternativ.
Biträdande minister Barry Brehaut och deputeradena Elis Bebb, David Inglis och Arrun Wilkie har också avgått.
Tidigare, vicesheriffer röstade för att låta avdelningen att överutnyttja med Â £2,5m.
Detta enhälliga beslut kom dock trots allvarlig kritik mot institutionens hantering av sin ekonomi och dess beslut i november att stänga avdelningar och skjuta upp icke-nödlägesoperationer.
Vice minister Mark Dorey, en före detta socialminister och en nuvarande medlem av statskassan och resurser, röstades för att ersätta vicesheriff Adam.
Han slog den nuvarande bostadsministern Dave Jones med 27 röster mot 16.
Under sitt tal till ledamöterna sade Dorey: "Jag tror att jag skulle få en ny inställning till rollen, som kännetecknas av energi, öppenhet och vilja att lyssna."
Medlemsstaternas medlemmar ajournerade efter hans val för att ge deputerade tid att diskutera nomineringar för de återstående fyra mandaten.
De gick utan motstånd till ställföreträdande Sandra James och ställföreträdande Martin Storey och två tidigare styrelseledamöter, ställföreträdande Elis Bebb och ställföreträdande Barry Brehaut.
Alla föreslogs av den nya ministern och deras nomineringar avlades av den misslyckade ministerkandidaten vicesheriff Jones.
Guernseys hälsovårds- och socialminister har avgått, inför en planerad statsdebatt om ett misstroendevotum.