I problemi di salute ma soprattutto la volontà di volersi specializzare sempre più nelle patologie femminili, spinse Sims a trasferirsi nel 1853 a New York. Qui decise di rendere il più possibile concreto il suo impegno presentando subito una proposta di apertura di un'intera struttura specializzata unicamente all'ambito femminile. Dopo due anni passati in attesa di approvazione e di fondi, non senza difficoltà e opposizioni, riuscì, con l'aiuto soprattutto di nobildonne influenti ed interessate in prima persona al progetto, ad inaugurare un piccolo ospedale nel 1855. Questa nuova struttura prese il nome di "Woman's Hospital of the State of New York" e fu il primo ospedale ginecologico americano. Si riscontrò immediatamente la necessità di aumentarne le dimensioni tanto che nel 1857 Sims riuscì ad averne il permesso e con esso 50.000 dollari di finanziamento. Fu proprio in questa struttura che si otterranno molti progressi nell'ambito della chirurgia ginecologica, oltre che per il contributo di Sims, grazie anche all'operato di altri medici come Edmund Peaslee (1814-1878), Thomas Addis Emmet (1828-1919) e Theodore Gaillard Thomas (1831-1903). Anche in questa situazione però Sims fu duramente criticato per le metodiche adottate: usava infatti operare le donne in anfiteatri in maniera tale che tutti coloro che volessero seguire gli interventi ne avessero la possibilità, senza però considerare le condizioni di imbarazzo e di disagio cui sottoponeva le pazienti.