Ett område i staden nära poolen hade evakuerats för större delen av morgonen och tidigt på eftermiddagen.
Andra invånare i närheten hade fått rådet att öppna fönster, hålla sig inomhus nära väggar och undvika att gå ut.
En uteslutningszon är fortfarande i kraft vid floden medan experter gör havsgruvan säker som upptäcktes på måndagen.
Det tros vara en brittisk gruva från 1940-talet eller 1950-talet.
Evakueringen påverkade tre gator, med bredare säkerhetsråd utfärdade till boende inom 500 m från anordningen.
Det fanns också en undantagszon till havs på omkring en halv kilometer, och små båtägare uppmanades att inte segla under operationen.
Caledonian MacBrayne rapporterade en del störningar i färjetrafiken, vilket påverkade seglingen från Gourock och Rothesay.
Ch Insp Elliot Brown, lokalbefälhavare för Inverclyde, betonade att evakueringen hade varit en försiktighetsåtgärd och att det inte fanns någon omedelbar fara för samhället Gourock.
Löjtnant Tim Castrinoyannakis, officer vid Royal Navy's Northern Dykning Unit, sade att på grund av försämringen av gruvan var det inte möjligt att dra slutsatsen hur mycket explosivt material det fortfarande innehöll.
Han sade att man på grund av detta beslöt att flytta den till en säkrare plats innan man tog itu med den.
Inverclyde rådet sade: "Tack till invånare och företag i Gourock för deras tålamod medan avspärrningen och säkra evakueringsförfaranden genomfördes idag."
Invånarna återvänder till sina hem efter en operation för att flytta en oexploderad gruva som upptäcktes i Firth of Clyde.