Mark Drakeford har redan bett om ursäkt för skandalen på Tawel Fan- avdelningen på Glan Clwyd Hospital i Bodelwyddan.
Det följde en fördömande rapport om vad som hände med familjer som sa att patienterna behandlades som djur i ett zoo.
Men han sa att förlägenheten för den walesiska regeringen var den "minst viktiga delen" av det hela.
"Det verkliga fokuset är att se till att de familjer och människor som är nära kopplade till vad som hände är att vi korrekt tar hand om vad de behöver," Mr Drakeford berättade BBC Wales.
Han tillade att han ännu inte kommer att träffa någon av dem, men han blev "väldigt imponerad" av hur familjerna har agerat och de "söker efter försäkringar" att det inte kommer att bli en upprepning av vad som pågick.
"Jag är mycket villig att tala med familjerna när tiden är rätt", sade han. "Det här är en tuff tid för dessa familjer."
Det var nog ett misstag att hålla honom där inne.
Drakeford sade på torsdag att han kommer att överväga att sätta Betsi Cadwaladr hälsonämnd i särskilda åtgärder som kan innebära att den walesiska regeringen eller ett annat organ tar över vissa eller alla av styrelsens funktioner.
I en intervju med BBC Radio Wales på fredag sade Drakeford att han kommer att få råd via en "riktig process" som involverar den walesiska regeringen, hälsoinspektionen Wales och generalrevisorn för Wales som kommer att träffas för att undersöka om det behövs ytterligare insatser.
"Det är inte en fråga om en politiker skjuta från höften, gör en off handfängsel beslut," sade han.
"Vi får experterna involverade tillsammans och vi agerar på rätt råd som vi får."
Samtidigt, chefen för patient watchdog North Wales Community Health Council (CHC) sade hälsonämnden behövde en "större nivå av externt stöd och riktning".
Chefsofficer Geoff Ryall-Harvey sa: "Lavinen av negativa rapporter under de senaste månaderna har varit utan motstycke i min erfarenhet av 30 år som CHC-chef."
De familjer av patienter som drabbats av "institutionell misshandel" på en mentalvårdsavdelning i Denbighshire kommer att få en chans att träffa hälsoministern.