Officerare fick en rapport om en attack på en kvinna, 19, vid Gorsed Gardens nära Cardiff Civic Centre kl 04:30 BST på torsdag.
Polisen sa att mannen, 23 från Cardiff, hade gripits misstänkt för sexuella övergrepp.
Han har förts till Cardiff Bays polisstation.
En man har gripits i samband med en påstådd sexattack mot trädgårdar i Cardiffs centrum.