Det fanns farhågor om byggnadens stabilitet, som har varit förfallen i flera år, efter det att en inre mur kollapsade förra veckan.
Entreprenörer började arbeta på fredag kväll.
Miljöministern Alex Atwood rekommenderade rivning i allmänhetens intresse.
Mary O'Dwyer, ordförande i Foyle Civic Trust, sade en strategisk strategi behövs för det framtida skyddet av arvet i staden efter rivningen.
"Många av våra medlemmar anser att detta är en mycket sorglig händelse.
– Fabriken är en del av vårt industriella arv och mer borde ha gjorts för att rädda den.
"Andra tror att något måste göras eftersom det var en hälso-och säkerhetsfråga", sade hon.
"Vi skulle vilja se ett samförstånd och en strategisk vision av alla de organisationer i staden som har ansvar för att skydda vårt arv."
Foyle Road, som var stängd mellan nedre däck på Craigavon Bridge och John Street rondellen, har återupptagits.
Den tidigare Hamiltons skjortfabrik på Foyle Road i Londonderry har rivits.