Många invånare är "avsatta" vid flytten, enligt en kommunalråd.
Men Shoreline Bostäder sade 52% av lokalbefolkningen backade rivningen av East Marsh block och Comber Place Maisonettes, medan 42% var emot det.
Totalt 457 lägenheter påverkas och kommer att tömmas i oktober, med invånare tillbaka hem under de kommande fyra åren.
Rådsordföranden Steve Beasant, som representerar människor på östra marshavdelningen, sade: " Invånarna är förkrossade på nyheterna.
"De trodde faktiskt att Shoreline började tänka på flervåningshusen igen."
Shoreline sade att det skulle genomföra en studie i april för att ta reda på om det är "överkomligt och lönsamt" att tillhandahålla lämpliga alternativa äldre personers boende.
Företaget tillade att dess anställda vid byggnaderna också skulle påverkas av rivningsbeslutet. En översyn av personalstrukturen ska göras.
En talesman för Shoreline sade: "Vi är övertygade om att detta ligger i Shorelines bästa långsiktiga intresse så att vi kan säkerställa vår fortsatta förmåga att investera i prisvärda moderna bostäder i hela kommunen i flera år framöver."
Sex höghus i Grimsby ska rivas, vilket innebär att hundratals människor måste flytta hem.