Sua internet é 240mb e você tá preocupado com latência? Se te preocupa tanto assim, use apenas um switch de excelente qualidade e cabeie para todos os roteadores. Isso é um condomínio ou uma empresa?
Entendi que já tem um cabo passando para o segundo andar. E que levou o roteador para baixo. O que chama de "modem da NET" é um roteador também? Está configurado como tal? Esta como bridge apenas?