Brandmän kallades till fastigheten i Lon Tanyrallt, Alltwen, nära Pontardawe, kl. 01:40 BST på onsdag.
Jac Davies räddades från ett sovrum på övervåningen men dog på platsen.
Hans treårige bror räddades också och fördes till Swanseas Morriston Hospital tillsammans med sin syster, sex, en elva månader gammal bror och deras mor som alla hade lyckats undkomma branden.
De led alla av misstänkt rökinandning som inte anses vara livshotande.
I en hyllning sade hans mor, Jennifer Davies, i ett uttalande: "Min stora, stiliga blåögda pojke - du är mitt liv, min värld, mitt allt och kommer aldrig att glömma dig.
"Gå och rid ditt tåg upp till himlen och vänta på mig.
"Kelsey, Riley och Andrew kommer alltid att minnas dig."
Mid and West Wales Fire and Rescue Service sade Ms Davies, bad om hjälp och grannar försökte komma in för att hjälpa de strandsatta barnen.
Orsaken till branden utreds av polisen och brandkåren.
Chris Margetts, chef för brandkåren, beskrev branden som "mycket allvarlig" men sa att rökdetektorer kan ha väckt larmet.
Han tillade: "Det är en mycket nära gemenskap, och specialteam från brand- och räddningstjänsten kommer att arbeta med samhället under de kommande dagarna."
Utanför familjens hem stod synbart chockade grannar på gatan med händerna över munnen och försökte förstå tragedin.
En kvinna tröstades av en polis när hon lade en blommig hyllning på scenen tillsammans med två nallar.
Ett kort med några blommor sade: " Till Jack. Så tråkigt att höra att du tyvärr är borta. Harry kommer att sakna dig, se dig le och leka med dig i skolan. Borta för ung."
South Wales Police Det Ch Insp Esyr Jones, av Swansea och Neath Port Talbot CID, sade: "Jag skulle vilja att alla vittnen eller någon inblandade på platsen som ännu inte har talat med polisen att komma fram med någon information de kan ha."
En fyraårig pojke har dött efter en brand i ett hus i Neath Port Talbot.