Tåget bar på ett brandfarligt giftigt ämne som kallades akrylnitril när det gick av rälsen nära Maryville, strax utanför Knoxville.
Brandmän evakuerade människor inom två kilometers radie från branden för att hindra dem från att andas in de giftiga rökerna.
Polisen sa att sju poliser var inlagda på grund av röken.
Tåget drog 57 vagnar av blandad frakt från Ohio till Georgien när det spårade ur strax före midnatt på onsdag, tågets operatörer CSX sade i ett uttalande.
En av vagnarna som transporterar akrylnitril brann i lågor.
Akrylonitril är en kemisk förening som används för tillverkning av plast. Tjänstemän säger att det är "mycket brandfarligt och giftigt" och kan orsaka huvudvärk, illamående och njurirritation vid inandning.
Brandmän med andningsutrustning gick från dörr till dörr och bad Maryvilles invånare att flytta till tillfälliga skyddsrum, varav en har inrättats i en skola utanför riskområdet.
Lokalbefolkningen har fått veta att evakueringen kan pågå i upp till 48 timmar.
Mer än 5 000 invånare i delstaten Tennessee har evakuerats efter att ett godståg med giftiga kemikalier spårade ur och blev beskjutet.