У ньому налічується 59 населених пунктів, об'єднаних у 13 сільських, 1 селищну та 1 міську ради. Крім того, на території району розташоване місто обласного підпорядкування Рубіжне. Своє найменування район отримав від міста Кремінної, заснованого близько 1680 р.