За місцевою легендою, яку записав історик XIX століття, священник Микола Трипольський, місто започатковано близько 884 року, і свою назву отримало від імені руського дружинника київських князів Аскольда та Діра — Житоми́ра, що нібито відмовився служити Олегу, сховався в лісах і оселився на високій скелі при злитті рік Кам'янки й Тетерева. Згодом над глибоким (близько 30 метрів) урвищем над Кам'янкою збудували дерев'яний замок (зараз на Замковій горі, у цьому місці розташований філіал обласного архіву).