За словами Олександра Лугового, Рафес «за большевиків, на становищі голови Чека в Київі з садистичною насолодою примушував повзати перед ним на колінах жінок своїх колишних співтоваришів з уряду УНР». На хвилі цього ліворадикального екстремізму в серпні 1919 р. Комфарбанд був включений до складу Комуністичної партії України, хоча за рішенням 2-ї конференції Євсекції (червень 1919 р.) при ліквідації Комфарбандів їх члени підлягали індивідуальному прийому в комуністичну партію. Рафес був дуже активний в Євсекції, і на її 3-й конференції (липень 1920 р.) він очолював центристське крило, що виступало проти як розпуску Євсекції (пропозиція лівого крила), так і перетворення її в автономну єврейську організацію в партії, прихильники збереження, «так як вона повинна виконати важливу роль на єврейській вулиці». В період радянсько-польської війни (1920) Рафес був направлений центральним партійним керівництвом у Вільно як голова Ліквідаційної комісії.