З 8 грудня 1919 по 21 листопада 1920 року — член Революційної військової ради 14-ї армії РСЧА, відповідальний за забезпечення військ. 6 грудня 1919 року за рішенням Південного фронту Рухимович на визволених від денікінських військ теренах входить до складу заново створенного Харківського революційного комітету. У 1919—1920 роках — член Революційної військової ради Української РСР.