 며칠 후 아버지는 북으로 진격하느라 나와 헤어졌고, 우리는 외할머니와 친할머니 가족들을 모두 모시고 서울 청파동집으로 돌아왔다. 그때 두 할머니는 잠시 서울에 다니러 온 것인데, 1·4후퇴 때문에 다시는 평양으로 돌아가지 못하고 말았다. 중공군 참전으로 국군이 평양에서 후퇴하자, 아버지는 연락병을 보내 서둘러 부산으로 이사하라고 했다. 우리는 간단히 짐을 꾸려 최형진씨가 운전하는 차를 타고 한강을 건넜다. 천안 국도변에서 트럭과 충돌하는 사고를 겪고 천신만고 끝에 부산 큰아버지댁에 도착했다. 길거리를 헤매는 아이들에게 과자를 사 주고, 고아원으로 안내해 준 일도 있었다. 아버지는 육군본부 작전국장으로 발령을 받았고, 우리 가족은 육군본부가 있던 대구로 함께 떠났다.
 1952년 이승만 대통령이 사실상 직선제 개헌안인 발췌개헌안을 관철시키려 했던 ‘부산정치파동’을 일으키자, 육본 작전국장이었던 아버지는 이종찬 장군과 함께 군의 중립을 지키면서 병력차출을 거부했다. 작전국장 시절, 아버지는 박정희 대령을 작전국 차장으로 임명했다. 아버지는 종종 어머니에게 “내가 참모총장을 한다면, 후임을 할 만한 사람은 박정희뿐이야”라고 말했다. 아버지의 부관과 사병들은 “다른 장군들은 부하 장병들에게 욕하고 반말을 예사로 하는데, 이용문 장군은 전혀 그렇지 않다”고 했다.
 그 당시 김창룡(金昌龍)의 특무대는 위세가 대단했다. 특무대장의 계급이 대령임에도 불구하고 장군들이 김 대장을 보면 먼저 깍듯이 인사했다고 한다. 그러나 아버지만은 군의 위계질서를 지키기 위해 그렇게 하지 않았다. 고분고분하지 않는 아버지에게 김창룡 특무대장의 감시의 눈초리가 날카로웠다고 한다. 하루는 우리 집을 자주 찾는 분 가운데 장태화(張太和·서울신문 사장 역임)씨가 있었다. 그는 작전국 문관이었다. 아침 일찍 또는 저녁 무렵 찾아와 아버지에게 정보 상황을 보고하곤 했다. 하루는 특무대에서 장태화씨를 감금해 조사한다는 소식이 들렸다. 수도사단장이었던 아버지는 특무대장 승인도 없이 데리고 나와 버렸다.

중공군 참전으로 국군이 평양에서 후퇴하자, 아버지는 연락병을 보내 서둘러 부산으로 이사하라고 했다. 우리는 간단히 짐을 꾸려 최형진씨가 운전하는 차를 타고 한강을 건넜다. 천안 국도변에서 트럭과 충돌하는 사고를 겪고 천신만고 끝에 부산 큰아버지댁에 도착했다.