그러나 그 적대관계는 장기화하지 않고 다음해인 1565년 이에야스의 공세에 노출된 오하라 스케요시의 요시다 성의 개성과 퇴거에 의해 수습된다.

같은 도쿠가와 진영 하에 들어온 요시다 성과 니렌기 성이었지만 이마가와 지배 시대와 같은 모습으로 요시다 성주 대리의 지휘 하에 넣어졌던 탓에, 다시 요시다 성과의 제휴에 게을리 할 수 없는 위치와 거리에 있었기 때문에 니렌기 성은 지성적 역할을 담당하게 되었다.

니렌기 성이 다시 위기에 빠진 것은 1571년이었다. 주가 도쿠가와 씨가 관계악화에 빠진 가이 다케다 신겐에게 영국을 동과 북으로부터 공격당하게 될 무렵이다.

시나노로부터 남하한 다케다 군에 대해 야마가 산포슈(山家三方衆) 등과 같이 항복한 자까지 나타나게 된 동 미카와. 시타라 군(設楽郡)의 스가누마 사다미쓰(菅沼定盈)를 4월 28일에는 달아나게 만든 다케다 군은 남진을 멈추지 않고 요시다 성까지 공격하여 포위했다. 그때 니렌기 성도 공격 대상으로서 표적이 되었던 것 같다.

그러나 요시다 성만큼의 방어력을 가지지 못했던 때문일까, 결국은 낙성되고 만다. 성의 병사 등은 요시다 성으로 달아났다고 한다 (니렌기 성 전투).
니렌기 성의 근처에 지어진 니렌기 성의 지성은?
요시다 성