승언 장군에게는 아리따운 부인 미도가 있었다. 두 사람의 사랑이 무척이나 깊어 좋은 금슬이 밖으로도 소문이 자자할 정도였다. 하지만 장보고의 명령을 받고 출정하게 된 승언 장군은 곧 돌아오겠다는 말을 남기고 부인과 헤어지게 됐다. 부인 미도는 매일 바위에 올라 남편이 돌아오기만을 기다렸다. 그렇게 지낸 세월이 수년이 흘러 부인은 결국 명을 달리하게 됐고, 그녀가 매일서 있던 바위는 애타게 남편을 기다렸던 모습을 닮게 됐다. 그리고 얼마 지나지 않아 그 옆에 커다란 바위 하나가 솟아올랐는데, 사람들은 이를 승언 장군이라 믿었다. 그렇게 할미 할아비 바위란 이름이 생겨난 것이다.
할미 할아비 바위에는 출정으로 헤어지게 된 승언 장군과 부인 미도의 이야기가 담겨 있다.