귀래정과 관리사가 전후로 연접하여 담장으로 둘러싸여 있다. 귀래정 담장의 높이는 예전보다 한단 정도 높아지고 삭풍이 부는 북쪽 담장을 제외한 나머지에는 4등분한 양단부에 각각 2개씩 있었던 낸 바람구멍이 없어졌다 한다. 바람구멍은 곽내의 공기 순환을 목적으로 낸 것으로 크기는 사람의 목이 드나들 수 있는 정도의 방형이었다. 통풍구는 자연의 이치에 따른 바람 길을 이용하여 쾌적한 환경을 갖게 한 지혜로운 시설로 아주 귀한 예다. 귀래정의 출입은 전방의 담장 가운데에 낸 사주문과 뒤쪽 관리사와 통하는 일각문으로 드나든다. 사주문을 들어서면 앞쪽에 ⌟형으로 감싼 연지가 조성되어 있고, 건너는 다리 너머에 귀래정이 남향으로 앉아 있다. 연지는 흔치 않은 형태로 길잡이 역할을 하고 수명과 복을 관장한다는 북두칠성을 형상화 한 것이라 한다. 연지 물은 용천수로 채워지고, 출수는 남서쪽 모서리부에 있다. 연지가 건물을 감싸는 특이한 형태로 조성한 경우는 흔치 않다. 다리는 현재 화강석 다리이나 옛 사진을 보면 원래 외나무 다리였음을 알 수 있다. 다리를 건너면 정자 앞쪽 좌 우에 각기 4개와 2개의 검은색 괴석 6개가 놓여 있다. 괴석은 계수나무를 상징하고 이들 중 맨 좌우측 끝에 있는 두 개의 큰 괴석은 각각 어래산과 문중산을 바라보게 했다. 어래산은 서쪽 멀리 있고, 문중상은 좌측 가까이 있는 산으로 그 연유는 알 수 없다. 계수나무는 정자가 풍요를 상징하는 달이 되게 함이라 한다. 이런 조경의 전반은 도교적 신선사상 등에 따라 상징과 의미를 부여한 것으로 귀래정에서만 찾아 볼 수 있는 고유함이다. 곽내의 남동과 북서 모서리에는 회화나무가 1주씩, 남서와 북동쪽에는 향나무 1주씩, 동편과 서편에는 각각 배롱나무와 동백나무가 있다. 모서리의 회화나무는 잡신을 배척하기 위해 심은 것으로 민간신앙적 주술이다.
귀래정의 조경은 도교적 신선사상 등에 따른 상징과 그 의미를 부여받았으며, 이는 귀래정만의 고유성이다. 잡신을 배척하기 위한 회화나무와 정자가 풍요를 상징함을 바라며 심은 계수나무가 그 예라고 할 수 있다. 