196년 조조의 서주(徐州) 침공에 난리를 피해 형주로 이주한 후 마침 손책이 죽고 손권 누나의 남편 홍자(弘咨)에게 천거되어 손권을 섬겼으며, 노숙과 함께 빈객의 대우를 받았다. 후에 장사(長史)가 되고, 중사마(中司馬)로 전임되었다. 건안 14년(214년), 유비가 촉을 손에 넣자 사자로 파견되어 형주를 돌려줄 것을 요청했으나, 유비는 돌려주지 않았다. 손권은 장사, 영릉, 계양 3군을 빼앗아 한동안 유비와 분쟁 상태에 있었으나, 20년(215년), 제갈근은 촉에 파견되어 유비와 우호를 맺어 양측은 강하, 장사, 계양을 손권에게 주는 것으로 마무리지었다. 아우 제갈량과는 공적으로 만났으나, 사적으로는 대면하지 않았다.

제갈근은 손권과 더불어 대화하면 비유로써 간하여 직접적으로 말하지 않았다. 손권의 뜻에 맞지 않으면 다른 이야기를 하다가 다른 일에 기대어서 꼬투리를 만들고, 비슷한 것으로 이해를 구했다. 이로써 손권의 마음은 왕왕 풀렸다. 손권이 오군태수 주치에게 원망을 품은 것을 풀어 주었으며, 교위 은모(殷模)를 신하들의 만류에도 불구하고 죄를 준 것도 용서하게 하였다. 훗날 우번이 직선적인 성격으로 쫓겨났을 때에도 제갈근만은 우번을 위해 손권을 달랬었다.

219년, 관우 토벌에 참가하였으며, 수남장군으로써 여몽을 대신하여 남군태수를 겸임하여 공안에 주둔했다. 221년, 유비가 쳐들어오자 손권은 평화를 구하여, 제갈근은 유비에게 화친의 편지를 보냈다. 당시 제갈근이 유비와 내통하고 있다는 참언이 돌았으나, 손권은 전혀 듣지 않고, 제갈근을 깊이 신뢰했다. 황무 원년(222년), 좌장군 · 공안독 · 가절이 되었고 완릉후에 봉해졌다. 손권이 조비의 인질 요구를 거부하자, 위나라는 대대적으로 군사를 일으켜 오나라를 쳐, 유수, 동구, 강릉 세 방면으로 왔다. 제갈근은 양찬, 손성, 반장(潘璋)과 함께 대군을 거느리고 강릉성의 주연을 도와 하후상, 장합, 조진, 서황과 싸웠다. 제갈근은 강 가운데 섬을 점령하고 수군을 나누었는데, 하후상이 밤에 유선을 가지고 보기 1만 명을 이끌고 하류에서 몰래 강을 건너, 제갈근의 배를 불태우고 수륙병진하니 제갈근이 격파당했다. 한편 손성도 장합의 공격을 받고 퇴각해 주연은 궁지에 몰렸다. 제갈근은 이미 한 번 격파를 당했고, 이듬해 3월 조진에게 중주마저 넘겨줬으나, 도리를 살펴 기복에 의존하지 않고, 봄물이 날 때 부교를 띄우고 반장과 함께 진공하여 마침내 위나라 군대를 물렸다. 손권은 당초 제갈근이 임기응변을 쓰지 않는 것을 원망했으나, 결국 큰 공은 없어도 병사를 잃지 않고 적을 몰아낸 것을 공으로 삼았다.

황룡 원년(229년), 손권이 황제가 되자 제갈근은 대장군 · 좌도호가 되고 예주목을 겸임했다. 동 5년(234년), 손권이 제갈량의 5차 북벌에 호응하면서 육손과 함께 강하 면구에 주둔했다. 육손이 손권에게 한편을 파견하여 상황을 보고하고 돌아오게 했는데, 그만 위군에 사로잡혀버렸다. 제갈근은 실정이 들통나고 또 손권은 회군했으므로 육손에게 편지를 보내 퇴각하기를 구했으나, 육손은 답장은 하지 않고 여유로운 모습을 보여주었다. 제갈근이 직접 찾아가자, 육손은 곧장 퇴각하기 어려운 까닭을 밝히고 제갈근과 함께 계획을 세워, 피해를 입지 않고 퇴각했다. 오래 자식이 없던 제갈량에게 둘째 아들 제갈교를 양자로 들여보냈다.

손권이 교사 여일을 신뢰하여, 여일은 교사의 직위를 남용해 수많은 관리들을 투옥시켰다. 나중에 손권은 여일을 주살하고, 신하들에게 국정의 의견을 구했으나, 답이 없었다. 손권은 조서를 내려 제갈근, 보즐(步騭), 주연, 여대를 질책하였고, 또 자신의 잘못을 적극적으로 간언할 것을 요구했다. 제갈근은 곧 상황에 근거하여 대답했다.

적오 4년(241년), 손권이 대규모로 위나라를 정벌하여, 제갈근은 조중 땅을 취했다. 그러나 전종(全琮)이 왕릉에게 참패하였으므로, 제갈근 등 다른 전선의 장수들도 모두 퇴각하여 6월에 돌아왔다. 제갈근은 다음 윤달에 죽었다. 유언으로 모든 것을 검소하게 하도록 했다. 맏아들 제갈각은 자신의 공로로 이미 작위를 받았고, 둘째 제갈교는 제갈량에게 양자로 갔기에, 셋째 제갈융이 제갈근의 작위를 계승했다.
건안 20년에 손권은 촉으로 가서 누구와 좋은 관계를 만들었는가?
유비