Ngày 27 tháng 5 năm Tân Dậu (1801), Trần Quang Diệu hạ được thành Quy Nhơn nhưng trước đó thành Phú Xuân đã lọt vào tay Nguyễn Phúc Ánh. Nghe tin quân Tây Sơn bị thua ở Nhật Lệ, Trấn Ninh và Nguyễn Phúc Ánh đã hoàn toàn làm chủ cả vùng đất Thuận Hóa, Võ Văn Dũng cùng Trần Quang Diệu đem 3.000 quân cùng 80 thớt voi theo đường sạn đạo sang Lào để ra Nghệ An vào thượng tuần tháng 3 năm Nhâm Tuất (1802). Vì đường đi khó khăn, lại gặp lam sơn chướng khí khiến đoàn quân ngày càng hao hụt. Lớp thì bị bệnh, lớp bị bọn thổ ty theo nhà Nguyễn tập kích, nên khi đến Nghệ An số quân lúc đầu mười phần về sau chỉ còn ba, bốn phần. Đoàn tượng binh chỉ còn mươi thớt. Quân tướng hầu hết đều bị sốt rét rừng. Tại Hương Sơn, Võ Văn Dũng cùng Trần Quang Diệu và các tướng bị tướng nhà Nguyễn là Võ Doãn Văn, Lê Đức Định bắt sống.
Ở Diễn Châu, Bùi Thị Xuân hay tin đem nữ binh đi giải cứu. Khi đến Giáp Sơn thì giải cứu được, nhưng chạy đến sông Thành Chương thì vợ chồng Trần Quang Diệu, Bùi Thị Xuân bị bắt trở lại. Một mình Võ Văn Dũng mở đường máu thoát chạy. Nhưng chạy đến vùng Nông Cống, thuộc Thanh Hóa thì Võ Văn Dũng cũng bị bọn Lê Văn Pháp, Phạm Ngọc Thụy kéo dân địa phương ra bao vây.
Một mình với một thanh đoản đao, Võ Văn Dũng đã đánh thắng hai tướng Lê Văn Pháp, Phạm Ngọc Thụy, nhưng vì quá yếu sức bởi gian lao đói khát, nên không chống lại đám đông, đành buông đao chịu trói. Sau đó, bộ ba Dũng, Diệu, Xuân bị đóng cũi giải về Nghệ An. Dọc đường, Võ Văn Dũng phá cũi, thoát ra ngoài, ông giải cứu luôn cả vợ chồng Trần Quang Diệu, Bùi Thị Xuân, song hai chân của Trần tướng quân bị sưng phù, không thể chạy trốn được. Bùi nữ tướng đành ở lại chịu chết cùng chồng.
Một mình Võ Văn Dũng lặn lội suối đèo, ngày nghỉ đêm đi, sau nhiều tháng mới về đến quê hương. Trong đêm tối, ông ghé thăm nhà tại Phú Phong, đốt hương lên bàn thờ tổ tiên, rồi âm thầm ra đi. Ông đến sống tại các làng người dân tộc vùng cao trước kia đã từng một thời hợp tác với nhà Tây Sơn, mong có ngày gầy dựng lại cơ đồ của nhà Tây Sơn. Thời gian ấy, tại các vùng núi Tây Sơn thượng đều lưu vết chân ông. Các thôn Đồng Phó, Hà Nhung thường là nơi ông lưu trú lâu nhất. Tại An Khê, ông chiêu mộ được một số người dân tộc thiểu số, lấy hòn Hội Sơn ở Trinh Tường làm căn cứ quân sự. Do đó nhân dân địa phương thường gọi hòn Hội Sơn là hòn Ông Dũng và gọi tắt là hòn Dũng.
Khi hợp tác cùng các sắc tộc vùng núi, Võ Văn Dũng ban đầu được sùng bái, sau lần lần vì thế lực của ông không có mà quyền thế của Nguyễn Phúc Ánh ngày càng vững mạnh, nên các sắc tộc vùng núi tỏ ý lơ là, không muốn hợp tác với ông nữa. Vì vậy, ông bỏ hẳn vùng Tây Sơn thượng trở về hoạt động ở vùng cận quê hương. Các vùng ven sông Côn như Tiên Thuận, Vĩnh Thạnh, Kiên Mỹ đều nằm trong phạm vi hoạt động của ông.
Để chuẩn bị cho một cứ điểm ẩn náu cuối cùng, Võ Văn Dũng đã đi sâu vào vùng Lộc Đổng, Hầm Hô, tìm những hang động rộng rãi, kín đáo để chuẩn bị cho việc ẩn náu lâu dài. Trong khi hoạt động ở vùng Tây Sơn thượng, Võ Văn Dũng đã có một thời đến sống trong rừng mộ điểu và ông đã đón hai con của vua Thái Đức là Văn Đức, Văn Lương và cháu nội là Văn Đẩu về ở trong binh trướng. Sau khi người dân tộc không còn hợp tác với ông và có âm mưu phản bội, ông đã đem ba chú cháu Văn Đức lên hòn núi Xanh ẩn náu. Năm Minh Mạng thứ 12, tưởng thời gian đã xóa đi các liên hệ tranh chấp, ba chú cháu Văn Đức về thăm quê hương ở Kiên Mỹ thì bị quan lại địa phương bắt giải về Phú Xuân giết chết. Còn lại trơ trọi một mình, Võ Văn Dũng sống cuộc đời tiêu diêu tự tại, phiêu định rày đây mai đó. Cho đến nay, ông mất ngày nào, tại đâu, không ai biết rõ.
Lời bàn về Võ Văn Dũng
Không phải chỉ có người đương thời, mà đến nay hay mãi mãi về sau, nếu đã là con dân đất Việt thì tất thảy đều phải cung kính tôn vinh Quang Trung - Nguyễn Huệ là đấng anh hùng kiệt xuất của dân tộc, là người có uy danh lừng lẫy, một thống soái tài ba, một nhà quân sự với nghệ thuật điều binh khiển tướng đại tài. Và công bằng mà nói, nhà Tây Sơn sẽ không làm nên nghiệp lớn nếu không có Quang Trung - Nguyễn Huệ. Tuy nhiên, một mình Quang Trung cũng không thể đưa khởi nghĩa Tây Sơn đến với chiến thắng quân Xiêm ở phía Nam và đập tan 30 vạn quân xâm lược của nhà Thanh ở phía Bắc.
Cho nên người xưa mới có câu rằng: "Minh quân, lương tể tao phùng dị". Câu này có nghĩa hễ ở đâu có "minh quân" - vua tài, thì ở đó ắt có "lương tể" - tướng giỏi. Nói theo cách khác là ở đâu có vị thống soái tài ba lỗi lạc thì ở đó ắt sẽ có những tướng lĩnh tài giỏi và nhất mực trung thành. Nhà Tây Sơn lúc dựng cờ khởi nghĩa cũng như về sau đã được nhiều anh hùng nghĩa sĩ phò tá. Có người đã hy sinh cho đại cuộc một cách vẻ vang. Có người đã đi suốt cuộc chiến, tồn tại và phải mai danh ẩn tích sau khi nhà Tây Sơn bị suy vong. Trong số đó có danh tướng Võ Văn Dũng, một Đại Tư Mã, một tướng giỏi cả bộ chiến lẫn thủy chiến. Cuộc đời và sự nghiệp của ông có nhiều điều đáng để hậu thế hôm nay và mãi mãi về sau phải suy ngẫm.