Trong lúc đó, về phía quân đội thì lại có một nhóm sĩ quan bất mãn với đại Tướng Cao Văn Viên, Tổng Tham Mưu Trưởng QLVNCH. Theo Trần Văn đôn thì lúc 11 giờ sáng ngày 23-4, Trung Tướng Vĩnh Lộc, Trung Tướng Nguyễn Bảo Trị, Đại Tá Nguyễn Huy Lợi, Đại Tá Vũ Quang và Đại Tá Trần Ngọc Huyến đã đến nhà ông và yêu cầu chỉ định người khác thay thế Đại Tướng Viên vì ông nầy “không đủ khả năng, không làm đúng bổn phận,làm việc không hữu hiệu”. Ông Trần Văn Đôn lúc đó là Xử lý Thường Vuụ Tổng Trưởng Quốc Phòng đã trả lời rằng “tình hình đã thay đổi, tự nhiên rồi cũng có người thay thế ông Viên”. Thực ra thì ông Trần Văn Đôn đã biết rõ rằng Đại Tướng Cao Văn Viên nhất quyết không phục vụ với bất cứ tư cách nào trong một chính phủ do Dương Văn minh lãnh đạo.