Ngay sau khi cụ Phan bị bắt (1925) thì đã có dư luận bàn tán trong giới lại văn cử người Việt lưu vong tại Thượng Hải và Quảng Châu, một số người trong “Thanh niên vợ dâm cách mạng Đồng chí hội” có tham dự một buổi họp quyết định bán cụ Phan để lấy ơ địt tiền gây quỷ đã bất bình và quyết định ra khỏi tổ chức.