Однак, папа Іван XXIII, який перебував увесь час в Авіньйоні, не визнав цієї коронації. Тоді Людвіг звинуватив папу в єресі й влаштував у Римі вибори нового папи Миколая V. Перед загрозою військ короля Неаполя Роберта Людвіг Баварський відступив з Рима, забравши з собою свого папу. Надалі Миколай V не знайшов підтримки кліру, й 1330 року здався Івану XXII.