Однак олеські зем'яни, як і князь Свидригайло, не визнавали цього рішення і продовжували боротьбу. Не дочекавшись вірнопідданої делегації з Олеського замку навіть після видання помилувальної грамоти, король Ягайло відправив на здобуття непокірної твердині свої найкращі придворні полки.