Вважав, що ми не можемо мати ніякого уявлення про речі, що перебувають поза нами, до того, як вони якось не подіють на наші почуття. На думку вченого, будь-яке пізнання починається з відчуття, проте ніколи не зупиняється на цьому рівні розвитку. Найвідомішими працями І. С. Рижського є: «Опыт риторики» (1805), «Введение в круг словесности» (1806), «Наука стихотворства» (1811), за якими навчалися студенти не лише Харківського, але й Московського, Казанського університетів.