王安石其實非常敬重蘇軾，認為蘇軾「乃當今奇才」。但是政見的不同使其在皇帝問他可否用蘇軾時，王安石說：「如果要推行新法，就不能重用蘇軾。」 蘇軾因此感到京城難待，便再三請求外調。之後幾年，他做過通判及杭州、密州、湖州等地的知州。待王安石被罷相，嚴肅的政治鬥爭變成了統治集團內部爭權奪利的傾軋和報復，蘇軾再次變成了其中的不幸者。諫官李定等人大興文字獄，摘出他的一些諷刺新法的詩句，加以彈劾，他被捕入獄，這就是著名的「烏臺詩案」。
過了七年，司馬光上台為相，蘇軾既未完全消除對王安石變法運動的敵意，又不滿司馬光舊黨的澈底倒算，於是舊黨中的一些人把蘇軾看作第二個王安石。他在舊黨之中無法容身，於是又請求外調。後來宋哲宗執政、新黨再度上台，蘇軾的日子卻一天比一天難過，被一貶再貶，從惠州貶到海南島，最後病死在遇赦北歸的旅途之中。
細觀蘇軾的一生，他之所以遭受許多痛苦的折磨，是在於他敢講真話，他自稱「言必中當世之過」，說自己的文章「皆欲酌古以御今，有意乎濟世之實用」。二是小人妒嫉，那些庸俗之輩看不慣他在皇帝和皇太后面前受寵。正因為蘇軾才華過人，才正應了「木秀於林，風必摧之；行高於人，眾必非之」這段名言，最終成了小人們口誅筆伐的犧牲品。