遗,来挑李绅的毛病,又结交宦官王守澄帮助自己。遇到唐敬宗即位,李逢吉看到李绅失去了依靠可以算计,让王守澄乘便上奏说:“故世皇帝当初讨论立太子时,杜元颖、李绅劝立深王为太子,只有宰相李逢吉请求立皇上,李续、李虞赞成他。”李逢吉也乘机说李绅曾做不利于皇帝的事,请求把他赶出京城。皇帝刚登基,不能辨别,就贬李绅任端州司马。刘栖楚等人因他得到好地方,都恨得咬牙切齿。贬官诏书颁下,群臣向李逢吉道贺,只有右拾遗吴思没去。李逢吉排斥吴思,派他到吐蕃去报丧。这时人们没有敢说话的,只有韦处厚多次说李绅冤枉,驳斥李逢吉的诡计。后来皇帝在宫中找到去世皇帝亲手装的一箱奏章,打开后,看到裴度、杜元颖、李绅多次上奏请求立他为太子,皇帝才非常感动地醒悟了,把李逢吉一伙呈上的诽谤奏章都烧了。
起初,李绅贬去南方,走到封州、康州,那里有座媪龙祠,过去传说能呼风唤雨,李绅写文章祷告,不久河水猛涨。宝历年大赦令没提才被贬官的可移近任职,韦处厚坚持争取,皇帝追回诏书更改后,李绅得以调任江州长史,后升任滁、寿两州刺史。霍山老虎多,采茶的害怕老虎,挖陷坑、召人追踪射猎,都不能制服。李绅去了,把这些都撤除了,老虎也不伤人了。后来他任太子宾客分管洛阳分署。大和年间,李德裕掌权,提升他任浙东观察使。后李宗闵受皇帝宠信,又命他任太子宾客分管洛阳分署。开成初年,郑覃任命他为河南府尹。河南府有很多小无赖,有时戴着高帽子敞着衣裳,打大球,拦住大路,车辆马匹不敢通过。
李绅治理坚决严厉,他们都吓跑了。后升任宣武节度使。那年天大旱,蝗虫不到他的辖境去。
唐武宗登基,他调任淮南,后召进朝廷任中书侍郎、同中书门下平章事,又升任尚书右仆射、门下侍郎,被封为赵郡公爵。任职四年后,因脚无力不能上朝,辞去职位,以检校右仆射、同中书门下平章事身份,再任淮南节度使。后去世了,赠官太尉,赐谥号叫文肃。
此前,澧州人吴汝纳是韶州刺史吴武陵哥哥的儿子。吴武陵因贪赃被贬为潘州司户参军去世了,吴汝纳家被流放,长期没有调回,当时李吉甫任宰相,吴汝纳恨他,后来就参加了李宗闵集团。会昌年间,他担任永宁县尉,弟弟吴湘任江都县尉。辖区人告吴湘受赂不法,自己娶百姓颜悦的女儿。李绅派观察判官魏钅刑审讯吴湘,罪状清楚,上报处决了他。
当时,有议论的人说吴家世代和宰相有仇,怀疑李绅取悦宰相,罗织判他的罪。
谏官多次上奏,有诏派御史崔元藻复查,崔元藻说吴湘挪用官府钱粮有证据,娶辖区民女不真实,说颜悦曾任青州衙推,他妻子王氏是官宦人家的女儿,不应判罪。李德裕讨厌崔元藻两边讨好,上奏贬他为崖州司户参军。唐宣宗登基,李德裕被免职,李绅已经去世了。崔铉等人长期没能掌权,引诱吴汝纳,叫他为吴湘申冤说“:吴湘生平梗直,被人诬告,关进监狱,身受重刑,官吏们甚至将他娶妻时陪嫁的财产和奴仆算成是赃物。”又说“:颜悦过去是官宦人家,吴湘的罪都不该处死,李绅冤枉杀死了他。”还说:“吴湘死了,李绅命马上埋掉,不让回家乡安葬。李绅以故宰相身份镇守一片地方,任意弄权耍威风。一般真有罪,还要等秋分后;吴湘没有罪,盛夏被处死了。”