李显因魏元忠是三朝老臣，为国家立有大功，且一直受到高宗与武后的看重，没有深究。

但宗楚客、纪处讷这些武三思的走狗怎肯罢休，共同在李显面前宣称：“魏元忠与太子通谋，应诛灭三族”。李显明令不准。

可魏元忠几经磨难，已经失去了以往的骨鲠气，上表请求解除职务，回家养老。李显批准了他的奏疏，免去了他宰相职务，恩准他以齐公身份退休，只在每月初一、十五两天上朝。

宗楚客把右卫郎将姚廷筠调整为御史大夫充当枪手，让他上疏弹劾魏元忠，指出：“当年侯君集是开国元勋，等他参与李承乾谋反被抓，太宗向群臣恳请饶他不死，群臣没有答应，太宗只得忍痛将其处死。后来，驸马房遗爱、薛万彻与齐王李佑等人作乱，虽然他们都是皇亲国戚，太宗仍按国法予以严办。魏元忠论功劳比不上侯君集，论亲情又不是皇亲国戚。他儿子参与谋乱，理应满门抄斩！”

李显被他说动了，下令将魏元忠收押，贬为渠州司马。

宗楚客仍不解气，指使武三思的“五狗”之一、给事中冉祖雍在朝会时上奏：“魏元忠大逆不道，不应让他去做渠州司马。”

宰相杨再思、李峤也是韦后一党，纷纷发言附议。

这下惹恼了李显，他怒斥杨再思等人说：“元忠是国家老臣，朕特令宽容。现诏令已下，岂能一改再改！怎么处办，朕自己清楚，轮不到你们在这里说三道四！”杨再思等人不敢吭声，惶恐退出。

监察御史袁守一继续上奏弹劾：“李重俊是陛下之子，尚且加以罪刑，魏元忠他凭什么能单独逃脱国法制裁！”

李显让他们缠磨的实在没办法，只得下令把魏元忠再贬为务川县尉（务川县位于今贵州遵义）。

没过多久，宗楚客又唆使袁守一上奏：“当初则天大帝在位时身体不适，狄仁杰奏请让陛下监理国事，魏元忠认为不妥，此事足以证明他其实早已存有谋逆之心，请将他处死。”

李显虽然宠爱妻女无度，但并不是昏君，头脑也很清醒，他知道这是宗楚客、杨再思等人所为，于是直接对杨再思说：“以朕来看，人臣事奉主上，全在一心一意。岂能因主上略有小疾，就忙着让太子监理国事！这是狄仁杰在取悦我，与魏元忠无关。袁守一想借往事陷害元忠，怎么可以呢！”