一年后，愈演愈烈的朝廷党争甚至将罪名株连到了李清照的身上。这对原本恩爱的夫妻不仅面临被拆散的威胁，而且偌大的汴京已经没有了李清照的立锥之地，不得不只身离京回到原籍去投奔先行被遣归的家人。

直到23岁时，蔡京罢相，朝廷毁元佑党人碑，大赦天下，解除了一切党人之籍，李清照才得以返回汴京与丈夫团聚。

但世事无常，仅仅过了一年，蔡京复相，无情的政治灾难这次降临到了赵氏一家头上。无法继续留居在京师的赵家，只好回到了青州的私宅，李清照也跟随夫君开始了屏居乡里的生活。

25岁时，李清照取陶渊明《归去来兮辞》的含义，将他的书房命名为归来堂，字号易安居士。虽然丢掉了昔日京师丞相府中的优裕生活，然而却得到了居于乡里、平静安宁的无限乐趣。

夫妻二人相互支持，言文治学，进行创作。他们节衣缩食，搜求金石古籍，度过了一段平生少有的和美岁月。

34岁时，在李清照的帮助下，赵明诚大体上完成了《金石录》的写作。不久之后二人来到莱州，在莱州期间，李清照继续帮助赵明诚整理《金石录》。

二人就这样夫唱妇随地过了10年的快乐时光，直到金人大举南侵，靖康之变爆发之后，北方的局势愈来愈紧张。

44岁的李清照开始着手整理自己的收藏，准备南渡。经过几番挑选，还是装了满满好几车。李清照以其大智大勇，在兵荒马乱中将这批稀世之宝成功地送到了江宁府。

李清照来到江宁之后，以宋高宗为首的妥协投降派借口时事维艰，拒绝主战派北进中原，一位国难当头，李清照十分不满，多次写诗进行讽刺。

李清照46岁这一年，赵明诚罢守江宁，独自弃城而逃，在前往湖州任职的路上病逝。赵明诚死后，李清照大病一场，为了保存赵明诚所遗留下来的文物书籍，李清照派人运送行李前往投奔赵明诚在兵部任职的妹婿。

不料金军攻陷了洪州，李清照携带少量轻便的书帖典籍仓皇南逃。在颠沛流离之中，剩余的文物又遗失了大半。

到达杭州后，图书文物散失殆尽，造成的巨大痛苦，加上颠沛流离的逃亡生活给予的无情折磨，使得49岁的李清照陷入了伤痛和走投无路的绝境。

孤独无依之中，早已觊觎他珍贵收藏的张汝舟趁虚而入，迎娶了李清照。可婚后张汝舟发现李清照家中并没有多少财物，大失所望之下，张汝舟便对李清照拳脚相加。

张汝舟的野蛮行径是李清照难以容忍的，在发现张汝舟还有营私舞弊、虚报举数、骗取官职的罪行时，李清照便果断地向官府告发了张汝舟，并要求离婚。虽然最终李清照被获准离婚，但依照宋代的法律，妻告夫要被判处两年的徒刑。