宣和三年（公元1121年），赵明诚任莱州太守，李清照前往莱州与之相聚，途中在昌乐驿馆作《蝶恋花·晚止昌乐馆寄姊妹》。

之后赵明诚又改任淄州太守，夫妻二人把赵明诚的薪俸多用于收集古籍、字画等，并一起校勘整理。

靖康元年（公元1126年），金兵进犯汴梁，北宋朝廷崩溃，南宋开始。

建炎元年（公元1127年），赵明诚母亲在江宁逝世，他南下奔丧，李清照整理行李前往江宁，舍弃诸多物品后仍装了十五车书籍行李。同年十二月，金兵攻破青州，两人老家所藏化为灰烬。

建炎二年（公元1128年），赵明诚任江宁知府，次年改任湖州知府，却因江宁兵变处置不力被罢免。

后李清照陪赵明诚经乌江时，她有感而发作《绝句》凭吊项羽。

同年八月十八日，赵明诚不幸染疾逝世，李清照大病一场。

为保存赵明诚遗留的文物书籍，她强打精神，派人运送行李投奔赵明诚妹婿李擢。

但同年十二月洪州被金兵攻陷，李清照携带少量轻便书帖典籍南逃，其与赵明诚收集的古籍古物大多散失。

李清照考虑北上无望且金兵动态难料，打算投奔在台州任职的弟弟李迒。

建炎四年（公元1130年），皇帝命官员散居，李清照前往衢州，后又到越州。

期间她听闻自己有通敌嫌疑，便决定将古籍古物送予朝廷，可当时皇帝已到四明，她只好暂居当地钟姓人家，书画却再次被盗，至此夫妻俩辛苦搜寻的图书文物散失十之七八。