凤凰元年，孙皓更加肆意，穷兵黩武，以致上下皆怨。孙皓出行，常带铁骑五万，群臣俱恐。丞相万彧、将军留平、大司农楼玄，皆因直言进谏而被杀害，前后十余年，杀忠臣四十余人。

羊祜见孙皓失德，上下离心，伐吴天时已现，乃上表洛阳。其表略曰：“夫，运数虽天所授，然功业必因人而成。今江淮之险不如剑阁，孙皓之非过于刘禅，吴人之困甚于巴蜀，大晋国力强于往时。若不于此际荡平江南，再陈兵相持，使四海不一，天下不宁，诚否天意也。”司马炎见表，即欲兴师。贾充、荀勖、冯紞三人谏曰：“孙皓虽失德，士民虽有怨，然其国中未生变，一旦我大兵南下，其必一致相拒，反使其上下同心。倘久战不克，我兵必钝，若无功而返，再图江南，则无望矣。不如暂按甲兵，待吴自乱，那时我不费吹灰之力，马到即平，岂不美哉？”晋帝闻言，乃罢伐吴之意。羊祜闻之叹曰：“世上不如意事，十常八九，今天予不取，大可惜哉。”

咸宁四年，羊祜入朝，奏请归乡养病。司马炎曰：“卿将去，有何安邦良策，以教寡人？”羊祜曰：“孙皓暴虐已甚，今可一战而克，若皓忽殁，更立贤主，则江南半壁，非陛下所能图也。天时既与，即当取之，否则，一旦天机错失，悔之莫及。”帝惊曰：“卿今提兵伐吴如何？”羊祜曰：“臣年老多病，不堪此任，陛下另选智勇之士可也。”遂辞晋帝归乡。羊祜多年以来，所得俸禄，或赏赐军士，或赡给九族，家中清贫，并无余财。晋帝闻之，甚是感叹。

是年冬月，羊祜病重，晋帝亲临南城县问安。羊祜泪下曰：“我主大恩，臣万死不能报矣！”司马炎溅泪曰：“朕，深悔未用卿伐吴之策，今谁可续卿，独当荆州一面？”羊祜曰：“臣将辞世，思进余忠，已修下荐表，今闻御驾亲莅，又令人焚之。右将军杜预，可当此大任。”晋帝曰：“举善荐贤，自古美事，卿何故荐人于朝，又自焚荐表，不使人知耶？”羊祜曰：“拜官公庭，谢恩私门，臣所不取。”言毕而亡。

司马炎大哭回京，素服三日，敕命追封羊祜为太傅、巨平侯。羊祜享年五十八岁，南城百姓，罢市举哀。江南守边将士，闻皆遥祭。襄阳人，因羊祜昔日常游岘山，乃于此山建庙立碑，四时祭祀。往来之人见碑文，无不泪下，世人名之曰“堕泪碑”。

后，唐人胡曾有诗曰：晓日登临感晋臣，古碑零落岘山春，松间清露频频滴，恰似当年堕泪人。

晋帝听羊祜之荐，拜杜预为镇南大将军，都督荆州事。杜预，老成练达，好学不倦，坐卧常手持《左传》，时人称为‘左传癖’。自受诏命，于襄阳抚民养兵，准备伐吴。

吴国丁奉、陆抗皆故，吴主孙皓更无忌惮。每宴群臣，皆使大醉，又令黄门郎十人，各奏众官醉言过失，或剥其面，或挖其目，致使国人大恨。

益州刺史王浚，上疏伐吴。疏略曰：“孙皓荒淫凶逆，吴楚离心，贤愚俱怨，伐吴天时已至，若一旦皓死，更立明君，则难图矣。臣造舟七年，日渐腐朽，世事无常，愿陛下勿失天予之机。”晋帝览疏，谓朝臣曰：“王浚之论，与羊祜不谋而合，朕决意伐吴。”侍中王浑奏曰：“臣闻，孙皓欲北征，军伍已备，声势正盛，不如暂缓一年，待其兵疲，乘势伐之。”司马炎遂降诏，按兵不动。

一日，司马炎与秘书丞张华，围棋消遣，忽杜预表至。表略曰：“凡事，以利害相较。度今伐吴，利可一统天下，害不过无功。自秋以来，我伐吴之势颇露，孙皓已恐，今我按兵，倘孙皓完修诸城，远迁其民，则城不可攻，野无所掠，明年之计徒然也。”司马炎览表，左右难决。张华起身奏曰：“陛下圣武，国富民强，孙皓暴虐，民怨国敝，今若伐之，一战可平，陛下勿忧。”司马炎喜曰：“卿言洞然，朕无疑也。”即升殿，大下诏命：镇南大将军杜预出江陵，平南将军胡奋出夏口，建威将军王戎出武昌，安东将军王浑出横江，镇东大将军、琅琊王司马伷出涂中，龙骧将军王浚、广武将军唐彬浮江东下；贾充为大都督，假节钺统领六路大军；冠军将军杨济为副都督，出屯襄阳。咸宁五年十一月，大举伐吴。

消息报入建业，孙皓大惊，急召丞相张悌、司徒何植、司空滕循商议。张悌奏曰：“诸路中惟荆楚杜预势大，可令车骑将军伍延为都督总镇江陵，其余各路，沿江守军可凭险拒之，臣再领左将军沈莹，右将军诸葛靓，屯兵牛渚矶以防不测。”孙皓遂下诏，调兵遣将。

诸事毕，入后宫，孙皓面带忧色。宠臣岑昏问其故。孙皓曰：“晋兵大举进犯，各路虽已有兵马迎拒，然王浚率兵数万，楼船如城，顺江而下，其势甚锐，朕颇忧心。”岑昏曰：“臣有一计，可使彼船皆为齑粉。”孙皓大喜，忙问其计。岑昏曰：“江南多铁，可打造连环索百条，长百丈，每环重二三十斤，于江峡流急处，横江拦截。再造大铁锥数千，长丈余，置于水中，晋船顺水而来，逢索遇锥，必然粉碎！”孙皓大喜，即令于江边连夜打造铁索铁锥，设置江中。