晋武帝司马炎有灭吴的志向，开始着手准备伐吴部署，以图实现统一中国的大业。
晋泰始五年（269年）二月十一日，司马炎任命尚书左仆射羊祜统领荆州诸军事，假节，镇守襄阳，仍保留原官职散骑常侍、卫将军不变。
征东大将军卫瓘统领青州诸军事，镇守临淄。
镇东大将军、东莞王司马伷任镇东大将军、假节，都督徐州诸军事，接替卫瓘镇守下邳。
当时，荆州一分为二，西晋和吴国各有一个荆州，形成南北对峙局面。
西晋的荆州包括今陕西、河南的一小部分和湖北北部地区。
吴国的荆州则有今湖北和湖南的大部分地区。
晋吴之间的边界线以荆州为最长，两国在此长期对峙，互有攻伐，所以这里是灭吴战争的关键地区。
羊祜到任后，发现荆州的形势并不稳固，由于长期战争，局势难稳，不但百姓的生活不够安定，就连戍兵的军粮也不充足。
于是，羊祜首先把精力放在经济发展方面，着力开发荆州。
他大量开办学校，兴办教育，安抚百姓，怀来远人。
对归附的吴国人，他开诚布公讲信用，去留由他们自行决定，来去自由。
当地的风俗，如果有官吏死在官署之中，后继者会认为这个地方不吉利，往往拆毁旧府，另行修建，劳民又伤财。
羊祜认为，死生有命，不在居室，于是命令下属，一律禁止拆毁旧官署新建。
吴国石城驻军离襄阳七百多里，常常侵扰边境。
羊祜深以为患，于是巧用计谋，使吴国撤销了守备，清除了对襄阳最大的威胁。
羊祜又把军队分作两半，一半巡逻、戍边，一半垦田，轮换进行。
全军共开垦了八百余顷农田。
羊祜刚来时，军队连一百天的粮食都没有，到后来，积蓄的粮食可用十年。
羊祜的这些措施，使荆州的经济得到快速发展，社会秩序也逐趋安稳，增强了军队的战斗力。
司马炎为表彰他的功绩，下令取消江北所有的都督建置，授予羊祜南中郎将的职务，负责指挥汉东江夏地区的全部军队。
羊祜在军中，常穿着轻暖的皮裘，系着宽缓的衣带，不穿铠甲，侍卫也不过十几个人。
他还喜欢打猎钓鱼，常常因此荒废公务。
有一天夜晚，羊祜想出营，军司马徐胤手持柴戟，在营门挡住了他，说：“将军都督万里疆域，哪能这样轻心放纵，将军的安危也就是国家的安危。除非我死了，今夜此门才得开。”
羊祜正色改容，连连道歉，从此很少外出。
