虽然争得了黄河沿岸地区，但李存勖此时也是腹背受敌，局势比较危急：后梁大将段凝夺取黄河北岸德胜以西的卫州，辽国军队又时常围攻幽州，潞州的后唐军守将李嗣昭之子李继韬投降后梁。这些使得后唐军内部人心不一，以为后梁难以攻取。之后，后梁驻守郓州的将领卢顺投降了李存勖，且提供了一条重要情报：“郓州守军不足千人，守将又不得人心，可以派兵袭取。”
李存勖认为后梁此时由于西面的潞州刚刚归降，注意力已集中于西面，而东面准备不足，防守松懈，正可以趁机袭占郓州，动摇其军心。他派猛将李嗣源率领精兵五千从德胜出发，沿黄河北岸向东急行至杨刘，也就是今天山东东阿北杨柳村一带。军队在雨夜的掩护下秘密渡过黄河，然后直捣郓州城。后梁军毫无防备，吃了败仗。丢掉郓州，从郓州到大梁已无天险屏障可守，后梁只能坐以待毙。
后梁龙德三年（923年）八月，李存勖召见了刚刚归降的后梁将领康延寿，康延寿认为：后梁的地域并不狭窄，兵力也不算少，但是朱友贞懦弱无能，致使政治腐败，贿赂成风；选才用将不以才德与战功为标准，将帅出征也要派近臣监视，主帅无法自己调兵遣将，所以，后梁的败局已定。最后康延寿向李存勖献出灭梁大计：“梁兵聚集则势众，分兵则势薄，现在应该养精蓄锐，等其分兵之后，选择良机率精锐骑兵五千从郓州直趋大梁，活捉朱友贞。”