自从丁绍死后，司马腾彻底失去了固守晋阳的信心，处境也愈加危险。
并州北部的新兴被铁弗部刘虎所占，时不时的侵扰太原，南部的西河和上党落入刘渊之手，随时可能北上太原，让司马腾如坐针毡。但天下之大，他又能去哪里呢？
无奈之下，司马腾只有东迁一条路了，借道冀州前往青州，然后从青州南下徐州，与兄长司马越会合。毕竟冀州的祁弘勉强可以说是友军，司马睿又一直追随司马越。
然而，由于石勒这年夏天一直在常山、赵郡、巨鹿一带劫掠，司马腾担心半路上被其所乘，始终不敢成行。
九月，石勒被祁弘和段务勿尘大破于飞龙山，不得不放弃冀州，南下黎阳。
最近几年间，由于石勒和王弥等人的肆虐，邺城周边数郡沦为人间炼狱，百姓要么被杀，要么逃亡，少数胆大的便聚在一起结成坞堡自守，连石勒都没兴趣在此驻扎。
司马腾听说后，大喜过望，立马派人前往信都，向祁弘借道，祁弘也果然同意了。
于是，在石勒南下不久后，司马腾便带领并州将领田甄、田兰、任祉、祁济、李恽和薄盛等万余部众悄悄离开晋阳，从井陉东出。
十月初，刘渊重启攻打洛阳的计划，派楚王刘聪、始安王刘曜、汝阴王刘景以及王弥等人率领五万精骑从吴山南下，大司空呼延翼率领步兵作为后援。
所谓吴山便是中条山的一部分，可以通过一个叫做上牛岭的地方穿过中条山抵达大阳。
十月中旬，刘聪等抵达大阳，自恃兵多将广，宋配不敢出城，他决定直接从茅津渡河。
茅津是河东郡着名的三大渡口之一，从西到东分别是风陵、浢津和茅津，因茅津距离洛阳最近，所以刘渊每次派兵入寇都是从茅津渡过黄河，而大阳便成了兵家必争之地。
刘聪抵达大阳时，张寔也恰好刚刚抵达陕县，得知他的到来，宋配立马派人渡过黄河，让张寔趁着刘聪在茅津渡河时，在黄河南岸堵截，自己将从北岸策应。