据守太原的扩廓帖木儿（原名王保保）派兵南下来争夺泽州。明将杨璋奉命援救，与元兵中途遭遇，失利败归。扩廓帖木儿又企图乘北平空虚，兵出雁门关去偷袭。徐达闻此情报后，对诸将道：“王保保主力远离，则太原必定守备空虚。北平我军有六卫三万兵马，孙兴祖将军统率，足以抗击来犯之敌。现在我军乘其不备，直捣太原，使其进不能战，退无所依。这在兵法上称为‘批亢捣虚’之策。如果王保保回军来救太原，必定为我擒获。”

徐达挥兵直指太原，扩廓帖木儿在远袭北平的途中闻报后，急速回军来救。十二月，元军前锋骑兵突然出现于太原城外。傅友德、薛显率领数十名敢死的精锐骑兵，击退来敌。常遇春向徐达建议道：“我军骑兵虽已集结，但步兵未至。骤然与敌交战，必定会多有损失。如果夜晚偷袭敌营，定能奏效。”徐达听后连声称好。

恰逢扩廓帖木儿的部将豁鼻马暗中派人前来请降，并愿为内应。徐达便挑选了数十名精骑乘夜埋伏于城外，约定举火为号，内外相应。半夜时分，明军举火鸣炮，内外兵马一齐冲入敌营。已入睡梦的元军被鼓噪呐喊之声惊醒，不知真相，自相惊扰，乱作一团，不战而溃。扩廓帖木儿正在营帐中读兵书，仓皇之间也不知出了什么事，光着一只脚，骑了一匹抓到手的瘦马，带着十八名骑兵逃向大同。元军四万余人马在豁鼻马带领下向徐达投降。

常遇春率轻骑兵追击扩廓帖木儿直至忻州。扩廓不敢在山西逗留，又逃奔甘肃。明军胜利北进，又收取大同，攻占了其余州县，山西全部被平定。

洪武二年（年）三月，常遇春、冯胜领军先行渡过黄河，进攻陕西，徐达督军继后。元将李思齐据守凤翔，遣将分守关中要地。明大军入关中，先锋将郭兴领轻骑直捣奉元（今西安），元守将弃城不战而逃。泾渭父老千余人于道旁迎候徐达。徐达先派部将入城宣谕安民，然后整军入城。明军占领奉元路后，改名为西安府。

时值关中饥荒，徐达上奏灾情，朱元璋下令开仓赈济。守将耿炳文负责整修水渠，以利百姓农耕。

徐达统兵攻取凤翔后，召集诸将，商议进兵方向。此时李思齐已逃往临洮，张思道逃往庆阳。众将认为张思道易取，可经由郴州先取庆阳，然后越过陇州取临洮。徐达却说：“庆阳城坚兵精，不易攻取。而临洮北界黄河与湟水，西通羌戎之地，先攻取这块地方，可以有人员补充兵力，有物产以供军用。我军大兵压境，李思齐如果不再向西逃跑，就会束手被擒。一旦临洮攻下，其他州县就可不战而得。”

明军移师西向，连克陇州（今陕西陇县）、秦州（今甘肃天水）、巩昌（今甘肃陇西），副将军冯胜率军进攻临洮，李思齐穷途末路，举城投降。

另一路由顾时所率明军攻克兰州。五月，徐达攻取平凉。张思道闻听明军已克临洮，慌惧奔走宁夏，结果被扩廓帖木儿扣押。张思道之弟张良臣听说其兄弟被执，心中害怕，遂向徐达乞降。但不久，张良臣又复叛变，偷袭明军营寨，明将张焕被俘，薛显受伤走脱。