建武十二年(公元36)冬巴蜀归汉，刘秀的统一大业可以说基本上已经完成了。不过还有一个割据势力，那就是北方的卢芳问题。
当卢芳在匈奴人的自支持下割据北方时，正是他的兴盛时期，其将军贾览率领匈奴骑兵进攻代郡，击杀郡太守刘兴。建武七年(公元31),卢芳集团内部出现裂痕。到了这年冬天，卢芳找了个借口诛杀其五原太守李兴兄
弟。此举引起了朔方太守田飒、云中太守桥扈的恐惧，怕也被卢芳杀害，因此举郡降汉。刘秀“令领职如故”,即让他们依旧担任原来官职。李兴、田飒等，都曾大力支持过卢芳，而现在他们之间闹翻，自然让卢芳集团的力量有所削弱。自建武九年到十二年，汉军与卢芳军多次发生战斗，就其结果而言，汉军未能明显占上风。
到建武十三年(公元37)时，形势出现了新的变化。是年卢芳与贾览进攻云中，久攻不下。其将随昱留守九原，这个时候昱密谋打算胁迫卢芳降汉；卢芳事先得到了消息，“遂弃辎重，与十余骑亡入匈奴，其众尽归随昱”。随昱率众降汉；刘秀拜昱为五原太守，封镌胡侯。匈奴得知汉朝廷购求卢芳，贪得财帛，故逼迫卢芳回去投降。