李承渥的惨败和韶州的陷落，使南汉举国震恐。刘钬惊慌之余只得部署保卫广州，一面宋灭南平、武平、后蜀、南汉作战经过示意图调兵遣将，一面下令挖掘壕堑，增修城池，企图固守。然而，一些能征惯战的大将，早已被自己杀死，环顾朝中，已无人可用。宦官刘鸾真，为了讨好刘钬推荐他的养子郭崇岳。六神无主的刘钬，像抓住了一根救命稻草，不管他有无才能，便立即任命他为招讨使，与大将植廷晓率兵六万，屯驻马涅(今广州北，亦名席帽山、马鞍山),建立营栅，抗拒宋兵，守卫广州。
开宝四年(971)一月，英州、雄州又被宋军攻克。这时屯驻于贺江口持观望态度的潘崇彻，见南汉大势已去，便率部投降宋军。侧翼威胁已经全部解除，宋军于是放心大胆地直奔广州，很快抵达泷头(英德南)。刘钬见形势危急，便遣使到宋军营中，请求宋军停止进攻，双方停战讲和。这时潘美已胜券在握，南汉灭亡指日可待，并且赵匡胤事先已有指令，只许刘钬无条件投降，其余一切免谈，刘钬的要求无异于与虎谋皮，自然遭到了潘美的断然拒绝。泷头以南，山水交错，地形险恶，适宜于布设伏兵。潘美担心刘钬使诈部队中伏，便拘留使者，作为人质，挟持使者，率部队迅速越过险地，于一月二十八日到达马迁，屯兵广州城西十里的双女山(也叫凤山)。