遣伏波将军路博德出桂阳，下湟水；楼船将军杨仆出豫章，下浈水；归义越侯严为戈船将军，出零陵，下离水；甲为下濑将军，下苍梧……秋，东越王馀善反，攻杀汉将、吏。遣横海将军韩说、中尉王温舒出会稽，楼船将军杨仆出豫章击之。
——《汉书·武帝纪》
汉军全军覆没的消息传回京城，汉武帝震怒，半晌之后才叹道，“韩千秋虽然没有成功，也是军锋之冠，樛乐的姐姐是南越王太后，首先愿意归属汉朝，也算有功”。于是，下诏封韩千秋之子韩延年为成安侯，樛乐之子樛广德为乐侯，同时对战死者家属进行抚恤。
面对两千将士的阵亡，汉武帝发狠道，“既然南越不愿和平归附，那便以武力征服”。为此，汉武帝颁布特赦诏书说，“天子微弱，诸侯互相争战，《春秋》讽刺人臣不为君讨伐反贼。吕嘉、赵建德等反叛，心安理得地自立自封，现命令越人和长江、淮河以南的楼船水师十万人前往讨伐他们”。诏书下达之后，南越人郑严与田甲率众归降，汉武帝封郑严为归义侯，并命其招募善骑射的越人组建越骑，号为越侯兵。
元鼎五年（前112年）秋，汉武帝下令调集水陆大军共计十万，兵分四路大举进攻南越，四路主将分别是路博德、杨仆、郑严和何遗，具体部署如下：
第一路，任命此前驻军桂阳（今广东连州）的卫尉路博德为伏波将军，率兵从桂阳沿湟水南下，直取南越都城番禺。路博德曾以右北平太守之职，率兵跟随霍去病参与漠北之战，因功获封符离侯。
第二路，任命主爵都尉杨仆为楼船将军，率领水军出豫章郡，然后沿浈水南下，与路博德会师后合攻番禺。
第三路，以归降的南越人郑严、田甲分别为戈船将军和下厉将军，其中郑严为主将，田甲为副将，率越侯兵出零陵，然后沿漓水南下，攻取苍梧后，与汉军主力会师番禺。
第四路，以驰义侯何遗为主将，前往蜀地征发巴蜀获得赦免的罪人和且兰、夜郎等西南夷军队，自牂柯江南下，攻取南越西境，然后与其他各路兵马会师于番禺。
得知朝廷大举征伐南越，齐相卜式上书朝廷，请求批准自己父子和齐国熟悉水战者随军出征效力。为此，汉武帝特别颁布诏书表扬卜式之举，封卜式为关内侯，赏金六十斤、土地十顷，并将其事迹宣告全国，然而全国上下却无人响应。
当时列侯数以百计，却没有一个人像卜式那样主动要求从军者，这让汉武帝大失所望。在汉武帝看来，如今朝廷府库空虚，这些列侯占据着大量食邑，享受着朝廷提供的福利，却不思为朝廷效力，如此还留着他们做什么？倒不如全部废免，还可以收回大量田土，缓解朝廷压力。
当时，朝廷正好在举行酎祭活动，天下列侯奉命进献黄金，汉武帝为了惩治这些列侯，遂命少府检查各列侯所献黄金，凡重量不足或成色不好者，一律以“不敬”之罪加以参劾。结果，因此而被革去爵位者，多达一百零六人。不久，丞相赵周也因“明知列侯所献黄金重量不足，却纵容包庇”，被逮捕下狱，不久后自杀身亡。汉武帝改以万石君石奋之子、御史大夫石庆为丞相，封牧丘侯，卜式则得以升任御史大夫。
在奉命征讨南越的几路大军之中，首先立功的是楼船将军杨仆，他率领精锐水军按照计划抵达豫章后，溯赣江而上，经南康抵达南安，因前路被大庾岭所阻，于是果断率军弃船登岸，从陆路越过大庾岭，来到浈、凌两江交汇处，伐木造船，再建楼船师，然后率军登船沿浈水南下。
杨仆所率军队虽然距离较远，顺江而下却进展极为迅速，一举突破南越军队的外围防线，于元鼎六年（前112年）冬抢先攻破了寻陿（今广东清远市东），接着又攻破了番禺城北的石门，缴获了大量南越国的战船和粮食，打开了番禺的北大门。
之后，杨仆趁机率军向南推进，挫败了南越国的先头部队，抵达番禺外围之后，率领数万大军驻军城外，等待路博德的军队。
驻军桂阳的路博德距离南越最近，却也是南越的防御重点，再加上沿途关隘众多，结果进军速度反而没有杨仆那么迅速。
当初，赵佗为了切断南越与中原沟通的要道，修建了多个关隘，其中横浦关、阳山关、湟溪关更是南越军队防守的关键，三大关隘以位于连江和西江交汇处的湟溪关为支点，勾连北部的横浦关、阳山关从而形成了一个倒三角形的立体防御体系，一旦中原军队南下，湟溪关不仅可以随时支援横浦关或阳山关，而且还可以作为守军的第二道防线。正是凭借着这三大关隘的阻隔，南越才得以割据一方。
路博德率军南下的路线，正好便要经过三大关隘中的阳山关和湟溪关，等到路博德好不容易攻克了两大关隘，南越军队的心理防线也随之告破，纷纷溃散南逃，这才使得行军速度加快。
小主，
在得知杨仆已经率军抵达番禺外围后，路博德命令后续主力休整慢行，自己则亲率一千多先锋前往与杨仆会师。两军会师后，以杨仆为主力向番禺进发。
由于北部防线告破，番禺外围已经无险可守，南越王赵建德和丞相吕嘉遂收拢军队，固守番禺城，打算拼死一搏。
汉军抵达番禺城外后，杨仆选择有利地形，将军队驻扎在番禺的东南面，却并不急于攻城，而是命人大量砍伐树木，打造攻城器械的同时，准备了大量干草木材。
一日，天黑之后刮起大风，杨仆趁机率兵攻进番禺城，却并未采取常规的攻城方式，而是采用了放火烧城的方式。原来，杨仆早就得知，南越民居多为草木所建，最怕的就是火攻，而夜间采取火攻则无疑能够大大增加震慑力。
在汉军的火攻之下，番禺城中很快便燃起了熊熊烈火，城中军民乱作一团，杨仆趁机命令大军攻城。杨仆的火攻之术虽然狠辣，却也不愿造成太多杀孽，因而攻城采取了围三阙一的方式，独留西北给城中军民逃命。