在大秦統一了六國之後，便開始進攻南越的戰役。據淮南子人間訓的記錄，大秦在攻打他們之時，調來了部隊竟然達了50萬人之多。在公元214年，大秦便正式佔領廣東、廣西和南越北邊的地方，並設立了南海、桂林、象郡。可是卻在8年之後，大秦便宣布滅亡。在公元206至公元209年長達3年的戰爭中，守在那裡的秦兵沒有回去，這是為什麼呢？
要弄明白這個問題，先要知道大秦為什麼要攻打他們呢？完成了中原統一後，大秦對外用兵成規模的只有兩回，一回是蒙恬將軍領兵30萬北攻匈奴，另一回就是進攻南越。在大秦統一六國之前，匈奴就經常的騷擾秦、燕、趙的北部邊境，趙國常年在北部長城一線布防10萬大軍以抵抗他們的南侵。進攻他們，才能完全的解決他們對關中地區的進攻。
在公元前218年，屠睢帶著秦兵攻打他們。兩年後，蒙恬才帶兵收復河套。為何大秦對南越的看重要比對匈奴的高呢？普天之下皆是王土。秦皇在以法管理國家，事在四方，要在中央，聖人執要，四方來效的想法，讓秦皇把南進北攻擴大疆土作為自己的職責。此時60萬秦軍剛剛進攻完楚國，對南越就成了兩面夾擊攻勢。可是相對於北攻匈奴要順利很多，第一次攻南戰爭失敗後，連大帥屠睢也死了。據記載，南越土著與動物為伴，也不肯被秦抓。這就讓秦皇重新部署南攻的戰略：一步步來，攻心為上，對他們進行遷移，長期駐守。在公元前214年，任囂、趙佗帶兵第二次南攻，秦發諸嘗逋亡人、贅婿、商賈都跟著，不只是為秦軍建立軍事站點，也在很大的程度上開始了南邊地區，讓秦軍的進攻佔地更為順利，設立三郡。
直到4年後，秦皇死了之後，大秦進攻的士兵也沒有回去，史書上也沒有記錄，大秦為什麼沒有叫回這些秦兵。很明顯是得到了秦皇的同意，甚至可以大膽的想一想，為了徹底佔領南越地方，秦皇特意下命令給他們二人，以防秦兵後退，在百越族重新奪回三郡後，致使10萬秦軍死在了那裡。從這一點可以看出秦皇對他們下的命令。
在公元前209年，陳勝與吳廣起兵造反，作為南越最高領導任囂在快要死之前，還吩咐趙佗休息其民，姑待諸侯之變。假如最高領導都不管的話，那麼50萬普通的秦兵又怎麼可能去北上救主呢？可以說是駐守嶺南的秦兵主要來源都是王翦攻楚時的60萬人，可以說都是秦人，他們會眼看著自己的國家滅亡嗎？難道他們的父母妻兒沒有在中原等他們嗎？他們就這麼看著家園被滅嗎？很意外的是，這50萬大軍非常的安靜，沒有出現任何的異常。除了極少人被處死外，普通的兵沒有逃跑與造反，而是聽趙佗的調派，在廣西興安建秦城，並沿廣西三江到廣東南雄一帶布防，閉關自守。這條線一直到呂后的時代都依然堅固，阻止了大漢的南攻步伐。
面對中原的內亂，秦軍表現異常，讓大家不得不猜期中的原因。第一就是在執行秘密命令，第二就是趙佗想要稱王。第二種想法，他在大秦滅了之後也曾閉關稱王，甚至稱帝。不過他並不是一個野心家。他所掌握的也就是三郡，人口和經濟不如中原，假如他想要秦滅之後佔山為王，那麼中原大亂的時候，他手握50萬大軍應該去搶地盤，也可以動員秦兵北上去平叛軍，可是項羽最鼎盛的時期兵也才40萬左右。
他不但沒有出兵，而且在大漢完成統一後向其稱臣，是他沒有實力北攻嗎？明顯不是，呂后時期，大漢與南越關係不好，大漢一度南攻，他也自稱為帝。這次衝突漢軍沒有佔到便宜，卻讓對方進入了長沙地區。連夜郎、同師等周邊的國家也都迫於南越的強大，而讓其稱臣。劉恆上位後，他隨即去了帝號再次稱臣，他的做法像是在說我們只在三郡之內，不想與中原打仗。
從公元前214年50萬秦兵留在，嶺南，直到公元前137年他去世後，這支秦兵及後裔經歷過秦滅大亂以及大漢初年的多次內戰，他們有著很多機會北攻，卻都安心守著南越。雖然看著秦滅亡，但是客觀地致使南越三郡進入華夏的進程。或許，他們及他們統帥趙佗都在執行什麼命令吧。我們沒有辦法得到證明了。在公元前113年，南越國第4代君王趙興向大漢請示內屬，自此他們進入了華夏。