中國歷史上，從來不缺乏強壯精捍的軍隊。軍隊在戰亂時期，其發揮的作用至關重要。魏晉南北朝時期，就有一支強悍的部隊，橫掃千軍，如入無人之境，威風凜凜，它就是北府兵。魏晉南北朝時期，時局動蕩，各個王朝都在發展前進，東晉最強勁的對手之一前秦就在不斷向前發展。北方的前秦在苻堅的帶領之下，國祚昌隆，統一了北方，對於南朝東晉政權虎視眈眈。東晉為了防禦日益強大起來的前秦，高軍事防禦實力，特地命謝玄組建並且訓練出一隻精銳部隊。《晉書》就有記載：「太元初，謝玄北鎮廣陵，時苻堅強盛，玄多募勁勇。」因為謝玄當時是徐州刺史，駐地在北府。因此，由謝玄招募組建的軍隊就有了一個響噹噹的名字——北府兵。
北府兵的主要組成人員的身份是非常低微的「流民」，由於王朝腐敗，亂象叢生，無數百姓失去家園，流離失所，加之北方少數民族政權入侵中原。胡人對中原地區漢人採取殘暴的政策。迫於無奈的流民只能舉家南遷，往環境相對安逸的南方遷徙，變成了無家可歸的「流民」。朝廷對於這些流民並不是很信任，並不允許流民渡江，只是讓「流民帥」帶領流民駐紮在江淮一帶，替朝廷防衛北方少數民族政權的侵擾。「流民戍邊」的情況在東晉時期非常常見。恰逢朝廷命謝玄組建一支精銳部隊，作為無家可歸的流民，在長期流亡的過程中，身強力壯，而且又對於胡人充滿怨恨的「流民群體」確實是非常合謝玄的心意。時值琅琊王氏倒了，繼而是陳郡謝氏掌握大權，陳郡謝氏與琅琊王氏不同，陳郡謝氏並沒有屬於自己的武裝力量，因此，為了鞏固自己的家族地位，維護家族利益，需要一支精銳的軍隊。
除了朝廷的要求。加之陳郡謝氏的家族利益，謝玄組建武裝力量也就提上了日程。謝玄的組建武裝力量的主要成員主要是流民。要知道，雖然是流民，但是人數多了，流民也會漸漸地抱團，在這亂世之中，想要一個人生活下去，是非常艱難的。因此流民之間互相報團，並且公推出一個流氓帥，並且堅決聽從「流民帥」的調度。這些「流民帥」往往是那些個脫離北府建制的老將，他們經驗豐富，善於調度。而這些由流民組成的軍隊確實是一支精銳部隊，戰鬥力爆棚。帶著對胡人的滿腔恨意，這一支以「流民」為主要組成部分的北府兵誕生了。
可以很負責任地說，北府兵經過謝玄的操練整合，日益精進，只需要一場戰爭就可以使得他們名揚天下。公元383年，北方統一政權前秦在統治者苻堅的帶領下發動對東晉的進攻，前秦揮師百萬南下，在苻堅看來，這是勢在必得的。然而，苻堅卻是錯誤估算了，前秦來勢洶洶，東晉岌岌可危。但是他卻沒有看到，東晉雖然國勢衰微，還有一支精銳的部隊——北府兵，經過謝玄的操練，北府兵個個都是以一當百的猛士。是時候展現真正的技術了，謝玄帶領北府兵八千多人，雖然兵不多，但是用兵貴在精而不在多。在淝水之戰中，北府兵以區區八千人打敗了號稱百萬大軍的前秦的軍隊，雄起吧，北府兵。在淝水之戰中，北府兵大敗前秦，苻堅的弟弟苻融也在戰亂中被亂刀砍死，苻堅本人也身受重傷逃走了。北府兵創造了歷史上以少勝多的神話，淝水之戰也讓北府兵真正名揚天下。
當然，「人怕出名豬怕壯」，名聲已經打響的北府兵很快引起世家大族的覬覦，這麼一支精銳的部隊誰不想佔為己有？最先的領袖謝玄，在淝水之戰不久之後就去世了，之後陳郡謝氏也跟著衰落下去。北府兵也陸續被分散，之後被劉牢之掌握在手中。但是劉牢之雖然是軍事天才，在軍事上極其有天分，然而架不住他是一個政治白痴，身懷寶藏，自然是眾人關注的焦點。世家大族都是玩弄政治的一把好手。劉牢之雖然藉助北府兵的力量獲得一席之地，但是架不住世家大族的聯手對付。很快，劉牢之也掛了，北府兵被迫落入恆玄之手，恆玄忌憚北府兵，畢竟兇名在外，他屠戮了北府諸將。就在眾北府兵絕望之際，劉裕出現了，他藉助京口的勢力重建北府兵，把北府兵在絕望邊緣拉了回來。
劉裕其人，是個狠人，不僅有出色的軍事天賦，還有一身少有的俠肝義膽，可以說，北府兵在劉裕手中，走上了巔峰。劉裕帶領打了很多場著名戰役，戰場瞬息萬變，稍有不慎就會全軍覆沒，所以一個出色的將領，除了有出色的領導才能，還應該具備明銳的判斷能力，已經軍事對陣所用之方法。這些，劉裕都擁有。劉裕帶領北府兵與北魏那一戰，可謂名揚天下。當時北府兵面臨的是最強勁的對手，沒有之一，那是鮮卑族的拓跋氏啊，是屢屢進犯中原，歷朝歷代都沒有真正將其消滅的，橫掃由貝加爾湖到長江流域所有民族的鮮卑族拓跋氏啊。但是劉裕一點都不慌，也不怵，就正面剛。直接棄船上岸，正面迎戰鮮卑騎兵。要知道，鮮卑雖然驍勇善戰，但是那是他們的騎兵最為勇猛，長期生活在漠北的鮮卑，最是不熟悉水性，北府兵要是一直在船上，鮮卑也不敢把他們怎麼地。沒想到，劉裕太剛了，直接棄船上岸與北府兵正面剛。
當然，劉裕不是莽夫，也不是逞匹夫之勇，他是經過長期與拓跋氏對戰，充分分析拓跋騎兵的優劣，針對他們設計的一套作戰計劃。經過多次與北魏拓跋的戰爭，對於彼此之間都非常熟悉。此前，每逢北府兵一上岸，魏軍就逃走，等北府兵一回到船上，魏軍又出來叫囂。狡猾得不行，長此以往，北府兵都快要崩潰了。劉裕就針對於魏軍這種心理，暗中布局，最終以僅僅兩千步兵打敗魏軍三萬人，創造了奇蹟。劉裕有勇有謀，無怪乎能夠登基為帝，成為一方之主。
北府兵在劉裕的帶領之下，走上了的巔峰時代，北府兵也成為劉裕登基為帝的主力軍。然而，花無百日紅，在走上巔峰的時刻，這意味著無路可走，只能走下坡路了。劉裕建立了新的王朝，作為護國大軍，身價自然跟著水漲船高。然而隨著劉裕的去世，劉裕的後代非治世之能臣。此時老一輩的北府兵也上了年紀，有些力不從心。此時的時局已經沒有之前那麼動蕩不堪，北方逐漸穩定下來，隨之而來的就是沒有了大批流民南下，這樣兵源就變少了。風光了一輩子的北府兵，最終也只能走上迅速凋零的命運，隨著北府兵的衰落，南朝的軍事力量大打折扣，沒有足夠的能力與北朝所匹敵。
北府兵雖然走向了衰落，但是北府兵的存在，對於東晉王朝，以及後來的繼任者劉裕建立的劉宋王朝的影響不可謂不深遠。北府兵自誕生之日起，就成為建康中央政權抵制世家大族，拱衛京師的重要倚仗。北府兵的組成人員大部分是無家可歸的被迫遷移的流民，朝廷把這幫流民都集中於京口，晉陵一帶，彼此之間的內部聯繫很密切，有些共同的遭遇，又都集中在一起，可想而知北府兵之間的紐帶作用有多強了。正因這一點，北府兵也成為日後劉宋王朝的崛起發揮著主力軍的作用。然而，劉宋王朝依靠北府兵建立新政權，自然知道傭兵自重對於自身政權的危害。因此，雖然北府兵是立國之軍，卻始終不被劉宋王朝所信任，軍權始終掌握在劉宋皇室手中。也正因為如此，劉宋王朝在開國皇帝劉裕去世之後，也迅速走向了衰落，這不可謂不讓人唏噓。