公元四世紀時，由於北方出現五胡亂華，戰亂不休的局面，不少流氓遷徙至長江流域。南渡流民的主要聚集地是京口，在當時，也被稱為北府，以此為基礎，南朝軍隊中的絕對王牌——北府軍誕生了。
京口。在當時還是未經開化的荒涼之地。南渡的流民由於沒有財力繼續南下只好在此定居，京口自然也暴露在北方遊牧民族的攻擊範圍之內。為了自保，當地民眾只好自行組織軍隊。由於這種傳統，形成了京口地區民風彪悍的習俗。
王敦叛亂後，鎮守京口的郗鑑開始在當地組建正規軍。而朝廷也認識到了控制京口對於控制長江中下遊的重要戰略作用。而郗鑑以及其家族對這支軍隊的長期經營才使得北府軍可以在六朝亂世中脫穎而出。
京口部隊的主要募兵對象是兗州和徐州的流民及後代。這些人群在南渡之前本來就參加過半武裝性質的軍事活動，並且對北方少數民族政權有著刻骨銘心的仇恨，因此戰鬥力相當可觀。
公元377年，為了防範前秦帝國的南下，東晉相國謝安命令侄子謝玄組建一支新部隊，承擔保衛江東的重任。謝玄對北府軍善戰之名早已熟知。早在桓溫執政時期，桓溫對京口地區民風彪悍的習俗早就有了耳聞，在桓溫北伐中原時，也是以京口部隊作為主力之一。
謝安為了東晉王朝的存亡，以實際利益為出發點，先後從郗氏和桓氏家族手中接管過這支部隊。因此，北府軍的建立是和當時南渡門閥掌握政權的時代特徵相符合的。軍隊主要由流民，也就是寒門子弟組成，而掌權者卻是出身門閥士族，是陳郡謝氏掌握的私有武裝。這種安排也是出於各家族共同協力，上下一心保衛共同利益體——東晉王朝的考慮。
對於謝安來說，北府軍的建立更重要的不是補充了戰鬥力更強的兵員，而是獲取了流民階級的支持。北府軍成立之初，劉牢之等京口地區有名的流民領袖都受邀成為北府軍的主要將領。可以說，北府軍的建立也對東晉政權固有的政治生態形成了強烈的衝擊。
公元383年，在決定東晉王朝的生死存亡之戰——淝水之戰中，北府軍大放異彩。晉軍能以8萬人的弱勢兵力大破擁兵87萬的前秦皇帝苻堅，從根本上說，原因在於人心向背。前秦的軍隊雖多，但屬於統治階級的本族士兵數量卻相當少。各民族出於不得已的原因被前秦政權徵入軍中，本質上是不願意為前秦皇帝的個人野心出力的。反之，前鋒的鮮卑大將慕容垂等還早就計劃脫離前秦光復故國，因此前秦的軍隊是充滿很多內部矛盾的，在留言面前，看似強大的秦軍竟輕易瓦解。
但北府軍將士的英勇善戰也是東晉得勝的重要因素。例如，北府軍大將劉牢之曾以五千人的兵力殲滅三倍多的前秦主力。由此可見，在當時的軍隊中，北府軍已經成為亂世中最出彩的一支異軍。
淝水之戰，東晉曾經實現了戰略反攻。趁著北方內亂的良機，朝廷派出北府軍收復黃河以南大片領土。後來東晉國內爆發了太平道起義，北府軍又成為鎮壓起義的主要軍事力量。至此，北府軍已經成為東晉王朝興亡的關鍵所在。
但是，北府軍的存在也受到了東晉後來的掌權者桓玄的猜忌。北府軍是東晉寒門子弟興起的標誌，為了生存，在一定程度上是依賴皇權的。而桓玄則是士族大地主階級的代表，其個人野心膨脹，甚至有取皇權而代之的欲望。因此，二者的矛盾是尖銳並且不可調和的。
元興三年，北府軍統帥劉牢之投降桓玄，但仍被其殺害。之後，北府軍的其餘主要將領也都被殺或逃亡，北府軍終於為桓玄所兼併。同年，有著北府軍經歷的大將劉裕在京口重新組建北府軍。但是部隊性質已經大不如前，新北府軍的建立主要為了劉裕的個人政治抱負服務。
在後來，劉裕憑藉手中的北府軍取代桓玄的統治，並消滅了東晉的各路割據勢力，成為南國的實際統治者。後來，劉裕還組織了一次自南渡百年以來最成功的北伐行動。在北方戰場上，新北府軍繼承了先輩的遺志，承擔北伐主力的重任，並多次完成以少勝多的好戲，後人贊曰「氣吞萬裡如虎」。
公元420年，憑藉手中這支北府軍的強勢。劉裕正式取代東晉皇帝，建立了南朝宋政權。北府軍終於徹底完成了其歷史使命。對於保衛和延續漢民族文化，北府軍的存在起到了逆轉乾坤的作用，也難怪後人不吝於以詩相贊了。