劉備是公元194年春受公孫瓚派遣，隨田楷來徐州救援陶謙的。陶謙於前一年秋天受到曹操的攻擊，大敗而特敗。劉備此來，陶謙把所有希望都寄托在劉備身上。來到徐州後不久，青州受到袁譚的攻擊，田楷帶著趙雲回了青州。劉備則留了下來，類似做了倒插門的女婿。
公元194年底，陶謙病勢越發沉重。陶謙去世前，指定劉備為自己的接班人。陶謙去世後，陶謙生前的行政助手（徐州別駕）糜竺率本州文武要員到江蘇省沛縣（小沛）迎接劉備到下邳（江蘇省睢寧市，受到曹操的嚴重打擊後，陶謙把州政府從山東省郯城縣遷到睢寧市）上任。劉備客氣了三五番，說袁術身世是四世三公，名頭響亮得很，又近在咫尺，為什麼不擁立他呢？屯墾司令（典農校尉）陳登說，袁術花花公子一個，不是治理亂世的材料。敝州地方千裡，帶甲十萬，將軍繼承陶使君遺志，上可輔君王，下可撫百姓，為什麼要讓天下失望呢？北海國國相孔融（他是來參加陶謙葬禮的）說道，袁術什麼東西，冢中枯骨而已！天予不取，反受其咎，望將軍三思。話說到這裡，也就足夠，劉備也就顯得有點不好意思地當起了徐州牧。劉備不僅做了倒插門的女婿，還做了一筆空手套白狼的大生意，心裡煞是得意，表面上卻不動聲色。
劉備當上徐州牧之後，任命陳登為廣陵郡（江蘇省揚州地區）太守，但此時廣陵郡被袁術佔領，陳登不能到任。糜竺還是徐州別駕。為了表示對新任領導的孝心，糜竺把一個年輕漂亮的妹妹進獻給劉備享用，這就是糜夫人。公元195年，劉備的日子過得比較舒心，基本無戰事，也就剿剿匪，搞搞農田水利建設，閒暇之餘也打打獵。
公元195年閏四月，呂布被曹操趕出兗州，來投奔劉備。劉備雖然內心厭惡，也得裝出大度的樣子予以接納，讓呂布駐紮在江蘇省睢寧市（下邳）的外圍。袁術於公元193年被曹操從兗州趕到淮南的時候，自封為揚州牧，並宣稱那時還在陶謙手上的徐州也歸自己所有，又自稱徐州伯。如今袁術已經準備稱帝，巴掌大的淮南距離一個帝國的幅員要求還差很遠。
袁術要稱帝，就要擴充地盤，拓展地盤的最佳方向就是劉備的徐州。這也算是對三年前宣示的徐州所有權的兌現。公元196年六月，袁術準備北上進攻劉備。劉備則採取禦敵於國門之外的策略，留下張飛守大本營江蘇省睢寧縣（下邳），自己和關羽率軍南下，經江蘇省淮陰市，進抵盱眙縣，抗擊袁術的北伐大軍。袁術也率軍到了盱眙，雙方相持一個多月，多次交戰，互有勝負，戰局呈膠著狀態。劉備沒想到的是，自己和關羽在前方吃緊的時候，張飛卻在後方緊吃，吃飽喝足之後，就給大哥闖禍。
下邳國國相曹豹是陶謙舊部，對劉備接任徐州牧很有意見，也看不慣張飛這個莽漢的大大咧咧。張飛自己沒文化，但很敬重士大夫，經常拉些有文化的人來喝酒。每次喝酒，開始的時候，張飛客客氣氣，低眉順眼，虛心請教；喝高了之後，卻顛三倒四地說些粗魯話，甚至辱罵曹豹這些文化人。
公元196年七月的一個晚上，張飛以駐軍司令的身份，設宴招待曹豹等文武官員。張飛憂慮前方戰事，喝了個爛醉如泥，還要強迫曹豹喝。曹豹本來就對張飛的酗酒反感，張飛說什麼他都不喝，還責怪張飛喝酒誤事。張飛臉上下不來，勃然大怒道，奶奶的，你小子不就是個國相嗎，竟敢違抗張爺爺的軍令，看俺老張不把你這個國相捅個窟窿！張飛拔出佩刀一揮，將曹豹的脖子砍為兩段，眾人來不及勸阻。張飛丟下佩刀，醉眼迷離回到中軍大帳，睡得不省人事。
張飛這樣作為被曹豹手下的士兵通報給了呂布，於是呂布就帶兵佔領了原本屬於劉備的徐州。就這樣徐州又從劉備手中丟掉了。劉備又成了沒有領地的英雄。
因為一件件小事，張飛就把大哥辛辛苦苦掙來的徐州給丟了，但是由於兄弟情深，劉備和關羽並沒有說什麼。怪也只能怪劉備選錯了人留守自己的後方，這樣就導致了劉備成功晚了好些年。