洪武二年的夏天，大將軍徐達率軍攻打慶陽之前，朱元璋提醒他注意張思道、張良臣兄弟二人，說他們比較狡詐，提醒徐達注意，如果他們投降，務必要小心，提防有詐。
張思道是元末的關中四將軍之一，頗有實力，尤其是他的弟弟張良臣，驍勇善戰，人稱其為「小平章」。而且張良臣的手下還有七個養子，個個異常勇武，當時有一句話這樣說他們父子：「不怕金牌張，惟怕七條槍。」
張氏兄弟所在的慶陽，就是今天甘肅東部的慶陽縣，在西安的西北。慶陽城地勢險峻，易守難攻，又因為地近邊塞，民風一向強悍。所以徐達決定先揮師向西，打下臨洮之後再回頭來打慶陽。
張思道聽說臨洮失守，就把慶陽留給了弟弟，自己逃向寧夏，在那裡被王保保囚禁起來。張良臣得到這個消息，就向徐達提出自己要投降，並且報知城中兵馬的數量。
此時是洪武二年的五月，徐達就派大將薛顯帶著五千騎兵和六千步兵前往慶陽受降。張良臣出城，跪倒在路旁迎接薛顯，態度十分誠懇。但當天夜裡，張良臣突然率兵殺入明軍的大營。明軍毫無防備，頓時潰散，指揮被俘，薛顯受傷逃回。
這是徐達少有的一次失手，頓時勃然大怒，又想起朱元璋此前的提醒，痛悔自己未曾留意，發誓一定要拿下慶陽。
很快，各路明軍就把慶陽團團包圍。徐達也下令攻城，城上矢下如雨，而且地勢高峻，明軍受挫。張良臣真不含糊，並沒有縮在城中死守，反而率軍出城與明軍交戰。
不久，傅友德前來增援，張良臣繼續出城交戰，但城中開始有人逃出投降。另一方面，王保保派兵前來救援慶陽，徐達被迫分兵迎擊。
到了八月，慶陽糧盡援絕，城中守將的分歧越來越大，小元帥主張投降，被張良臣囚禁起來，小元帥的同黨在夜間劫出他來，出城投降。
張良臣仍然不肯投降，因為他很清楚，此前的詐降大大激怒了徐達，就算他現在投降，也不會有好下場。
慶陽城中早就斷了糧食，關於城中的慘狀，《太祖實錄》是這樣說的：「至煮人汁，丸泥咽之」。
《紀事錄》說得更具體：「城中水谷俱絕，互相殺食，飼馬以松柏屑，人用黃泥細者，以人油炸而食之。」簡直就是一副人間地獄的景象。
即便如此，張良臣還在堅持，明軍仍然攻不進去。明軍想到了最後一招，就是挖地道，而當地的土質也很適合這個戰術。
城中守軍毫無知覺。八月十五這一天，明軍發動總攻，守軍拼命反擊。幾天之後，城中的地面突然塌陷，明軍從地下殺出，守軍終於崩潰。
圍攻三個多月之後，明軍終於拿下了慶陽。按照《紀事錄》的說法，徐達下令，「羈其守將，屠其男子，縱掠婦人」。
《太祖實錄》中說，徐達率軍進入北門，張良臣和乾兒子們紛紛投井自盡。徐達下命把他們拖出來斬首。第二天，又處死二百餘人。