清朝末年，東北局勢不穩，為各路草莽豪傑提供了崛起機會。辛亥革命前夕，奉天省有四大軍事重要人物，他們分別是張作霖、馮德麟、馬龍潭和吳俊升，為了獲得更好發展，他們曾於1907年互換蘭譜，以年齡為序結為兄弟。當時結拜的共八位，吳俊升排行第二，張作霖排行老七，張作霖能從一介草莽發展為東北王，自然離不開這幫兄弟幫扶。
吳俊升，綽號「吳大舌頭」，1863年出身於一戶貧苦人家。因為家貧，他七歲便給地主放馬牧羊，因受過凍傷，以致說話吐字不清、磕磕巴巴，被人戲稱「吳大舌頭」。年紀稍大去當小夥計，因生性頑劣、惹事生非，不久即被辭退，於是只好隨父販賣馬匹。十七歲那年，他加入了遼源捕盜營，因善醫馬疾、剿匪有功，多次得到提升，一直做到遼源捕盜營把總。
在清末民初動蕩時局中，吳俊升始終與張作霖在政治上共進退，保持高度一致。辛亥革命爆發後，他們聯名致電內閣總理袁世凱，要求勤王，盡忠清廷。袁世凱要稱帝，他們又一塊上書請願，吳俊升被封為二等男爵。隨後討袁運動中，他們又聯手驅逐了奉天將軍段芝貴。在奉天軍政大權惡鬥中，吳俊升堅決支援張作霖，擊敗了另一個結拜兄弟馮德麟。
事後，張作霖任命他為第二十九師師長。1921年，已控制了整個東北的張作霖，沒有忘記吳俊升，任命他為黑龍江督軍兼署省長，晉授陸軍上將銜。此後，吳俊升統治黑龍江省七年，他貌似憨庸，而心實狡黠，在各地到處安插親信，頤指氣使。他內政手腕笨拙，圖謀私利、貪慾極強，另一方面行事嚴酷，對一些影響局勢的事端，斷然扼殺，血腥鎮壓。
1925年，奉軍將領郭松齡發動兵變，吳俊升對張作霖表態「和郭鬼子誓不兩立」，於是被委任為討逆軍總司令。郭松齡被打敗後，奉系召開高層會議，張作霖提出要引退讓賢，軍事交給吳俊升。吳俊升一聽搖頭擺手：「我一天也擔任不了，你不幹，咱們一塊撂下！」「誰是英雄？我看我們都是狗熊，只有大帥是英雄！」逗得與會者紛紛大笑，張作霖也不便再推辭。
1928年夏，奉軍為北伐軍所敗，張作霖決定撤軍出關。6月3日，張作霖乘專車離京，吳俊升聞訊遠迎至山海關，二人同乘一節車廂回奉。然而當翌日清晨，火車行至皇姑屯附近，車廂被日本關東軍預埋炸藥炸毀。吳俊升被鐵路道釘穿入腦部，當即喪命，時年65歲。張作霖身負重傷，當晚死去。