1928年5月17日，張作霖正在家裡搓著麻將，興致剛剛開始，就有屬下通報來了一位不速之客，他讓其他人先玩著，牌局先不撤，自己去敷衍對方幾句就回來。但見到來人後，他發現事情並不簡單。
來人是日本駐華大使芳澤謙吉，他一見到張作霖，不僅沒有任何寒暄，還從皮包裡拿出一份文件，遞上去就要請張作霖籤字。
張作霖瀏覽了內容，眉頭一緊，心中暗暗道：這不是之前日本人與袁世凱籤訂的那份臭名昭著的「二十一條」嘛。
而在他思索的時候，芳澤又急不可耐地拿出了另一份重要文件《滿蒙新五路協約》。其中約定，將五條鐵路的修築權全部委託給日本人。
看完內容，一生戎馬的張作霖很清楚這意味著什麼，不僅進入東北的交通被打開，日本人要想控制東三省也是輕而易舉，更重要的是他自己將會背負一生罵名，被人戳脊梁骨。
這是他不願意的。儘管在外界眼裡，他是割據一方的軍閥，也沒少幹過出格的事情，可「不當漢奸賣國賊」始終是他堅持的底線和原則。
於是考慮再三，他婉言拒絕了面前的這位駐華大使。之後幾天日本方面再次派人出面交涉，但都被他一一打發了。
直到不久後，蔣介石的國民革命軍即將兵臨北平城時，芳澤趁機又來到中南海對張作霖說：「只要籤了新五路協約，日本方面立即派兵幫你解圍」。
見芳澤又來，張作霖回應道：我現在太忙，等騰出時間來籤完字，再通知你來取。
過了三個小時，張作霖讓人通知芳澤前來，把裝在袋子裡的文件交給了對方，並告訴說「大帥已經籤了」。芳澤接過文件，心中大喜，志得意滿的乘車就回了去。
可回到使館，打開文件一看，上面竟然只有一個簡單又醒目的「閱」字。芳澤頓時傻了眼，再次被張作霖當作猴耍的他，內心是又氣又恨。
隨後他把這件事向上級做了報告，本就對東三省覬覦已久的日本關東軍，再也忍無可忍，決心使出卑劣手段，除掉張作霖。
6月4日這天凌晨五點三十分，當張作霖的專列行駛到皇姑屯附近時，鐵軌上日軍預先埋伏的炸彈轟然爆炸，將張作霖炸得不省人事。
當同行的士兵小心翼翼地把他從車廂裡抬出來，並用汽車以最快速度送到大帥府醫治時，醫生發現他的一條手臂已經被炸斷，鮮血從脖子上不斷冒出，當天上午九點三十分左右，最終因為失血過多，傷勢過重而離世。
臨終前，張作霖撐著最後一口氣向周圍人交代：讓小六子趕快回奉天。說完，含恨而去，終年54歲，一代梟雄就此落幕。
縱觀張作霖的一生，早年投身綠林。所謂亂世出英雄，殺伐果斷的老張立足關外，終成一代東北王。年少家貧，老張平生識字不多，自己又是打打殺殺起家的，所以對待文人知識分子非常不友好。
第二次直奉戰爭後，張作霖於1927年6月在北平就任陸海軍大元帥。這期間老張魔鬼上身，瘋狂絞殺了李大釗，包括著名記者邵飄萍、林白水等二十餘位革命者在內的文人知識分子遭到其殺害。
有人說他是殺人如麻、反動的舊軍閥，也有人說他是愛國將軍。其實客觀而言，他的確是封建落後的軍閥代表，在外交上也與日本人有過妥協，他不能稱為民族英雄，但始終維護民族利益的行動還是明確的。