張作霖字雨亭，1875年出生於奉天海城，家境貧寒。8歲時，父親因賭博被仇家殺害，家境更加窘困，全家逃荒至廣寧縣，為人做工度日。13歲時，他在別人家私塾外偷聽，感動了老師，意外得到免費讀書的機會，這對他日後的發展極為重要。也因此，他對這位恩師湯景鎮十分感激與敬重，後來便請他做兒子張學良的啟蒙老師。
早年迫於家境，張作霖賣過包子，做過貨郎，還給別人養過豬，但也只能勉強維生，直到去到營口學做獸醫，逐漸在當地小有名氣。當地有一個著名的綠林人物叫「鑽天燕」，慕名來找他醫馬，他手到病除，頓時名聲大噪，生活也發生了天翻地覆的變化。可惜張家賭博的惡習，並沒有因為父親的慘死而終結，年輕的張作霖還是重操了父親的舊業，頻繁出入賭場，好不容易好起來的經濟狀況，再次跌入深淵。
年輕氣盛的張作霖因為一次賭博輸得氣急敗壞，又沒了翻本的賭資，一時間情緒失控，拿起刀扎在自己腿上，順勢割下了一塊肉，擲於賭桌要作為賭資，賭友們見狀大驚失色，以為遇到了亡命徒，趕忙把錢都還給了他，然後紛紛離席。
甲午戰爭期間，他浪跡於遼西一帶，常為宋慶的毅軍部隊醫馬，以此投入軍旅，在馬玉崀門下，當了一名騎兵。因為熟知馬性，精於騎射，不久提拔為哨長，白馬紅纓，春風得意，娶了當地鄉紳趙佔元的女兒。但他這一段行伍生涯很短，不久中國戰敗，毅軍回防直隸，他即留在了遼西。
1900 年前後，正趕上鬧「義和團」，沙俄趁機染指東北，清朝的盛京將軍逃走，東北成了一個沒有人管的地方，無奈之下，很多村莊只能選擇自保。那時的張作霖，憑藉自己的嶽父、地主趙佔元的幫助（趙佔元的次女趙春桂是張作霖的髮妻，也是張學良的生母），組成了一個 20 多人的大團，也就是武裝組織，來保障村莊的安全，收取「保護費」。而保障安全，也難免要和其他來侵擾的土匪交火，乃至互相爭搶地盤，張作霖當土匪的經歷，就是從這裡開始的。
不得不說張作霖把自己的「轄區」執掌得很有一套，手下人也很守規矩。在那個亂世，反而有很多村莊主動要求張作霖去「保護」，所以到後來，張作霖負責保衛 20 多個村莊的安全。
1902 年，社會秩序逐漸穩定下來，張作霖機敏地看到，所謂的「民團」是沒有出路的，所以，他經八角臺商團會長張紫雲引薦，拜新民府知府增韞為師，接受了招安，成為副營長，之後又升到了營長。
這是張作霖一生轉折的開始。
土匪出身的張作霖，搖身一變成了「剿匪部隊」，在剿匪的過程中也是不遺餘力，再加上本身就熟悉土匪的套路，所以收穫頗豐，尤其是誘殺大土匪杜立三一役，堪稱心狠手辣。1908 年，時任東三省總督的徐世昌把剿匪得力的張作霖調到遼寧西北部的通遼、洮南一帶，讓他去剿滅被俄國收買的蒙古叛匪。這可能是張作霖剿匪生涯中最艱難的任務。因為蒙古草原極為乾燥，經常有狼出沒，而熟悉地形的「蒙匪」又相當彪悍，馬術精湛。
但智勇雙全的張作霖，摸索清楚了戰術，派人臥底到了「蒙匪」老巢，然後智取強攻結合，經過一年多的努力，解決掉了幾股比較大的勢力：如白音大賚被擊斃，牙仟被生擒，陶克陶胡被張作霖追擊 400 公裡，逃入外蒙。
由此可見，張作霖解決了危害東北邊疆多年的匪患，功不可沒，在剿匪方面也只有土匪出身的彪悍張作霖能做到。