張作霖統治東北期間，張作相曾三次辭卻對其職位的升遷。
1919年8月張作相任第27師師長後，張作霖感到張作相離開自己身邊，工作起來有許多不便。
不久，就任命他為東三省巡閱副使。張作相以位高堅辭不就，遂被任命為東三省巡閱使署和奉天督軍署兩署總參議。
1921年初，黑龍江省督軍孫烈臣轉任吉林省督軍，張作霖要任命他為黑龍江省督軍，當即被張作相婉言辭卻，並建議讓第29師師長吳俊升出任。
張作相說：「論資歷我不如興權(吳俊升字)，論年齡他也比我大。為表示待人公正，不徇私情，請讓興權先升。這對我們的前途和事業有好處。」
1921年5月30日，北京政府特任東三省巡閱使張作霖兼蒙疆經略使，「各該特區都統，均應歸該經略使指揮節制。」並以此逐去原熱河都統薑桂題，由奉系派員充任都統。張作霖要派張作相任熱河都統，但張作相仍執意不肯，並極力推薦28師師長汲金純為熱河都統。
張作相為人胸懷寬廣，識大局，顧整體。
1925年郭松齡兵敗身亡後，張作相對被俘的郭松齡部將領，力主寬大。
1925年12月29日晚，張作霖在大帥府召開東三省軍政會議，討論處理郭松齡兵敗身亡後的善後問題，張作相、吳俊升等奉系高級軍政大員出席。
吳俊升、湯玉麟、楊宇霆等人皆要求張作霖將郭的部屬「一網打盡」，「根除首要分子。」唯獨張作相苦勸張作霖萬萬不可株連郭的部屬，「一律免究」。
張作相的意見，立即遭到了多數人的反對。張作相見形勢十分嚴峻，竟痛哭失聲說：「如果非殺他們，那就先把我張作相殺了吧。」
最後，張作霖採納了他的意見，從而使奉系內部避免了一場自相殘殺的悲劇，為東北軍保存了一批重要將領。
1924年4月，張作相在他主政吉林的七年多時間裡，深得民心。
他上任後，大力選拔優秀人才，澄清吏治。
打擊匪患，保境安民。積極整頓財政稅收，使過去歷年虧空的財政，年年收入均有增加。
他對鴉片的種、運、售、食皆嚴厲查禁，使吉林全境免受鴉片之害。
張作相將盈餘的財政收入用於公益事業建設，修築全長200公裡的吉林至海龍的鐵路，修建自來水廠、修築省城吉林的江堤和柏油馬路，發展全省的中小學教育事業，並創辦了吉林大學，張作相自兼校長。