大業三年（607年）八月，隋煬帝結束了首次對北方的巡行，於八月十七（癸巳）日入樓煩關，九天後到達太原。太原是隋煬帝當晉王時來過的地方，想到二十六年前在晉王府受王韶的教誨，煬帝仍然充滿了感激，「沒有王子相就沒有我的今天」這句話也許就是在他這次重返太原時所說。但想到王韶帶著刑具對他勸諫時的情景，隋煬帝又不免覺得老頭子的可笑，不就是為了在園子裡挖個水池修座假山，也值得他那樣大驚小怪。王韶死後接替他做并州長史的就是剛被隋煬帝處死的宇文弼。這個人才能卓越，歷任顯職，在朝野很有聲望。
大概為了抵消給朝臣留下的冷酷無情的印象，隋煬帝決定在回東京的路上，繞道前去看望他的另一個幕僚，現任御史大夫張衡。為了去張衡家，官府臨時開了一條九十裡的通道，張衡也趕在皇帝前回家做準備。九月十三（己未）日官道修成，隋煬帝在前呼後擁之中來到張衡家，張家闔府上前來迎接皇上，以牛酒等美味佳餚款待皇帝和他的隨從。但隋煬帝最滿意的是張家莊的幾口清泉，清冽甜美的山泉喝得隋煬帝忘了歸期。隋煬帝在張衡府上玩了三天，吃喝之餘，皇帝對張衡說:「從前隨先皇參拜泰山，途經洛陽遠遠看見你家鄉，一直為不能前來感到遺憾，沒有想到今天能夠實現夙願。
」張衡跪著給皇上敬酒，祝皇帝萬壽無疆。隋煬帝越發高興，將附近三十頃田地賜給他，還給他一匹良馬一條金帶六百段縑彩。縑是一種薄的絲織品，可以用作書寫材料，彩則是五色的絲織物，縑彩應該都是貴重物品；另外還送了張衡一套衣、一套皇家用的餐具（大概是秘色瓷之類）。張衡推讓不肯接受，隋煬帝說:「皇帝到一處稱之為幸，不就是因為做皇帝的要賞賜大家很多財物，臣民才會感到格外幸運。給你就收下，用不著客氣。」張衡又獻了許多美味給皇上，隋煬帝下令將這些好吃的分給隨行百官和衛士，一個人也不曾拉下。九月二十三（己巳）日皇帝的大駕由張衡家的清源回到了洛陽，從西京出發，到東京結束，這次旅程前後經過一百五十三天。
張衡和隋煬帝早年的關係，前面已有交代，這裡還要再說幾句:張衡老家在河內郡，他出身士族，祖父是北魏的河陽太守父親當過北周的萬州刺史。張衡年輕時就很有志氣，脾氣也很耿直，十五歲進太學已成為同輩人的楷模。北周武帝的母親死，皇帝守孝時居然不遵禮法帶了左右外出打獵，張衡光著頭不戴頭巾，用大車裝上了棺木趕去勸阻。給皇帝提個意見還帶棺木，那是表示不達目的死不罷休，周武帝被這個不怕死的年輕人感動，賞給他一匹馬一套衣衫，還讓他陪自己的兒子讀書，也就是侍讀。張衡對「三禮」最有研究，他曾跟大學者沈重學習過禮。隋朝建立，張衡被任命為晉王府官員，先後管戶籍和刑法，晉王調揚州張衡也跟隨前去。
隋煬帝能得到天下，張衡的幕後籌划起了很大作用。煬帝上臺後，這個官位不顯的隨員從此飛黃騰達，當上黃門侍郎和御史大夫。張衡雖然身居要職，但作為舊臣仍然還得繞著皇帝轉，隋煬帝喜歡巡行，張衡也得滿天下的跑。大業三年九月張衡剛回東京，四年三月二十二（乙丑）日又隨著皇帝離開了洛陽宮，前往太原看前一年下令修建的晉陽宮，然後他又隨著皇帝出塞，視察去年剛修好的長城工事。看完長城返回塞內，隋煬帝又下令在太原的北面建立樓煩郡。接著隋煬帝來到汾水的源頭，那裡有個大池稱為天池，池邊有座汾陽宮，是座舊行宮（今山西寧武縣境）。皇帝在舊行宮宴請隨從並給眾人賞賜，張衡也領到五百段的絹帛。
宴後隋煬帝和張衡商議擴建汾陽宮，要他先去準備圖樣。張衡認為皇上登位以來興建大的工程不少，也該讓老百姓休養生息，於是他鬥膽進諫，要皇上愛惜民力。張衡從前給隋煬帝出過許多點子，那是教煬帝如何去奪取政權，煬帝都能言聽計從，現在張衡卻彈起了憂國憂民的高調，隋煬帝覺得很不入耳。隋煬帝不懂奪取政權和鞏固政權的區別，也不考慮一張一弛的文武之道，卻對左右的人說:「這個人自以為我是靠了他的計謀才有天下，所以敢對我如此放肆
隋煬帝對張衡不滿就想找他的茬子:煬帝的次子楊暕違反規定將一名縣令帶到汾陽宮；那年八月皇帝祭祀恆山，前來參見的老百姓又都衣冠不整；煬帝以張衡作為御史沒有及時舉報為理由，在大業四年（608年）底將張衡貶為榆林太守。大業五年隋煬帝又一次來汾陽宮，正在監修樓煩城的張衡連忙趕去參拜見面前，隋煬帝以為昔日一臉福相的張衡，失寵後一定頹唐消瘦，但沒有想到跪在他腳下的張衡仍然紅光滿面。隋煬帝認為張衡並沒有悔悟，冷冷地說:「衡公還如往日一樣肥澤，看來榆林對你很是合適，還是在這裡幹幾年吧。」