貞觀四年（630)唐太宗接到一份奏章，指責他不應重修洛陽乾元殿，最後還說:「陛下這麼做，與隋煬帝有什麼區別？」太宗看罷大吃一驚，把上這份奏章的給事中張玄素召來問話:「卿在奏章中，居然把朕與隋煬帝相提並論了？」
張玄素麵不改色地說道:「我朝初創，百廢待興。陛下卻還要勞人傷財，大興土木。這樣下去只怕要重蹈隋朝敗亡的覆轍了。如此說來，陛下恐怕還不如隋煬帝呢！」
太宗聽了，心中的怒火噌的一下躥了上來，又繼續質問張玄素:「卿覺得朕還不如隋煬帝？哼哼，那你倒說說，朕比起夏桀、商紂來如何？」
夏桀、商紂可是昏君暴君的代名詞，唐太宗本以為張玄素總該有點分寸，斷不至於把自己和他們並列。
誰料張玄素卻說:「恕臣直言，如果這乾元殿興建起來，陛下也就和他們沒區別了！」
「你……好啊張玄素，你……」太宗登時被氣得說不出話來，甩了一下衣袖坐在龍椅上。
「陛下！臣說不能興建乾元殿是有原因的。」張玄素才不管唐太宗有多生氣呢，他繼續說道:
其一，我曾目睹前隋修建此殿，用的大木材都是洛陽附近沒有的，要從千裡之外的豫章運來。運送一根大柱就要兩千人來拉，柱子下邊還要安裝生鐵鑄造的輪子。粗略一算，一根柱子的運費就幾萬錢。阿房宮建好了，秦朝的人心也離散了；乾元宮修成了，隋朝卻滅亡了。況且咱們現在國庫空虛，哪能和隋朝相比啊！其二，現在我朝正處於草創階段，需要建造的工程很多，但財力、人力都不允許這些工程一起開動。陛下也不經常巡幸洛陽，何不先建造最急需的呢？其三，當初陛下平定洛陽，太上皇曾下令拆毀奢華的宮殿，陛下還曾奏請將拆下來的木材磚瓦用於修繕民房。百姓們都覺得陛下和生活奢靡的隋煬帝截然不同，所以才擁護陛下。如今您卻要徵發勞役，大興土木，他們怎麼會不心生怨恨呢？如此說來，陛下恐怕比隋煬帝還要昏庸。臣懇請陛下慎重考慮啊！」
張玄素雖然話說得比較重，但條條在理。太宗聽後火氣消了下去，陷入了沉思。過了一會兒，他嘆著氣說:「哎，都怪朕考慮不周，才犯此大錯啊！」
他轉過頭對房玄齡說:「玄素說得對，洛陽那邊的宮殿確實不該修建。如果以後有事去洛陽，即便露宿野外也沒什麼嘛！徵發的所有勞役，都趕快停了吧。」
接著太宗又說:「千人之諾諾，不如一士之諤諤。以卑阻尊，自古不易。賜張玄素彩絹二百匹，以示褒獎！」
就連魏徵也忍不住感嘆:「張公真是有回天之力啊！可謂仁人之言，利國利民。」
當年，隋煬帝為了興建東都，每月役使丁夫200萬人。「官吏督役嚴急，役丁死者十之四五，監工人員便用車輛向外地運送死屍……車輛相望於道。」修築長城、開鑿運河也徵發勞役幾百萬之多，男丁供不上，就令婦人頂上。有的役夫竟因連續數月浸在水中，腰部腐爛生蛆。
而唐太宗為了穩固剛剛建立的王朝，往往事事都反其道而行之。煬帝弄得「天下死於役而家傷於財」，唐太宗貞觀初期則基本做到儘量少的勞民傷財。考慮到財政有困難，他素有腿疾，住在潮溼的宮殿中痛苦不堪，但堅持不翻修宮殿。
他之所以能做到這些，不是因為他不想大興土木，和身邊有魏徵、張玄素這樣的諍臣是分不開的。
唐太宗因此很欣賞張玄素，命他為太子少詹事，去輔佐太子李承乾。張玄素依然不改本色，承乾每有過失，他都極言勸諫。
李承乾對張玄素恨得咬牙切齒，兩次對他下毒手:
先是派一名家奴趁著夜色偷襲張玄素，一頓馬鞭險些將他打死。結果張玄素養好傷後繼續去東宮上班，耿直依舊。
李承乾見張玄素還是不停地進諫，徹底動了殺心，派刺客去伏擊他。正巧趕上李承乾被廢，張玄素也受到牽連被除名，這才躲過一死。
李世民父子二人對待張玄素的態度也很值得注意:
同樣是面對逆耳忠言，李世民不僅採納了張玄素的意見，還予以重賞，把培養、輔佐太子的重任交給他。
而李承乾呢？非但不聽取張玄素的規勸，反而欲殺之而後快。父子二人格局、胸懷上的巨大差距，由此可見。
一個耽於遊樂、不聽勸諫、心胸狹隘的儲君，將來如何能夠主宰一個龐大的國家呢？也無怪乎唐太宗對他失望透頂，最後將他廢黜了。