1988年3月，張雨生自組金屬小子樂團，並參加第一屆臺灣熱門音樂大賽，獲得團體組冠軍以及最佳主唱獎；5月錄製電影《菜刀和六個朋友》的原聲合輯《六個朋友》，這張專輯收錄了張雨生的成名作品《我的未來不是夢》。
8月以「金屬小子」主唱身份與第一界熱門音樂大賽優勝團體合錄紀念專輯《烈火青春》；11月推出個人首張專輯《天天想你》，銷售量超過30萬張，專輯同名主打歌《天天想你》成為張雨生歌唱生涯的代表作品之一。
1989年3月，當選《中時晚報》年度十大唱片新人榜首；同年參演首部電影《七匹狼》，並在電影原聲帶中與王傑、姚可傑、邰正宵等人同唱主題曲《永遠不回頭》；
7月推出專輯《想念我》，這張專輯的風格延續了《天天想你》，從這張專輯起，張雨生開始向創作人轉變；8月入伍服兵役；10月獲第1屆臺灣金曲獎最佳新人獎提名。
1990年1月，出演電影《金馬大兵》；9月創作歌曲《我愛你》，收錄在郭富城的專輯《對你愛不完》中；10月入圍第二屆金曲獎最佳男演唱人獎。1991年6月張雨生宣布退伍；10月為第四屆熱門音樂大賽優勝合輯《青春像把槍》演唱單曲《我學會飛翔》。
1992年2月，推出赴洛杉磯錄製的創作專輯《帶我去月球》；7月《帶我去月球》入圍亞洲區全美音樂錄影帶獎；
同年發表個人首張製作兼創作專輯《張雨生創作專輯》；12月發行第四張專輯《大海》，專輯中每一首曲目都融會了張雨生對美好生活的嚮往和讚美，也傾吐了他對於人生和社會的複雜情緒。
1993年6月推出第五張專輯《一天到晚遊泳的魚》，這張專輯的整體風格象徵著張雨生在退伍後對於學生生涯的沉澱與回味，其中還收錄了他為妹妹創作的歌曲《妹妹晚安》。
1994年1月，出版精選集《自由歌》；8月推出專輯《卡拉OK·臺北·我》。
1995年3月，推出專輯《還是朋友》。
1996年4月，出版合輯《去香港看看》。7月發行雙EP專輯《兩伊戰爭》，並擔任伊能靜、陶晶瑩的專輯製作人；《最愛的人傷我最深》是張惠妹和張雨生合唱的歌曲，收錄在張雨生的專輯《兩伊戰爭》中。
【最愛的人傷我最深】
11月為張惠妹製作專輯《姐妹》。
1997年5月，為張惠妹製作專輯《BAD BOY》；8月為張惠妹製作專輯《我要為你做做飯》，並擔任果陀音樂劇《吻我吧娜娜》音樂總監；10月推出專輯《口是心非》，專輯中的11首歌曲各有不同韻味，且均由張雨生參與創作。
1997年10月21日凌晨2時50分，張雨生獨自駕駛SAAB-900黑色敞篷車，於返家途中因過度疲勞駕駛及車速過快在臺北縣淡水鎮登輝大道與中正東路的路口前發生嚴重車禍，車禍造成其頭部重傷。1997年10月21日凌晨3時5分，張雨生經救護車送抵淡水馬偕醫院急救。1997年11月12日晚上11時48分，張雨生因並發吸入性肺炎急救無效而病逝於淡水馬偕醫院，終年31歲。
11月16日下午，張雨生的家屬和唱片公司，舉辦張雨生追思會，於臺灣國立政治大學文藝中心大禮堂內，舉行追思禮拜，供各界追悼這位年輕的創作歌手。不設置靈堂，但在臺灣淡水馬偕醫院內有簡單的布置。舉行追思禮拜之後，張雨生遺體被送往位於臺灣臺中大肚山公墓地的，梨山「雨生園」內安葬。
張雨生是臺灣創作型歌手，在臺灣有「音樂魔術師」之稱，其音樂成就由於英年早逝而失去了再發展的機會，但他的堅持與努力在歌壇成為了一種精神象徵。