17歲那年，李存葆成為青島駐軍某部守備連指揮班的一名戰士，學的是炮兵指揮，軍裡組織考核時，他的成績是計算兵第一名。
一次偶然機會，團裡舉辦通訊報導學習班，訓練隊原本是讓一位能寫會畫的高中生參加。沒想到開學當天，那人生病，隊長只好讓李存葆去頂替。
在學習班學了四天，李存葆寫了三篇小稿，發表了兩篇，其中《行軍小憩》等幾首詩歌引起講課的新聞幹事的關注，推薦發表在《青島日報》《大眾日報》上，另一篇也被青島廣播電臺廣播。這激發了當時並不特別偏愛文學的李存葆的創作熱情。
從學習班回來，團政治處便通知李存葆「轉行」。1967年，他被調到67軍報導組。在那段理性暈眩的年月，眼見軍圖書館的藏書即將付之一炬，李存葆用寫稿獲贈的數百枚像章「買通」了圖書管理員，換得了古今中外名著400餘冊。
因為報導員可獨居一室，於是李存葆有了「金屋藏書」的條件。莎士比亞、易卜生、雨果、契訶夫、葉賽寧、王實甫、曹雪芹……這些大師級的作品，把他帶進了文學的聖殿。
1979年春，早已調到濟南部隊文工團工作的李存葆，以作家身份去雲南前線作戰部隊採訪。後來，又到廣西參戰部隊生活。在那裡，他和前線官兵一起生活了四個月，目睹了很多豪情悲壯的動人故事，官兵們的喜怒哀樂，時時刻刻都在激蕩著他的心靈。
在前線，李存葆邊採訪邊寫作，十多萬字的報告文學和散文發表在報刊上。但是，他的心裡一直醞釀著一部刻畫英雄人物內心世界和表現部隊人物內心矛盾的作品。
李存葆在採訪時了解到這樣一件事：一個從農村入伍的連隊幹部，他的家鄉屬貧困地區，因此生前欠下一筆數目不小的帳。他和年輕的妻子感情極深，上戰場前，在寫給妻子的信中，他真誠地叮囑，如果自己戰死了，她要堅強地活下去，希望妻子和家人，要多想想國家的難處，不要向組織伸手，他欠的帳可用撫恤金來還……
當時，部隊的同志還沒講完，李存葆就已淚流滿面。這就是後來小說及電影《高山下的花環》中梁三喜一家的原型。
直到1982年，在中國作協和總政文化部聯合召開的全國軍事題材座談會上，李存葆才將早已構思好的《高山下的花環》同《十月》編輯部編輯張守仁講了。會議結束後，他沒有回濟南部隊，而是在北京找了一處僻靜之地安下身來，火速趕寫，僅用半個多月就完成了全稿。
《高山下的花環》的文學史意義，不僅意味著軍旅作家思想上的撥亂反正，意味著軍旅文學創作新局面已經開始，更意味著以李存葆為代表的新一代軍旅作家的崛起。朱向前認為，《高山下的花環》為新時期之初的軍旅文學贏得了巨大的聲譽。
《高山下的花環》通過對1979年雲南前線一支尖刀連隊戰鬥的曲折描寫，將前方與後方、高層與基層、人民與軍隊、歷史與現實有機地勾連起來，深刻地揭示了軍隊的現實矛盾和歷史傷痛，令人振聾發聵。
小說發表後馬上引起極大反響，並獲得全國第二屆中篇小說獎第一名。中央人民廣播電臺隨即連播，社會上颳起了一股「花環」旋風。《小說月報》轉載時，加印了80萬本，《上海青年報》刊出了特刊，一次印了百萬份，累計印數達1100萬冊。
在新中國成立35周年之際，以《高山下的花環》書籍和人物為造型的彩車作為全國文藝界的唯一代表，駛過天安門廣場。
當時，上海電影製片廠為拿到改編權，謝晉輾轉請了馮牧轉達希望改編拍攝的願望，並給李存葆拍了一封長達600餘字的電報。而在接到恩師馮牧的信函和謝晉長長的電報後，李存葆沒有絲毫猶豫，就把《高山下的花環》的改編權交給了上影廠。因為此前已經有了改編的話劇和電視劇，反響很好，有人懷疑再拍電影沒有人看。謝晉拍著胸膛發誓：《高山下的花環》搞不出名堂，我謝晉今生永不再拍電影！
電影《高山下的花環》1985年獲第五屆金雞獎、第八屆百花獎，圖為李存葆（右）與王玉梅（梁三喜母親的扮演者）合影。
20世紀80年代，李存葆與謝晉（中）、馮牧（右）在一起。