早年段志玄隨父親客居在太原，在這裡認識了李世民，並得到其賞識。
正是這個機緣，李淵在太原起兵後，雖然他不在「太原元謀功臣」17人大名單中，但也是第一批參加革命隊伍的功臣。
當時看到李淵起兵反隋了，段志玄立刻招募了一千多人，組成自己的隊伍積極響應，併入李淵大部隊後，他被授為右領大都督府軍頭，並擔任先鋒。
在奪取霍邑（山西臨汾）、絳郡（山西新絳）和永豐倉（今陝西大荔）的戰鬥中立下戰功，因功擢升左光祿大夫。
太原起兵後，李淵聽取謀士的意見，制定了兵髮長安，佔據關中，再往中原以圖發展的戰略部署。
潼關自古以來就是長安的門戶，只有拿下潼關，才能實現進佔長安的戰略意圖。
對於潼關，李淵很重視，特意派心腹劉文靜帶兵前來，段志玄作為副手也一路隨行。
當時駐守潼關的是隋朝著名戰將、左驍騎衛大將軍屈突通，兩軍對峙了一個月，屈突通派部將桑顯和趁夜偷襲劉文靜，唐軍被打得潰不成軍。
在這個危機關頭，段志玄有用武之地了，他帶領20餘人先後三次衝入戰陣，身中流矢，但為了不影響士氣，忍痛不語。
在他的強烈衝擊下，隋軍倒亂了陣腳，一時唐軍士氣大振。
「志玄率二十騎赴擊，殺數十人而還。為流矢中足，慮眾心動，忍而不言，更入賊陣者再三。顯和軍亂，大軍因此復振，擊，大破之。」（《舊唐書·段志玄傳》）
屈突通作戰很勇猛，但是他運氣不好，遇到一個比他還猛的段志玄，最後被段志玄打敗，並擒拿。
俘獲了隋朝的大將軍，那可不是一般的功勞，所以段志玄理所當然的高升至樂遊府驃騎將軍。
有個俗話，「瓦罐不離井上破，將軍難免陣前亡」，就是說，世上的常勝將軍其實很罕見，段志玄也不例外。
後來有一次戰鬥，他雖然沒有陣亡，但卻差一點被敵兵活捉。
險情出現在621年（武德四年），他隨李世民去東徵王世充的戰鬥中發生的。
在衝鋒時，段志玄的坐騎中箭倒地，他被摔下馬來。
掉到地上的段志玄還沒有爬起來，就被敵軍圍住了。
當時戰鬥十分酷烈，都想著能拚盡最後一點力量消滅敵軍了，所以誰也沒有帶繩索。
可是，這麼高級的將領，活捉了要比梟首賞金高多了。敵兵不捨得殺他不是看到他好看，而是值錢。
於是，戰場上出現了極為奇特的一幕，只見王世充的士兵將段志玄的頭髮散開，兩個騎兵，從斜上方兩側抓住他的頭髮，段志玄的身體立刻出現出一個「丫」字造型，騎兵在馬上拖著他走。
「後從討王世充，深入陷陣，馬倒，為賊所擒。兩騎夾持其髻，將渡洛水，志玄踴身而奮，二人俱墜馬，馳歸，追者數百騎，不敢逼。」（《舊唐書·段志玄傳》）
但是在渡洛水時，段志玄縱身跳起，將二人拉墜馬下，奪得馬匹馳歸。
敵兵一看都傻眼了，數百人在後面追趕，但都只是搖旗吶喊，並不敢逼近。
段志玄有驚無險的回歸本軍，但一代名將，弄了這麼個灰頭土臉，大煞風景。
李唐統一全境後，李淵在那裡高高在上，逍遙自在做皇帝，朝廷表面上風平浪靜，可實際上下面卻是暗波洶湧。
關鍵問題就是太子李建成和李世民之間的權力爭奪。
由於李世民戰功赫赫，手下戰將如雲，使李建成十分的忌憚。
所以李建成開始動歪腦筋，來挖李世民的牆角了。
626年（武德九年），李建成重金賄賂段志玄，企圖誘其歸順。但沒想到段志玄在重金面前不失氣節，不但拒絕了李建成的誘惑，還將此事告知李世民。
後來他直接參與了玄武門之變，李建成、李元吉被誅後，不久李世民登基做了皇帝。
李世民當政後，自然要對有功之臣大加厚賞，段志玄遷任左驍衛大將軍，封樊國公。
作為一個將軍，段志玄治軍非常嚴厲，令行禁止。
貞觀十年，長孫皇后去世，李世民對她舉辦了國葬。
段志玄和宇文士及分別統兵從蕭章門護送長孫皇后的靈車。蕭章門是皇宮內宮一個大門，在這裡值守責任重大。
因為參加葬禮的人員眾多，鎮守這裡的護衛，他們不僅要保證長孫皇后的靈車安全，更要保護內宮的安全。
夜裡，李世民有急事派人來到蕭章門，使者先到了宇文士及的軍營中，他一聽是皇帝的使者，連忙開門接待。
使者接著又來到段志玄的軍營，沒料到他拒不開門，並回答夜裡不能開軍門。
使者因為「尚方寶劍」在手，所以底氣很足的說自己有皇上親筆寫的赦書，但沒料到段志玄決然的回答到：「夜裡看不清，難以辨別真偽。」
使者真沒辦法了，只能等到天明。
後來使者將此事匯報給李世民，以為段志玄必然要吃不了兜著走，不料李世民不但沒有生氣，反而稱讚段志玄治軍嚴格，有漢朝周亞夫的風範。
後來李世民建造凌煙閣，在這裡畫了24功臣的畫像，以供後人紀念，段志玄總排名第10位，在戰將裡僅排在尉遲敬德之後，名列第二，這個排名相當靠前了。
可見他深得李世民的器重和喜歡。
參考資料：《新唐書》 《資治通鑑》