山濤的父親是宛句縣令，不過在山濤很小的時候父親就去世不在，因此家中貧困如洗。即使這樣也沒能壓垮山濤，《晉書》中記載他很早就展現出非凡的器量，隱居鄉裡每日研習經書，一直到後來同嵇康、阮籍結為莫逆之交。
山濤第一次踏入仕途是在四十歲的時候，一開始只擔任郡裡面的主簿、功曹，到後來被舉為孝廉在州裡面從事。後來山濤甚至猜到此時太傅司馬懿稱病臥床的用意為何，果然沒多久司馬懿就清除了大將軍曹爽的集團。
司馬氏一家獨大之後，山濤便就歸隱鄉間，不再理會世間雜務。但令人沒想到的是，山濤的「從祖姑」，也就是他父親的叔伯的姐妹，居然好巧不巧是司馬懿老婆張春華的母親，沾親帶故之下偶然同手握大權的司馬師相遇。
司馬師還把他當作是以直鉤釣魚的姜子牙，問他想不想要當官，接著山濤就被舉為茂才，成為驃騎將軍王昶的從事中郎。儘管身份比以前高俸祿也多，但山濤依舊保持著往日裡的簡樸生活。
接著又過了很長一段時間之後，山濤又被拜為趙國國相，遷升為尚書吏部郎。此時大將軍司馬昭甚至還寫信稱讚山濤清明高雅的節操，又送來錢二十萬、谷二百斛解決家中貧困。而司馬師得到皇帝賞賜的衣物之後，也轉贈給山濤，還特別為山濤母親送來一根藜杖。
頗受重視
在鍾會擁兵叛亂之後，此時大將軍司馬昭準備親自率軍平叛，臨行前將後方的事情委託此時身為大將軍從事中郎的山濤，特為其調派了五百親兵鎮守鄴城，可見此時山濤在司馬氏中頗受重視。
司馬昭曾經在兩個兒子到底立誰為世子之間為難，司馬炎是長子理應被立為世子，但司馬昭的事業都是繼承於司馬師，他有意將曾過繼給大將軍司馬師的司馬攸立為世子。
一天司馬昭以此事詢問山濤的意見，山濤以違背禮制為由認為不可，否則必然會危及國家的安危。於是司馬炎就被確定為世子，也就是後來的晉武帝，後來司馬炎親自登門道謝，沒多久司馬炎就受禪即位建立晉國。
在山濤擔任冀州刺史期間，無論是士人還是百姓，都對其治理有方而大加稱讚，山濤還在當地先後挑選出三十多位隱士進行表彰或者任命，這些人在後來都頗有些名聲。
不過當山濤母親年老之後，一心想親自侍奉老母的他接連上奏數十次，司馬炎才同意放山濤回家贍養老母。司馬炎知道山濤一向節儉度日，特別為其找來一位負責往山濤府中送去每日飯菜的人，這份待遇在當時無人能比得過山濤。
長期以來，很少有人關注竹林七賢裡的山濤，只因其作品未能留存於世，而山濤卻是竹林七賢當中除開嵇康、阮籍之外最重要的一位成員，其餘四人則作為陪襯。
再度入仕的原因
對於山濤為什麼棄官歸隱之後又再度步入仕途，古今學界內一向有兩個觀點存在，一是說山濤貪圖富貴，二是說他迫不得已才入仕為官。
不過第一種觀點的可能性極小，無論是從任何記載山濤的史料上查看，均都記載著他不管是在棄官歸隱之前，還是身居高位之後，勤儉度日的生活就沒變過，因此很多時候還需要別人「救濟」。
也不是山濤俸祿不夠，他一生也只娶了一位妻子並沒有妾室，晉書上記載他所得的那些俸祿賞賜大多都散給了親朋好友，如此這般的為人，說他貪圖榮華富貴實在有些不靠譜的樣子。
至於第二種司馬氏逼著他為官也缺乏史料考證，雖然如今再看竹林七賢事跡頗有些反司馬氏的味道，司馬要拿他殺雞儆猴當代表人物，不過竹林七賢只不過是存在了很短時間的鬆散學術組織。
由於山濤依附司馬氏的行為，讓他在後世遭到許多非議，不過在山濤勸嵇康的兒子嵇紹入朝為官時，我們或許能從他勸嵇紹為官的一段話中窺得一二，他說天地四時都在變化當中，又何況人呢。
可能這時山濤便明悟了朝代的更替自有定數，應當順應時勢通曉變化，歷史上由隱而入仕的例子很多，諸葛亮不也先是隱居，之後才效力於劉備帳下。若還有一點便是他對愛妻的承諾，或者說是戲言。
一開始山濤沒做官前家徒四壁，他的妻子韓氏對此一直沒有怨言。有一天山濤也感到不好意思，對韓氏說再忍一忍，他以後一定會位列三公，就是不知道到了那個時候韓氏能不能做得來三公夫人。
三公之位豈有那麼容易獲得的，只是令人沒想到的是，雖然晚了一點，當日安慰妻子的戲言日後竟然成真。山濤去世時享年七十九歲，晉武帝司馬炎下詔先後賞賜錢百萬之巨，用來準備喪事用品及各項用度。山濤死後留下的只有老宅中十間屋子，但是子孫眾多，晉武帝司馬炎得知後便又為其子孫重新建造了住宅。