「貌比潘安，才同子建」，便是形容男子儀表俊美，文才高捷，子建便是寫出「本是同根生，相煎何太急」的曹植，潘安則是古代第一美男，居古代四大帥哥之首，另外還是金谷二十四友之首，那潘安到底有多帥呢？
無論是處於哪個時期，都是看臉的，包括文聖孔子，孔子弟子中原有一個叫子羽的人，因為相貌醜陋，所以孔子對他比較冷淡，子羽就只好回去自修，後來子羽成為了有名的學者，孔子這才認識到自己的錯誤，說出：「以貌取人，失之子羽。」
既然是這樣，古人的審美觀也不比現代人差到哪裡去，據史記載，潘安只要出門，回來的時候，車上肯定有著滿滿當當的水果，並不是潘安專門買的，而是那些痴迷潘安長相的女子所贈，包括老婦人，以此表達她們對美男子的愛慕和追捧。
這讓才華出眾的左思羨慕不已，也就學潘安到處遊逛，結果卻遭到了女子的唾沫星子，左思感到特別喪氣，體會到了模仿西施皺眉頭的東施的心情。
而潘安不僅長相帥氣，人還特別專一，從不亂搞男女關係，心中只裝得下自己的妻子楊容姬，而這兩人在十多歲時就已經定親，楊容姬則是西晉名儒楊楊肇的女兒，婚後兩人也是琴瑟和鳴，楊容姬去世後，潘安還有感而發，相繼寫下來三首有名的《悼亡詩》，得到「潘楊之好」的評價。
晚唐女詩人魚玄機在
《迎李近仁員外》中還寫道：「焚香出戶迎潘嶽，不羨牽牛織女家。」
除了相貌、才華、專情，潘安還是個孝順兒子，北宋前編著的《二十四孝》裡，就收錄了潘安不顧挽留，毅然選擇辭官奉養生病的母親的事情，那為啥會被株三族？
據《晉書·潘嶽（潘安）傳》記載：「嶽性輕躁，趨世利，與石崇等諂事賈謐，每候其出，與崇輒望塵而拜。」
這意思是說，潘安喜好奉承，賈謐則是西晉開國第一開國功臣賈充的外孫，隱喻潘安死於政治紛爭。
不過千百年後，潘安墓出土，專家們對古屍進行了復原，潘安的復原圖也是相當英氣，另外通過查閱歷史文獻，發現嫉妒潘安的人並不少，就有一個叫孫秀的人，曾在潘安父親手下當過下人，品行不怎麼樣，因此被潘安教育過，孫秀並對潘安心懷恨意。
後來孫秀侍奉的趙王司馬倫囚禁晉惠帝，自立為帝，孫秀小人得勢成了宰相，並對潘安下了手，誣陷潘安與西晉官員石崇等人有謀逆之心，潘安因此被夷三族，讓世人倍感可笑的是，潘安直到被押往刑場的時候，才知道石崇也被夷三族。
於是就出現了這樣的對話，石崇問道：「安仁，怎麼你也來了！」潘安回答道：「可謂白首同所歸。」
潘安曾寫過「投分寄石友，白首同所歸「的詩句，表示兩人關係很好，老了還在一塊玩耍，而他與石崇之間的友誼倒應了那句「不求同年同月同日生，只求同年同月同日死。」