張彥遠在前人有關繪畫品評與著述的基礎上，對繪畫史的框架進行總體構思，創造了一個嶄新的繪畫史體系，以史傳為經，以品評為緯，編織出《歷代名畫記》宏大的藝術史體系。謝赫、李嗣真、張懷瓘的畫品《畫斷》，是以品帶史，品評作品及區分品次高低是其主要任務，朱景玄《唐朝名畫錄》史品結合，增加了敘述畫家故事與畫家小傳的內容，向獨立的藝術史邁進了一大步，但全書仍限制在神妙能逸的品第框架內。
《歷代名畫記》則以史傳為主，兼及品評鑑藏，近人餘紹宋將其歸類為史傳類應是正確的。從書名來看，「歷代」即各歷史朝代，或朝代之歷史發展，也就是各歷史朝代的繪畫發展，「記」為記錄敘述，也即記錄敘述歷代繪畫發展史。所以《歷代名畫記》從標題看已與謝赫、李嗣真、張懷瓘的《畫品》《畫斷》有明顯差別，藝術史意識已是自覺而強烈的。
《歷代名畫記》寫作初始年為公元 847 年，該書卷一第二篇《敘畫之興廢》最後題識「時大中元年，歲在丁卯」。大中為唐宣宗年號，為公元 8 4 7年至 8 6 0 年。此前為唐武宗會昌年號，為公元 8 4 1年至 8 4 6 年。張彥遠在《敘畫之興廢》末尾有：「自史皇至今大唐會昌元年凡三百七十二人，編次無差，銓量頗定。此外旁求錯綜，心目所鑑，言之無隱，將來者能撰述其或繼之」。
這也顯示出張彥遠欲將自古至會昌年間各位畫家加以記錄銓量的歷史胸懷。該書卷三第四篇《西京寺觀等畫壁》，記會昌五年，武宗毀天下寺塔，兩京各留三兩所，因此名畫在寺壁者唯存一二。宰相李德裕鎮浙西創立甘露寺，取管轄內諸寺畫壁置於寺內，其中有顧愷之畫維摩詰，初置甘露寺中，後為盧尚書簡辭所取，寶於家中以匣之。「大中七年，今上（唐宣宗）訪宰臣此畫，遂詔壽州剌史盧簡辭求以進，賜之金帛，以畫示百僚，後收入內」。此記有「大中七年」，為公元 8 5 3 年，得知雖然初寫《歷代名畫記》，張彥遠題識為大中元年即公元 8 4 7 年，過了六年之後的相關事件仍加進書中，可見至少完稿或定稿在公元 8 5 3 年，或稍後，也可見《歷代名畫記》寫作至少在六年以上。
張彥遠之所以在公元 850年前後寫成《歷代名畫記》，主要有三個原因。
其一是中國繪畫到唐代得到巨大發展，各科均已成熟，張彥遠在大中年間寫作《歷代名畫記》已是晚唐，唐朝已經歷了二百三十多年，出現了閻立本兄弟、李思訓父子、吳道子、王維、韓幹、張璪、薛稷等著名畫家，繪畫得到皇上重視，歷代繪畫既已形成悠久傳統，但隨著時間流失，也有不少作品佚失毀壞，這樣記錄畫家及作品便成為繪畫理論家們的重要任務。張彥遠在《敘畫之興廢》中說：「自古忠孝義烈湮沒不稱者何勝記哉，況書畫耶。聖唐至今二百三十年，奇藝者駢羅，耳目相接，開元天寶其人最多。何必六法俱全，但取一枝可採」。該著收錄三百七十二人，而唐朝佔二百零六人。唐代畫家眾多，開始向分科專門題材縱深發展，或人物、或屋宇、或山水、或鞍馬、或鬼神、或花鳥、各有所長，但取一枝，加以詮量。歷代繪畫的發展及部分作品流失，唐代繪畫的繁榮與帝王重視繪畫所形成 的社會氛圍，是《歷代名畫記》產生的客觀原因。
其二是以往畫論畫品形成一定的基礎。張彥遠一方面「探於史傳，以廣其所知」，另一方面對前人的畫論畫品畫錄認真研究，吸取精華，指出不足。他對後魏孫暢之的《述畫記》、梁武帝、姚最、謝赫、彥悰及唐代李嗣真、劉整、顧況的畫品畫評，裴孝源的畫錄、竇蒙的《畫拾遺》，均作過研究，雖認為這些著作「率皆淺薄漏略，不越數紙」，甚至認為彥悰最為謬誤，「殊不足看」，但張彥遠在《歷代名畫記》中涉及到品評有關畫家時，頻繁引用上述諸家著作中的材料。上述著作或就品評畫家或就著錄作品，篇幅都較為簡略，不越數紙。
有的不免有遺漏，張彥遠舉例說劉宋時期謝希逸、陳朝顧野王之流當時能畫，但評品不載，近古遺脫至多，蓋是世上未見其蹤，又述作之人不廣求耳。張彥遠避免前人著述的不足，廣採博徵，儘量寫出相對完整之畫史，在吸收前人成果的基礎上，構建繪畫史恢宏的體系。他在著錄方面，參考裴孝源的《貞觀公私畫史》、彥悰的《後畫錄》，在品評方面多次引用謝赫、姚最、李嗣真、張懷瓘的言論。由於在張彥遠之前，繪畫品評已較為發達，成為他寫作的重要參考，因此《歷代名畫記》雖然是史傳或繪畫史著作，但品評的內容也十分明顯，這也形成了中國繪畫史學科的民族特點，而不同於後來的西方藝術史學。可以說謝赫、姚最、李嗣真、張懷瓘、裴孝源的畫品畫錄著作，為《歷代名畫記》提供了學術基礎。阮璞先生認為《歷代名畫記》是「以史傳之書而兼具品第、著錄性質」的判定，是正確的。
其三是張彥遠有世家收藏，先輩喜愛書畫，他從小受到浸染，後自己又作書作畫，鑑識力頗高，加之勤奮精研，以編撰書畫之著述為己任，晝夜不舍，以此「悅有涯之生」。不為外累，獻生藝術史事業，這是張彥遠能撰成《歷代名畫記》的個人原因。謝赫可能以繪畫為主，李嗣真、張懷瓘在朝廷做官，他們在業餘時間從事書畫研究，而張彥遠已是職業的書畫史論家，不投入巨大精力，是很難完成《歷代名畫記》這樣宏大的工程的。
《歷代名畫記》共分十卷，第一至三卷，編入十四篇文章，另加一篇畫人名錄，共十五篇，從第四卷至第十卷為歷代畫家評傳。第一卷收錄四文加一篇人名錄，順序為《敘畫之源流》、《敘畫之興廢》、《敘自古畫人姓名》、《論畫六法》、《論畫山水樹石》。第二卷收錄五文，即《論師資傳授南北時代》、《論顧陸張吳用筆》、《論畫體工用拓寫》、《論鑑識收藏購求閱玩》。第三卷也收錄五文，即《敘自古跋尾押署》、《敘自古公私印記》、《論裝背褾軸》、《記兩京外州寺觀畫壁》、《述古之秘畫珍圖》。第四卷評傳自軒轅至魏蜀二十四位畫家，第五卷為晉二十三人，第六卷為宋二十八人，第七卷為齊梁四十八人，第八卷為陳、後魏、北齊、後周、隋共四十二人，第九卷為唐朝上一百二十八人，第十卷為唐朝下七十九人。總共三百七十二人。
從以上內容看，《歷代名畫記》涉及到畫史、畫法、畫鑑、畫工、畫傳等方面，可以看成是當時畫學大全。畫史部分當然是該書最重要的部分，或者說是主幹部分，也是該書價值的主要體現方面。涉及畫史的內容是第一卷《敘畫之源流》、《敘畫之興廢》、《敘自古畫人姓名》，第四至十卷《敘歷代能畫人名》（評傳），以上可以看作是通史部分。專題史方面有《記兩京外州寺觀畫壁》、《論傳授南北時代》、《述古之秘畫珍圖》。涉及繪畫理論方面的篇目是：《論畫六法》、《論畫山水樹石》、《論顧陸張吳用筆》。
涉及繪畫保存鑑賞的篇目是：《論畫體工用拓寫》、《論裝背褾軸》、《論鑑識收藏購求閱玩》、《論名價品第》、《敘自古跋尾押署》、《敘自古公私印記》。由上可見，張彥遠經過周密考慮，建立起中國繪畫史的體系，除考慮以畫史畫家傳記為中心，將寺觀壁畫、古之秘畫珍圖作為專史以作畫史補充外，另將重要的繪畫理論和傑出畫家技法列成專篇即《論畫六法》、《論顧陸張吳用筆》。然後將繪畫作品的裝裱、收藏、鑑賞、印記題跋等內容進行記錄敘述，而這些內容是同繪史研究緊密相連的。他以七卷的篇幅來為歷代畫家作傳，勾勒出歷代名畫發展的軌跡，使一部繪畫史通過按時間順序所列的畫家小傳得到清晰地展現。在寫作歷代畫家的小傳中，廣泛引用以往畫品畫評中對相關畫家的評論意見，再發表自己的觀點，將品評融入畫家傳記之中，使史、品結合，史、評相彰，形成中國繪畫史不同於之後的西方藝術史的一大特徵。
在《歷代名畫記》中繪畫史傳是其核心與主幹，涉及史傳的篇目有《敘畫之源流》、《敘畫之興廢》等。《敘畫之源流》主要敘述繪畫的起源，從傳說龜字效靈、龍圖呈寶敘起，「庖犧氏發於滎河中，典藉圖畫萌矣，軒轅氏得於溫洛中，史皇蒼頡狀焉」。再論到古代「書畫同體而未分，象制肇創而猶略，無以傳其意故有書，無以見其形故有畫」。張彥遠此篇主要闡明書畫起源及繪畫的教化功能。《敘畫之興廢》敘述秦漢繪畫「可得而記之」，魏晉代不乏賢，南北朝哲匠間出。不少知名畫家得到流傳，「曹衛顧陸擅重價於前，董展孫楊垂妙跡於後，張鄭兩家高步於隋室，大安兄弟首冠於皇朝」。然後較為詳細記錄自漢武帝起開始創置秘閣以聚圖畫，歷代有關皇帝收藏繪畫以及戰亂損毀圖畫的大事件均被記錄。如記述漢明帝雅好丹青別開畫室，創立鴻都學以集奇藝，天下之藝雲集，漢末董卓之亂，山陽西遷，圖畫縑帛，軍人皆取為帷囊，七十餘車西遷圖畫書法珍貴藝品，遇雨道艱一半被遺棄。又記魏晉之代固多藏蓄，胡寇入洛一時焚燒。
《歷代名畫記》特別記錄歷代帝王對書畫的愛好與收藏、徵購搜求。最高統治者喜歡古玩書畫名作，對書畫創作、收藏、研究起到一定的作用。如南齊高帝，科其尤精者，收錄古來名手「不以遠近為次，但以優劣為差」，自陸探微至範惟賢四十二人為四十二等，二十七秩三百四十八卷。齊高帝「聽政之餘，旦夕披玩」。梁武帝「雅有才藝，自善丹青，古之奇珍，充牣內府」。張彥遠還根據史書記述隋帝於東京觀文殿後起二臺，東曰妙楷臺藏自古法書，西曰寶跡臺收自古名畫。隋煬帝東幸揚州盡將隨駕，中道船覆大半淪棄。
張彥遠對唐朝書畫收藏也作了介紹，如唐太宗特別喜愛書畫，在民間購求。在武則天時，張易之奏召天下畫工修內庫圖畫，將所收珍品又找畫工摹寫，將真品私藏，摹本上呈。張易之被殺後，所藏珍品為薛稷所有，薛稷死後，為岐王範所得，岐王先未報，後懼怕將畫燒掉。張彥遠還記述自家自高祖以來所收藏的書畫情況。《敘畫之興廢》記錄自漢至唐代繪畫流傳、收購、珍藏和損毀的情況，對於我們了解歷代繪畫作品的流傳是很有價值的資料。此外張彥遠歷述歷代帝王親朝之餘，寶玩作品，「因知丹青之妙，有合造化之功。欲觀象以自躬，豈好奇而玩物」。帝王們通過觀覽畫作，進行自省，同時也提高對書畫作品之神妙的鑑識能力，是有價值的事情，並不是單純娛樂賞玩。
卷一第三篇《敘歷代能畫人名》，收錄能畫人名自軒轅至唐會昌凡三百七十二人。卷四至卷十再分別為其作傳並介紹和品評作品。《四庫總目提要》稱其「前列姓名，後為小傳」，此評甚當。但《四庫總目提要》又認為此篇所錄三百七十人「既俱列傳其後，則第一卷內所有姓名一篇，殊為繁複。疑其書初為三卷，但錄畫人姓名，後裒輯其事跡評論，續之於後，而未刪其前之姓名一篇，故重出也」。《提要》的這一觀點是沒有根據的。
首先張彥遠寫作《歷代名畫記》時，是擬構一宏大的繪畫史著述，定名為歷代名畫記，那是要記錄歷代名畫及能畫人名，假如像《提要》所述，起初張彥遠只想撰前三卷，沒有後面七卷對畫家的評傳，那前三卷是很難定名為《歷代名畫記》的。假如張彥遠寫完後七卷，自己覺得與前面卷一《敘歷代能畫人名》重複，張彥遠如自己覺得復出，他也是不會疏忽到忘記刪掉《敘歷代能畫人名》。結論只能是張彥遠覺得需要這篇能畫人名目錄。餘紹宋在《書畫書錄解題》中說：此篇「實為小傳目錄，猶前人『敘目』之例，故入於本書。《四庫》譏其繁複，疑其未及刪削者誤也」。餘紹宋所論是正確的。從卷一前三篇來看，我認為它是一個有機整體，《敘畫之源流》《敘畫之興廢》二篇，解決古代繪畫起源、繪畫的社會作用及繪畫在各朝代收藏損失情況，還未接觸到「歷代名畫」和畫家，還不能顯其歷代畫史的面目，因此必須將歷代能畫人名列出，才能構成歷代畫史的面目。當然也可以在第三篇《敘歷代名畫人名》直接加小傳和作品品評，但由於篇幅太大，如將第四卷至第十卷內容放在卷一第三篇中敘述，則容納不了，而其後還有其他畫法論文及收藏品鑑篇目內容，這樣便會造成中斷，全書不能連貫。
所以張彥遠是十分機智地採取這個辦法解決問題，即先列人名錄，既能保持卷一前三篇綜合組成一個有機地較完備的繪畫史整體面目，同時又不阻割卷一的第四、五篇及卷二、卷三各五篇的內容。前三卷每卷也正好各包括五篇，比較整齊。《敘自古畫人姓名》（目錄為此名，正文中為《敘歷代能畫人名》）的具體評傳內容和畫家及作品品評，由於篇幅太大，單列在卷四至卷十可以充分展開。應該說張彥遠這一安排是頗具匠心，是最佳的一種處理方式。
《四庫》譏其繁複，疑其未及刪削者誤也」。餘紹宋所論是正確的。從卷一前三篇來看，我認為它是一個有機整體，《敘畫之源流》《敘畫之興廢》二篇，解決古代繪畫起源、繪畫的社會作用及繪畫在各朝代收藏損失情況，還未接觸到「歷代名畫」和畫家，還不能顯其歷代畫史的面目，因此必須將歷代能畫人名列出，才能構成歷代畫史的面目。當然也可以在第三篇《敘歷代名畫人名》直接加小傳和作品品評，但由於篇幅太大，如將第四卷至第十卷內容放在卷一第三篇中敘述，則容納不了，而其後還有其他畫法論文及收藏品鑑篇目內容，這樣便會造成中斷，全書不能聯貫。所以張彥遠是十分機智地採取這個辦法解決問題，即先列人名錄，既能保持卷一前三篇綜合組成一個有機地較完備的繪畫史整體面目，同時又不阻割卷一的第四、五篇及卷二、卷三各五篇的內容。前三卷每卷也正好各包括五篇，比較整齊。《敘自古畫人姓名》（目錄為此名，正文中為《敘歷代能畫人名》）的具體評傳內容和畫家及作品品評，由於篇幅太大，單列在卷四至卷十可以充分展開。應該說張彥遠這一安排是頗具匠心，是最佳的一種處理方式。
阮璞在《< 敘歷代能畫人名> 疑是偽作》一文中講到，餘紹宋和《四庫總目提要》「兩說並皆未為得其真際。嘗就此篇反覆考之，疑其出自後世俗手偽託，當非彥遠手筆。其最初或為好事之人據《名畫記》卷四以下文字，摘錄畫人姓名而成此篇，流傳既久，復有好事者竟以之嫁名彥遠，而攬入書中，遂使《名畫記》只緣添此蛇足，累及全書體例不相倫類，面目不免支離破碎」。阮璞先生提出該篇疑是偽作的看法，不大能成立。首先阮璞先生關於《敘歷代能畫人名》是添此蛇足，累及全書體例不相倫類以及至使全書面目支離破碎的說法，是誇大其詞，前面我們已經論到，《敘歷代能畫人名》恰恰是全書結構需要，有了此篇，才顯得形式和內容完整。其次阮先生此論的理由也很難成立。
試看其理由，其一，阮文以張彥遠在第二篇《敘畫之興廢》講「開元天寶其人最多，何必六法俱全」後夾注「六法解在下篇」，認為《歷代名畫記》現第四篇《論畫六法》的位置，應緊接在第二篇《敘歷代能畫人名》之後，即應為第三篇，現居第三篇的《敘歷代能畫人名》本沒有，是偽作。我們認為，張彥遠所說「六法解在下篇」，是指《論畫六法》接在後面，但因第三篇不是論文，是人名錄，可以不計，所以放在第四篇，仍可以稱為「在下篇」。因此不存在將《論畫六法》放在第四篇就與第二篇所說的「六法解在下篇」不合的問題。
其二阮文認為張彥遠作《歷代名畫記》十分嚴謹，怎麼會空錄人名，況且朱景玄在《唐朝名畫錄》中曾譏李嗣真《畫品錄》空錄人名，而不論善惡，彥遠晚出，宜後來居上，寧肯以徒點鬼薄為能事者？阮文這一說更不能成立，因全書卷七至卷十花七篇篇幅解析畫家，為畫家作傳，怎麼能說是空錄人名呢？
其三，阮文不同意餘紹宋以「敘目」之例為此篇開脫。我們認為餘紹宋將《敘歷代能畫人名》比之「敘目」，不大妥當，如許慎《說文解字》敘目在全書最後一卷即第十五卷，一是將前十四卷篇目列出，二是再作一敘文。但餘紹宋的意思是很明確的，即《敘歷代能畫人名》先將能畫人名列出目錄，然後在卷七至卷十詳解。阮文認為《敘歷代能畫人名》和後七卷無「互相發明、補充之作用」，「見於彼者即見於此，不見於彼者即不見於此，駢拇枝指，何以作為？故餘頗疑此篇非彥遠所自撰，當系後世偽作闌入」。
我們認為《敘歷代能畫人名》的作用有二條，一是全書結構需要，特別是在第一、二篇《敘畫之源流》、《敘畫之興廢》後，還不能完整體現歷代畫史之面目，只有加上第三篇《敘歷代能畫人名》才能構成歷代畫史的框架；二是，第四卷至第十卷畫家傳記作品評述內容繁複，且從古至當下，有此《敘歷代能畫人名》目錄便於查找。這二條本是很簡單的道理，不知為何生出這多歧義？本為人名目錄，就沒有必要責怪作者與後七卷「無互相發明，補充之作用」，而阮文責怪此目與後七卷「見於彼者即見於此，不見於彼者即不見於此」，就不能成立，目錄和正文一致，正是理所應當的，假如目錄中有，正文中無，正文中有，目錄中無，前後不符，錯亂無章，那才是怪事。因此阮文以此得出結論，認為此篇非張彥遠所作，是後人作偽闌入，是不能成立的。
我們認為《敘歷代能畫人名》不僅不是偽作，而且在全書中擔任應有的作用，是張彥遠獨具心裁的篇目安排。
《歷代名畫記》卷四，記敘軒轅至三國時能畫人名共二十四人，漢代以前四人為軒轅時史皇、周代封膜、戰國齊國敬君、秦代烈裔。前漢六人為毛延壽、陳敞、劉白、龔寬、陽望、樊育。後漢六人為趙岐、劉褒、蔡邕、張衡、劉旦、楊魯。魏四人為曹髦、楊修、桓範、徐邈。吳二人為曹不興、吳王趙夫人。蜀二人為諸葛亮及其子諸葛瞻。卷四所記能畫人名，在晉以前，年代久遠，畫作不傳，大部分還不是專門畫家，有關小傳資料只能在古代歷史、雜記等文獻中去尋找。張彥遠為此是做了一番調查文獻資料的工作的。如漢以前的四人，均從史傳資料中尋出，略加評說。如記史皇，黃帝之臣也，評曰「始善圖畫，創製垂法。體象天地，功侔造化。首冠群工，不亦宜哉」。
夾注見《世本》，與蒼頡同時。周時人封膜，善畫，見《穆天子傳》。根據劉向《說苑》記錄齊時敬君善畫，齊王起九重臺，召敬君畫之，久不得歸，思妻乃畫妻觀看，齊王由此知道敬君妻美，納為己有，給敬君錢百萬。對漢代畫工毛延壽醜畫王昭君，使其出塞，元帝發現昭君美貌為時已晚，殺掉毛延壽。此則故實，從葛洪《西京雜記》中來。對漢魏畫家記傳，還引用有範曄《東漢書》、孫暢之《述畫記》、張華《博物志》、王子年《拾遺錄》等。如對漢桓帝時畫家劉褒的記載：「曾畫雲漢圖，人見之覺熱。又畫北風圖，人見之覺涼」。此段話語後來經常被畫論家引用，一方面說明後漢山水景物畫的創作已有一定水平，另也說明劉褒畫作甚逼真，本為視覺圖畫，卻能引起觀者「涼」「熱」的觸覺與膚覺感受，這是心理學中的通感問題。此段材料來自孫暢之《述畫記》等原本。
兩晉南北朝至隋朝，繪畫得到較快發展，職業畫家增加很快，並出現了衛協、顧愷之、陸探微、張僧繇等在繪畫史有重大影響的傑出畫家，且保留的畫家資料及作品資料較豐富，另有謝赫、姚最、李嗣真、張懷瓘等人所著畫品對其間有關畫家進行過品評，所以張彥遠寫作這部分內容時得心應手。這部分內容所佔篇幅也較大。卷五為晉，卷六為宋，卷七為南齊、梁，卷八為陳、後魏、北齊、後周、隋。收錄畫家為晉二十三人，宋二十八人，南齊二十八人，梁二十人，陳一人，北齊十人，後周一人，隋二十一人，共一百三十二人。張彥遠有關這部分畫家評傳是繪畫史上極為珍貴的資料，也是我們今天了解晉宋至隋朝畫家生平、作品優劣最重要的文獻。這部分內容的價值，除了較為完整地記錄了晉宋至隋一百三十二人的生平和創作資料外，還表現出以下幾個特點。
其一，是在謝赫、孫暢之、姚最、李嗣真、張懷瓘等人品評的基礎上，重新甄別，加以品第，把較為重要的畫家均分品定位。如將顧愷之、王廙定為上品上，晉明帝定為下品上，荀勖定為中品下。張彥遠在評介畫家時細心研究不盲從前人，而獨立思考，提出己見。如對西晉著名畫家衛協的品評就是很好一例。張彥遠引用諸家評語，如《抱樸子》雲，衛協張墨，並為畫聖；孫暢之《述畫》雲，《上林苑圖》，協之跡最妙；顧愷之《論畫》雲，衛協的作品「偉而有情勢」「巧密於情思」；謝赫雲，古畫皆略，至協始精，六法頗為兼善，凌跨群雄，曠代絕筆，但初唐李嗣真受姚最的影響，卻說衛協的畫雖有神氣，觀其骨節，無累多矣，卻說衛協的畫雖有神氣，觀其骨節，無累多矣，顧愷之天才傑出，何區區荀衛敢居其上。
張彥遠開始也覺得李嗣真品評有道理，「以衛協品第在顧生之上，初恐未安」，但復觀顧愷之《論畫》，顧愷之嘆服衛協畫《北風》《列女圖》，顧自認為不及衛協，張彥遠說應尊重顧愷之的意見，「不妨顧在衛之下」。但對荀勖又在顧之上，「則未敢知」，表示自己還未掌握更多的材料，不敢下結論。這說明張彥遠評價畫家，以史實材料為重，不盲從前賢之論，而獨立思考，慎下結論。
其二，張彥遠在評品畫家時，保存畫家自己的有關論畫的著述文章，及在引用相關評論時，又保存了品評家的有關言論，成為後來畫論畫評的重要理論文獻。如在顧愷之的傳記中，將顧愷之定為上品上，稱他「多才藝，尤工丹青，傳寫形勢，莫不妙絕」，收錄顧愷之有關故實，如時人稱顧為三絕，即畫絕、才絕、痴絕，顧愷之畫人數年不點目睛，特別是張彥遠還附錄了顧愷之的《論畫》、《魏晉勝流畫贊》、《畫雲臺山記》三文內容，使這三篇珍貴文獻得以留存下來，為研究顧愷之的藝術思想及中國早期畫論成就提供了重要的原文資料。
再如在劉宋時畫家宗炳傳記後附錄他的《畫山水序》原文，在王微傳記後附錄其《敘畫》原文，這兩文是研究我國晉宋山水畫及其山水畫理論難得的文獻，是中國最早的兩篇山水畫獨立論文，也可能是世界上最早的風景山水繪畫的理論文獻，有極高的學術價值。此外，隨著時間的推移，不少重要的畫品畫論著作未能保存，被歷史的塵埃湮沒掉了。如後魏孫暢之的《述畫》、唐代李嗣真的《畫後品》、張懷瓘的《畫斷》、竇蒙的《畫拾遺》、張璪的《繪境》，原本均已不傳。他們的有關觀點我們現在能從《歷代名畫記》相關畫家的小傳及品評中（包括卷四及卷九卷十的畫家評傳）的引用文獻略知一二，由於張彥遠每評一畫家，都十分重視前賢對其作品的品評觀點，並加以引用，所以我們現在能從張彥遠的引文中了解孫暢之、李嗣真、張懷瓘等人的藝術思想和品評觀點。
如對劉宋時畫家陸探微的評傳，引用謝赫、李嗣真、張懷瓘的評論，現謝赫《畫品》流傳下來，但李嗣真、張懷瓘的畫品著作未能流傳下來，我們從張彥遠所引二人的評語中，得知李、張關於陸探微的評論意見。李嗣真不同意謝赫將陸放在「亡他寄言，故屈標第一」上品上還不夠高的說法，認為「顧長康之跡，可使陸君失步，荀勖絕倒」。張彥遠所引張懷瓘的一大段言論更為重要：「張懷瓘云：顧陸及張僧繇，評者各重其一，皆為當矣。
陸公參靈酌妙，動與神會。筆跡勁利，如錐刀焉。秀骨清像，似覺生動，令人懍懍若對神明，雖妙極象中而思不融乎墨外。夫象人風骨，張亞於顧陸也。張得其肉，陸得其骨，顧得其神，神妙亡方，以顧為最。比之書，則顧陸鍾張也，僧繇逸少也，俱為古今獨絕，豈可以品第拘」。張彥遠「以此論為當」。這一大段引文保存下來，對於畫史正確公平評價顧、陸、張三大畫家特點提供了重要參照，同時也為我們研究張懷瓘的繪畫品評觀點留下了珍貴原文資料。
其三，張彥遠在畫家小傳後，還附錄該畫家的作品目錄。由於時間久遠，現在晉宋至隋朝的作品保留下來的已是極為希少。所幸我們還能從《歷代名畫記》中的畫家小傳中得知他們創作了哪些作品。如顧愷之小傳後附記顧愷之的作品有：《異獸古人圖》、《桓溫像》、《桓玄像》、《蘇門先生像》、《中朝名士圖》、《謝安像》、《阿谷處女》、《扇畫招隱》、《鵝鵠圖》、《筍圖》、《王安期像》、《司馬宣王像》、《劉牢之像》、《晉帝相列像》、《阮修像》、《阮鹹像》、《十一頭獅子》、《列女仙》、《虎射雜鷙鳥圖》、《廬山會圖》、《水府圖》、《司馬宣王並魏二太子像》、《鳧雁水鳥圖》、《列仙圖》、《木雁圖三》、《天女圖》、《行三龍圖》、絹六幅圖為《山水》《古賢榮啟期》《夫子》《阮湘》《水鳥》屏風、《桂陽王美人圖》、《蕩舟圖》、《七賢》、《陳思王詩》等，張彥遠還記云：「並傳於後代」，可見顧愷之創作之勤，作品之豐，題材涉及帝王將相、賢士達人、列女美人及鳥獸山水。顯然這些作品張彥遠當時是看到過的，雖然現均已無存，但從張彥遠的記述中我們仍能看出顧愷之的創作成就，以及了解東晉繪畫一斑。
《歷代名畫記》將唐朝畫家分為上下兩部分，收錄在卷九卷十之中。共收錄二百零六人。此兩卷收錄唐朝畫家並作傳，比朱景玄《唐朝名畫錄》要多一倍，是後人研究唐代繪畫最重要的資料之一。
對繪畫作品記錄還有卷三第四、五篇，即《記兩京外州寺觀畫壁》、《述古之秘畫珍圖》。唐會昌時期武宗滅佛，不少寺觀毀拆，寺觀壁畫也隨之損毀，也有好事者收得畫壁藏於家中。約東漢初年佛教從印度傳入中國，在南北朝時期大盛，隋唐又有新的發展。興建寺觀從事佛事活動成為民眾生活中一大內容，隨著寺觀興建，寺觀壁畫也得到較快的發展。一些著名大畫家如顧愷之、張僧繇、吳道子都畫過寺觀壁畫。寺觀壁畫乃是中國繪畫的一個重要組成部分。另由於張彥遠寫作此書前不久的會昌年間寺觀遭遇破壞，所以記錄這些壁畫顯得時不我待，因此，張彥遠列此專篇《記兩京外州寺觀畫壁》。
此篇分上都和東都兩大部分，前者為《西京寺觀等畫壁》，後者為《東都寺觀畫壁》。上都部分記錄太清宮、興善寺、慈恩寺、龍興觀、寶剎寺、安國寺等，記錄各寺壁繪畫情況。如記「寶剎寺佛殿南楊契丹畫涅槃等變相，西廊陳靜眼畫地獄變，又有楊庭光畫」。「萬安觀公主影堂東北小院南行，居門外北壁，李昭道畫山水」等等。《東都寺觀畫壁》部分，記有福先寺、天宮寺、敬愛寺的畫壁情況。此外另記「會昌五年，武宗毀天下寺塔，兩京各留三兩所，故名畫在寺壁者唯存一二」。當時唯甘露寺不毀，宰相李德裕鎮浙西所創，於是他取管轄內諸寺畫壁置於甘露寺，包括顧愷之畫的《維摩詰》、陸探微畫的《菩薩》，另有張僧繇、謝靈運、展子虔、韓幹、吳道子等人畫的菩薩及神像，均在甘露寺各壁懸掛。《記兩京外州寺觀畫壁》所記壁畫，亦從一個方面反映晉宋以來的畫家在佛教繪畫方面的成就，對於研究佛教藝術及畫家作品均有不可替代的價值。
《述古之秘畫珍圖》列秘畫珍圖之名目。張彥遠在篇首說：「古之秘畫珍圖固多散逸人間，不得見之。今粗舉領袖」。所列作品涉及到帝王、周公、孝經、論語、星宿、雲氣、本草，可謂天地、人事、戰爭、神仙、無所不有。如：《龍魚河圖》、《六甲隱形圖》、《五帝鉤命決圖》、《孝經秘圖》、《甘泉宮圖》（漢武）、《漢麟閣圖二》（武帝一、宣帝一）、《鴻都門圖》（孔聖七十子）、《雲漢圖》（劉褒）、《蚩尤王子兵法營陣圖》、《魯班攻戰器械圖》、《黃帝攻法圖》、《伍胥水戰圖》、《吳孫子兵法雲氣圖》、《日月交會圖》、《十二屬神圖》、《神農本草例圖》、《周禮圖》、《周室王城明堂宗廟圖》、
《二十八宿分野圖》、《三禮圖》、《爾雅圖》、《忠孝圖》、《漢明帝畫宮圖》、《傳國璽圖》、《職貢圖》、《祥瑞圖》、《古今藝術圖》、《本草圖》、《八卦八風十二時二十八宿音律圖》、《妖怪圖》、《河圖》、《春秋圖》、《陰陽宅相圖》、《馬像圖》、《老子黃庭經圖》、《太史公圖》（二十八人）、《漢記圖》、《山海經圖》、《大荒經圖》、《百國人圖》、《列仙傳圖》、《搜神記圖》、《地形圖》、《地形方丈圖》、《古聖賢帝王圖》（八）、《古瑞應圖》、《明帝太學圖》、《孫子八陣圖》、《渾天宣夜圖》、《望氣圖》等。這些秘畫珍圖，大都有專門用途和功能，所涉及內容真是五花八門，無奇不有，由此亦能看出唐以前繪畫題材是何等廣闊，張彥遠細緻調查列出名目，這些秘畫珍品大多已散失不傳，今天我們僅能見其畫名。
由上所述，《敘畫之源流》《敘畫之興廢》《敘歷代能畫人名》及其傳記，組成了一部歷代繪畫史，此外張彥遠又補充《記兩京外州寺觀畫壁》《述古之秘畫珍圖》，另有《論師資傳授南北時代》，使歷代名畫內容更為充實，以上篇目構建起中國歷代名畫的歷史，這些內容可視為《歷代名畫記》的主幹部分。
歷代名畫記除上述畫史主幹內容外，還輔以畫法畫論、收藏鑑玩左右兩翼，使《歷代名畫記》更為豐滿，呈立體構架體系。屬於畫論畫法方面的篇目有《論畫六法》、《論畫山水樹石》、《論顧陸張吳用筆》，屬於收藏鑑玩方面的篇目有《論畫體工用拓寫》、《論名價品第》、《論鑑識收藏購求閱玩》、《敘自古跋尾押署》、《敘自古公私印記》、《論裝背褾軸》。
這些內容包括和繪畫及畫史相關的主要知識方面，從六法到顧陸張吳用筆，從拓寫購藏到名價品第、從裝裱印記到跋尾鑑識等一應俱全，怪不得張彥遠自己說，得讀此書，繪畫之事畢矣。可以說張彥遠《歷代名畫記》以歷代畫史為經，以畫法畫論及收藏鑑識為緯，交織建構起中國第一部完備的歷代繪畫史體系，標炳千秋，《歷代名畫記》對中國藝術史學及世界藝術史學均做出了傑出貢獻。