雷鋒網(公眾號：雷鋒網)AI科技評論按：本文轉載於「微軟研究院AI頭條」，雷鋒網AI科技評論獲授權轉載，並做了不改動願意的編輯。
你是否曾經為如何創作和編輯一篇圖文並茂、排版精美的文章而煩惱？或是為缺乏藝術靈感和設計思路而痛苦？AI技術能否在藝術設計中幫助到我們？今天我們為大家介紹的這篇論文，「Automatic Generation of Visual-Textual Presentation Layout」（圖文排版的自動生成算法研究），剛剛被美國計算機學會會刊ACM Transactions on Multimedia Computing, Communications and Applications （TOMM）授予2017 Nicolas D. Georganas 最佳論文獎，希望為大家在進行富媒體內容創作和分享時提供一個獨到的思路和方法。
論文的聯合作者是楊緒勇（微軟亞洲研究院和中國科技大學聯合培養博士生，餵車車聯合創始人）、梅濤（微軟亞洲研究院資深研究員，美國計算機協會傑出科學家，國際模式識別學會會士）、徐迎慶（前微軟亞洲研究院主管研究員，清華大學美術學院信息藝術設計系主任）、芮勇（前微軟亞洲研究院副院長，聯想CTO）、李世鵬（前微軟亞洲研究院副院長，硬蛋CTO）。祝賀研究院的各位研究員和院友們！
當今富媒體的內容之多是前所未有的，人們每時每刻都在創造和分享著海量信息，特別是內容繁雜的圖像和文字信息，其中圖文混排的內容模式已經成為主流。而在內容創作過程中，人們面臨的一個巨大的挑戰就是如何針對內容多樣的圖像和文字信息來設計吸引眼球的版面（例如，雜誌封面、海報、或者PPT演講稿等）。這個問題無論是對於商業印刷、在線期刊與雜誌，還是用戶生成的內容表達，都極為重要。圖文內容的排版涉及到大量的專業知識，包括視覺傳達、信息藝術設計、色彩與美學、平面規劃、幾何構圖等等。以往的圖文排版設計工作，不僅需要具有豐富專業知識的設計師，而且還耗費大量的人工。如何讓計算機根據圖文內容來自動進行排版是一個非常困難的問題。
從2013年底開始，來自微軟亞洲研究院的研究員與來自清華大學美術學院的藝術設計專家，在這個科學與藝術相融合的領域開展了深入地合作。他們把設計學中的審美原則與可計算的圖像特徵相結合，創造性地提出了一個可計算的自動排版框架原型。該原型通過對一系列關鍵問題的優化（例如，嵌入在照片中的文字的視覺權重、視覺空間的配重、心理學中的色彩和諧因子、信息在視覺認知和語義理解上的重要性等)，把視覺呈現、文字語義、設計原則、認知理解等領域專家的先驗知識自然地集成到同一個多媒體計算框架之內，並且開創了「視覺文本版面自動設計」這一新的研究方向。
圖1 利用算法自動產生的圖文排版效果。註：原始輸入是一張純圖片（即沒有任何文字）和一段純文本（如主標題和副標題等），輸出是圖文混排的結果（文字嵌入圖片之中）。
這項研究將通用的美學感知進行了體系的數學表達，構建了一套和主題相關的圖文排版設計模版庫，並提出一套可計算的圖文合成框架原型，既融合了宏觀層面自上而下的美學感知，又包含了微觀層面自下而上的圖文特徵。通過融合人臉、文字檢測以及視覺顯著性檢測算法，率先提出了視覺注意力檢測算法，構成了整幅圖像的重要性圖和注意力圖；在針對文字布局的算法中，這篇論文將文字塊的形狀和圖像中的重要性圖交互過程量化為一個能量最優化問題：
是圖1中文本侵入顯著視覺對象的成本，即儘量減少文本和重要視覺對象的交叉；表示空閒視覺空間的浪費，即充分利用圖像中的可用視覺空間，以最大化文字的突出效應；而則代表文本塊的語義重要性i 和視覺感知重要性i 之間的不匹配，即將最重要的文字內容匹配到圖像中最重要的視覺區域，以便於閱讀時快速獲得關鍵信息。能量最優化的求解過程，在設計模版的美學感知原則的監督下，使得最後的求解結果能符合視覺審美需求，而不僅僅是計算機的最優求解結果。
在文本空間布局後，通過對圖像前後景顯著顏色的分析，在色彩和諧最優化框架中，保持色彩整體和諧，並最大化文字和背景色彩的差異以使得最後的圖文混排能在全局尊重原圖的色彩和諧性，又能在局部保證文字的可閱讀性。全局色彩的和諧計算採用了著名的「Color Harmonization」中提出的心理學色彩模型，並結合了這篇論文中提出的圖像前後景主題色在不同主題下的模型偏好，從而找到最適合的全局主題色。針對局部的視覺對比度最大化，論文提出了最遠色調角黃金取樣法，即找到文本覆蓋背景下圖像的顯著顏色映射到tone和hue空間，在二維色調空間（tone, hue）求最遠點，並取顯著顏色點到最遠點的黃金分割點。通過整個框架，能完成整個圖文設計在美學感知監督下的自動化。
圖2 系統框圖
這篇論文提出的系統允許用戶上傳具體主題的視覺背景圖像以及一些文本語句。並在第二階段對原始圖像進行了處理，通過結合顯著值、臉部、文本以及目光注意力圖以獲取視覺感知圖，進而重新調整圖像的大小，使之符合目標布局尺寸，並根據視覺感知圖保留重要的區域。重新調整過的圖像就能用來排列空間分布的布局模板。當圖像調整後，已有的語句、空間布局以及文本就通過第三階段中的能源優化工藝重疊在背景圖像上了。在第四階段的文本著色上，首先分析經過剪裁的圖像的調色板，同時根據主題屬性挑選主題色彩。應用特定色相/色調模型、調色板、語義色彩以及內容特點，就可以通過保持局部色彩和諧以及局部可讀性對文本進行重新著色。
圖3 布局算法（a）帶有目光注意力（黃色）的視覺重要性圖（灰色）；（b）從前5個模板中挑選出的模板；（c）輸入文本；（d）排印程序的細節，這裡能源定義為E(L)，通過迭代控制字體高度，在局部優化解決方案中會被最小化，；（e）受到下向上的圖像特點和自上向下的空間布局限制的排印結果。
圖4 色彩分析與優化的示意圖
這篇論文發表之後，得到學術界的廣泛關注，從2016年至今在ACM資料庫中已有超過260次下載。此外，該項研究不僅具有重要的理論意義，而且具有廣泛的應用價值。例如，論文提出的基於圖像內容的顏色檢測算法已經在實際產品Office Sway中得到應用。目前每個月有來自全球60多個國家的超過40多萬用戶在使用Office Sway這一新產品開展設計。
這篇論文展現了多媒體與藝術設計以及顏色心理學幾個不同學科的深度融合，將人工智慧的方法用於藝術設計中。可以說，顏色心理學的模型為多媒體設計打開了」心靈「的窗口，而美學設計思維則為多媒體分析展開了想像的翅膀！
論文下載地址：https://www.microsoft.com/en-us/research/publication/automatic-generation-of-visual-textual-presentation-layout/
論文作者
楊緒勇，微軟亞洲研究院和中國科技大學聯合培養博士生，餵車車聯合創始人
梅濤，微軟亞洲研究院資深研究員，美國計算機協會傑出科學家，國際模式識別學會會士
徐迎慶，前微軟亞洲研究院主管研究員，清華大學美術學院信息藝術設計系主任
芮勇，前微軟亞洲研究院副院長，聯想CTO
李世鵬，前微軟亞洲研究院副院長，硬蛋CTO
另外，還特別感謝這篇論文的合作者——來自中國科技大學的博士生吳嶽和來自清華美術學院的研究生於俊傑。
雷鋒網版權文章，未經授權禁止轉載。詳情見轉載須知。