有這樣一位超級主播
她可以不吃不喝
每天連續工作24小時
而且沒有抱怨和壓力
她舉止優雅談吐得當
給一個文本馬上出口成章
她自由穿梭在虛擬直播間
一秒鐘就能換裝
不懼360度無死角展現
更不會衰老和死亡
她叫「新小微」,是中關村企業搜狗和新華社聯合推出的全球首個3D AI合成主播,在2020年剛一「出道」便火遍全球。
3D AI 合成主播的進化史
「新小微」基於搜狗超寫實3D數字人建模、多模態合成技術、肌肉系統實時驅動等多項人工智慧技術,使機器可以基於輸入文本生成逼真度極高的3D數字人視頻內容。
在「新小微」的AI合成方面,搜狗採用了行業領先的真人掃描、面部肌肉驅動、表情肢體捕捉等技術,能夠生成高逼真度的3D數字人模型。然後,通過搜狗的多模態合成技術對3D超寫實數字人進行實時驅動及渲染,使「新小微」面部表情、唇動、肢體動作和語音完全同步。
從外型上看,「新小微」不僅能走動和轉身,擺出各種複雜動作和姿態,而且在特寫鏡頭下,甚至連頭髮絲和皮膚上的毛孔都清晰可見,高度還原了真人髮膚。
總體而言,在立體感、靈活度、可塑性、交互能力和應用空間等方面,較前幾代主播都有了大幅躍升。
此前,在2018年網際網路大會期間,搜狗與新華社聯合發布的全球首個AI合成2D主播「新小浩」初次亮相,一經面世就引發了公眾極為熱烈的討論。
2019年初,搜狗又和新華社新媒體中心再次合作,聯合推出全球首個AI合成女主播——「新小萌」,向世界報導中國「兩會」的盛況。
雖然,「新小浩」、「新小萌」的寫實度比「新小薇」略高一些,但是3D AI合成主播「新小薇」更加立體生動,靈活性更高。從2D到3D,雖然在核心的多模態識別及生成等方面是一脈相承的,但又不完全是技術升級和迭代版本,二者是處於「搜狗分身」體系下的並行發展路線。 如今,3D AI合成主播成為了搜狗AI合成主播品牌下一條新的技術線,所有這些主播的背後都是搜狗公司結合多項前沿科技研發出的「分身」技術。
「分身」技術與搜狗的AI版圖
近年來,搜狗積極研發語言相關的AI技術,並且憑藉領先的技術實力在國際人工智慧技術大賽上屢屢獲獎。基於這些技術,搜狗「分身」才能夠基於少量真實音視頻數據,快速遷移生成虛擬分身模型,從而實現了全球人工智慧合成領域的技術創新和突破,開創了人工智慧音視頻實時合成的先河。
「新小薇」合成前的數據採集
在遊戲以及電影行業,一般都是靠動畫師逐幀手繪動畫的方式完成3D人物的表情以及肢體驅動。比如在一個 10 人構成的動畫中,往往要對這 10 個演員進行掃描、動作捕捉、面部捕捉,美術師一幀一幀勾畫出來,然後進行真人與卡通人物綁定,還需要對他們的聲音進行採集等等,耗費巨大的時間成本。而搜狗最新推出的3D AI合成主播,完全靠 AI 算法實時驅動,輸入一段文本就能實時輸出一段視頻,極大提高了生產力。
從大眾最熟悉的搜狗輸入法、搜狗搜索,到最新搜狗AI錄音筆、AI合成主播等等,成立於2003年的搜狗,一直是AI領域的創新者。無論推出新產品還是延展服務,搜狗在語音識別、語音合成、圖像識別與合成、視頻合成以及問答、翻譯等方面都取得了突破性進展,並率先將人工智慧帶入規模化應用。
2019年,搜狗公司CEO王小川榮膺「第十五屆中國青年科技獎」。評審委員會認為,搜狗輸入法作為網際網路時代的「國民輸入法」,被公認為是繼王選院士雷射照排系統之後中文信息化的又一裡程碑式發明。與此同時,隨著人工智慧的蓬勃發展與應用,王小川為搜狗公司明確了以語言為核心、通過「自然交互+知識計算」布局人工智慧的發展路徑,帶領搜狗不斷穩步前進。
未來,搜狗將在知識計算與自然交互的引領下,以「讓表達和獲取信息更簡單」為使命,始終專注於人工智慧,以創新的技術型產品為用戶不斷創造價值。
「AI分身」將影響每個人未來的工作方式
王小川曾表示,在人工智慧領域,搜狗一直有兩個核心理念,一個是讓機器人成為你的分身,一個是讓機器人成為你的助理。
目前,搜狗分身技術實現了在不同場景下更為自然的人機互動,在媒體融合、金融、醫療健康、教育、法律、娛樂、天氣等多領域提供個性化的內容。
2019年6月,搜狗與北京網際網路法院聯合舉行新聞發布會,對外發布全球首個「AI虛擬法官」,旨在通過北京網際網路法院的在線智慧訴訟服務中心為民眾提供更為便捷、高效的線上訴訟服務。這也是搜狗分身技術藉由AI合成主播在媒體領域全面應用之後,在司法領域的首次落地。
同年8月,搜狗聯合平安普惠,推出AI合成互動客服。此AI客服已在平安普惠APP上線,為廣大用戶提供智能借款諮詢服務。這也是搜狗分身技術首次涉足金融領域,聯合金融頭部企業共同推動金融行業服務升級。
搜狗AI交互技術部總經理陳偉曾表示:「搜狗分身技術一直在持續迭代中,目前搜狗具備了在整個分身技術方面快速落地的穩定能力。搜狗的分身技術不僅僅停留在實驗室的模型階段,而是已經跟很多不同領域的場景、產品進行了深度結合。AI合成主播原形的工作性質發生了很多變化,AI分身落地之後確實改變、影響每個人未來的工作方式和狀態。」同時,陳偉認為,從主播場景到交互場景,3D未來的空間會更大,它的靈活性非常強,可以適配更多的場景。
在2020年全民營養周啟動儀式上,搜狗再次推出一款讓人眼前一亮的產品應用——全球首款「AI營養師」。這款產品由中國營養學會權威指導,聯手國內多位知名營養學專家共同合作產出。已覆蓋了18種細分人群的人群庫、超過1800種食材營養素的食材庫、超過2000種疾病飲食建議的疾病庫,構建了目前國內飲食營養領域領先的營養健康知識圖譜。
通過這一系列在不同領域的成功嘗試,搜狗分身已經具備了較為成熟的技術手段,未來除了金融、傳媒、法律、文娛等方面,搜狗分身技術還將開拓新的領域及場景,通過提供個性化的解決方案,為不同行業賦能,用科技加速智能化生活的到來,推動社會智能化轉型。