4K、8K等超高解析度電影越來越普及,人們的「眼光」也隨之提升,對於日常使用手機看視頻有了更高的畫質追求。然而,現實生活中我們經常會遇到視頻片源質量差、網絡環境不好畫質自動降低等情況,隨之而來的就是視頻觀感直線下降。
那麼,有沒有可能利用技術讓畫質達到期待的效果呢?華為新一代5nm 5G SoC麒麟9000為我們帶來了新的解決方案,強勁AI能力支持,升級版AI視頻超分技術可以輕鬆將低品質視頻超分至高清。
什麼是AI超分技術?手機花式玩法都離不開它
AI超分指的是基於神經網絡算法和AI技術,從低像素的圖片、視頻裡提取素材,實時合成高解析度畫面的技術。
今年5月,有網友利用AI超分修復了加拿大攝影師於1920-1929年間拍攝的一組反映當時北京社會風貌的視頻,引起了巨大反響。人們在深刻感受到百年前北京風俗人情的同時,也驚嘆於AI在修復攝影工業早期視頻中展現的神奇力量。
目前,AI超分主要應用於低畫質視頻修復。但是,這需要非常專業的設備,由專業人士逐幀處理,普通用戶很難做到。想要視頻超分技術走入日常,需要手機平臺支持更加智慧化的AI視頻超分技術。
麒麟9000AI超分技術升級,帶來實時超高畫質體驗
在麒麟9000發布會上,華為展示了基於麒麟9000實現的AI視頻超分技術。從下面這則視頻可以看出,麒麟9000主要從生成網絡、分類網絡和檢測網絡三個層面著手來實現試試視頻超分:
1、智能修復細節,實現「無中生有」
生成網絡是一項開創性的工作,通過對感知域的損失進行改進,使用激活前的特徵,可以實現在單一畫面超分中生成逼真的紋理和細節,為紋理的修復和亮度的一致性提供了強有力的保證,從而得到更好的視覺質量。
視頻中,我們可以看到麒麟9000基於生成網絡,對蜥蜴的皮膚紋理進行增強,從540P到HD的畫質轉換中,蜥蜴皮膚的每一個細節都變得清晰可見,並且在保證皮膚細節顏色不變的情況下,整個畫面的色彩得到智能提升,變得更亮更有質感。
而通過對落葉紋路的修復,使得落葉與綠植間的對比更明顯,畫面整體意境感覺更突出。
2、智能場景分類,增加整體清晰度
麒麟9000另一項技能是可以智能識別場景並進行分類。在視頻中能夠看出,與蜥蜴和綠葉不同,麒麟9000在識別出文字之後,基於分類網絡將數字與背景區分開,再將視頻超分到HD畫質時,我們可以明顯察覺到畫面右側的數字被銳化,相比較270P的狀態整體清晰度大大提高。
3、智能檢測對象,完成局部優化
麒麟9000高品質的AI超分效果離不開其強大的檢測網絡。通過智能檢測技術,麒麟9000能輕鬆地識別畫面噪聲並進行去噪。在後兩組場景中,麒麟9000分別對人物的耳環、衣飾、髮絲以及落葉進行細節上的修復。通過智能生成網絡,畫面中人物身上的裝飾變得更顯眼,頭髮的細節也能更容易被察覺。配合著亮度提升,整個畫面變得更加立體、飽滿。
升級華為達文西架構NPU2.0,強勁AI能力助力超分效果更出彩
麒麟9000在AI視頻超分中的驚豔表現離不開其AI能力的升級。麒麟9000升級華為達文西架構2.0 NPU,藉助達文西架構靈活可剪裁的特性,使用雙大核增加矩陣乘的算力,AI實時處理能力成倍增長。其次,為了提升AI計算的完備性和不同場景的計算效率,華為優化了達文西架構的各種計算單元,它們各自負責不同的運算任務,實現並行化計算模型,共同保障AI計算的高效處理。
在蘇黎世理工學院發布的AI Benchmark最新榜單上,搭載麒麟9000的華為Mate40 Pro以AI性能總分216.6位列第一,力壓第二名逾80分,強大的綜合AI能力,助力手機實現了更好的AI超分效果。在中國電信發布的2020終端洞察報告中,麒麟9000 AI表現優異:在定點能力、浮點能力、硬體算力上力壓蘋果A14,獲得了權威肯定。
正是由於麒麟9000強勁的NPU底層能力支持,才能在手機平臺實現更具智慧的AI超分效果。如今,AI的應用範圍逐漸擴圈,AI超分等技術的實用性也越來越強。比如在視頻網站的片源較差、或者為了節約流量成本而壓縮素材時,可在通過終端側強勁的AI視頻超分能力,將更加清晰的畫質呈現在用戶眼前。另外,這一能力還能夠集成於主流視頻播放器、播放引擎中,用技術實力為產業鏈賦能,真正讓AI智慧成為改變生活體驗的契機。相信在未來,AI技術仍將不斷發展,將更多炫酷AI體驗帶入生活的方方面面。