讓「秒拍」更精彩,華為雲助力客戶數據平滑遷移

2021-01-09 IT大嘴巴

2016年,有個自稱「一個集美貌與才華於一身的女子」,將3分鐘短視頻的價值變現成為了2200萬人民幣。從此,這名女子的一笑一顰都被萬千網友爭相模仿,她也成為了中國真正意義上短視頻網紅第一人。她的名字叫做姜逸磊,還有個大家都熟悉的名字——Papi醬。

自Papi醬開始,中國短視頻市場一發而不可收,無論是層出不窮的短視頻平臺還是絡繹不絕的網紅男女,都代表了這一領域在最近幾年的火爆。如今,以抖音、快手為代表的社交媒體類、以西瓜、秒拍為代表的資訊以及以B站、A站為代表的BBS類短視頻平臺爭奇鬥豔,頻頻出招,也讓市場進一步走向繁榮。

短視頻的競爭不僅僅表現在表面的「網紅爭奪戰」上,其實在技術層面也同樣面臨著競爭。一方面,短視頻平臺需要藉助於AR、美顏等技術手段提升用戶體驗和人氣,另一方面,後端的數據中心或者雲端保障,更能夠讓主播和網友用起來得心應手。

其實提到「秒拍」,經常玩短視頻的朋友可能是非常熟悉了。作為短視頻行業最大的聚合分發平臺,秒拍日均覆蓋用戶達7000萬,日均視頻上傳220萬條,用戶日均使用時長40分鐘,日均視頻播放總量30億次。可想而知,在秒拍不斷發展的7年時間裡,已經積累了多少用戶及多大的數據。而如今,一個難題就擺在了所有技術人員的面前——秒拍希望將部分數據遷移到華為雲平臺上。

大家知道,雖然我們常說雲平臺是開放性的架構,具備彈性擴展和秒級相應等諸多特性,但是「遷移」兩個字,對於任何平臺來說都是一樣的沉重。最初,秒拍與華為雲接觸的時候,並沒有對華為雲有足夠的信心。儘管「華為」的品牌在IT領域首屈一指,但是在雲計算應用中特別是公有雲平臺中,華為雲還是新晉者。

「最初我們聽到華為雲這個名字的時候還是很驚訝:華為也開始做雲了?後來通過慢慢的接觸,了解到華為有很多前沿算法,剛好符合了我們數據的差異化推送需求。基於雙方開放、合作的共識,我們一步一步有了很多的業務上的結合,一步一步相信彼此,最終選擇了彼此」,秒拍架構師李東輝表示。

雖然都是x86平臺,雖然在理論上不存在之前RISC那種「綁定」的架構,但是每家平臺都是一個複雜的系統,從底層的硬體到中間層的若干OS再到上層的各種應用平臺,想實現整體的遷移無異於痴人說夢。具體到秒拍來說,它原本的業務運行在某大型公有雲平臺上,但是對於短視頻應用來說,可能某個瞬間或者某段時間的「爆款」視頻會帶來流量高潮,而原有的基於虛機的雲平臺很難在這個時候實現彈性擴展,進而有可能影響用戶體驗。經過慎重考慮,秒拍最終決定從原有平臺遷移到華為雲提供的容器服務上,以確保業務能夠快速無縫地進行切換,實現隨時隨地的彈性擴展,為用戶帶來最佳的應用體驗。

在解決這個問題的過程中,華為雲很大程度上就扮演了「圓夢者」的角色。對於秒拍的遷移,華為雲給出了分步的策略,即在保證遷移能力的同時,實現業務的穩定運行。具體說來,包括mc\mq\redis\db\ES遷移等多個部分,同時也包括了遷移之後的架構優化和負載均衡等等,並非是一蹴而就的。事實上就整個遷移過程來說,也可謂是「驚心動魄」。

「當時預計的遷移時間是零點之後,因為凌晨的業務體量是比較低的,影響也非常小。但是到凌晨一兩點的時候,資料庫同步驗證出現了問題,老資料庫到新資料庫複製斷掉了。當時所有人都特別緊張,甚至有人準備放棄遷移;好在華為雲及時組織技術專家,在第一時間解決問題、排除了故障,遷移得以繼續運行。大概是到四五點左右的時候,整個數據量已經開始進入華為雲平臺,持續到八點左右的時候,整個遷移工作初步完成。雖然在遷移過程中有些小的業務問題,但秒拍系統的整體已經與華為與非常匹配了,後續就是業務的細化問題」,李東輝如是說。

應該說,在雲趨勢的大潮下,網際網路企業把大多數業務部署在雲伺服器上,但更多是在傳統的雲主機上。如果企業要過渡到下一代虛擬技術容器,會涉及到各類資源遷移和技術架構優化,整個過程是必須短暫而痛苦的。

但如果沒有相應規模的技術團隊來操作,再加上雲廠商沒有完善的技術支持團隊,這個過程會更加痛苦。如何減少企業業務升級的痛苦,這就非常考驗企業技術決策者的選擇智慧。秒拍這次遷移,可以看作是短視頻網站雲平臺過渡的一個樣本,也凸顯出華為雲在解決客戶痛點上的能力。

解決了數據遷移的問題,接下來就是如何判斷這些海量的數據以及如何將數據精準的推送到各人。很顯然,如此巨大的視頻數據流量,對於帶寬及後端的伺服器都帶來了前所未有的壓力。而面對爆發性增長的業務量,想要僅僅憑藉人工審核肯定能以滿足每日巨大的數據需求,而如何將熱門內容推送給每一個用戶,而又要保證不同用戶的精準化與差異化,一直是整個業界面臨的共同問題。對此,秒拍在不斷的探索之後,選擇了智能算法+人工推薦相結合的形式。

這樣的選擇也是業技術發展的必然。正如我們之前提到的,一方面在短視頻平臺,高熱度的內容無疑能得到充分曝光,但另一方面並非每個人都關注熱門事件,事實上大多數UGC用戶依然保持著個性化的內容需求。就好比,微博熱門經常被明星八卦內容所佔據,但是在實際生活中,明星八卦只能作為茶餘飯後的小小談資而已。

為此,視頻平臺要將大量優質的內容推薦給真正感興趣的用戶,就必須基於人工智慧+大數據技術。我們可以想像一下,按照秒拍的用戶量,事實上每天它都會產生海量的數據,這些數據可能是五花八門,而且大多是非結構化的數據,不能通過傳統的資料庫進行區分,只能藉助於人工智慧的方式,利用深度學習算法實現分類。

這無疑技術提出了更高的要求。一方面,秒拍希望能夠為客戶提供精準的、差異化視頻,另一方面想要在每天產生的海量數據中找到這些視頻,無疑中大海撈針般的困難,非深厚的技術幾點與完善的解決方案不能實現。但是這個問題,在華為雲EI的面前,卻能夠迎刃而解。

憑藉多年在大數據和AI領域的技術積累,華為雲EI為「秒拍」提供了諸多業界領先的技術並搭建了一系列成熟的技術架構,使「秒拍」能夠實時地把握用戶興趣愛好,並基於AI技術對內容進行分析,進而將視頻匹配給用戶,使推薦真正做到千人千面。

具體說來,華為雲EI通過對海量用戶行為以及視頻數據進行訓練、分析、建模等操作,為一下科技等移動網際網路企業打造了多場景下的23000多個不同維度的內容標籤,對內容進行標籤化處理,有助於全方位加深後臺對視頻內容的理解,並通過實時構建的用戶畫像,以及基於深度學習的CTR預估排序,有針對性地把內容推送給真正感興趣的用戶。

雖然在公有雲領域出現的時間還不長,但憑藉多年來華為在CT和IT領域的豐富經驗與基礎儲備,華為雲從「天生」就具備了強大的技術基因,可以為用戶提供完善的海量數據分析+智能推送的精準方案,也能幫助客戶從原有的虛擬機順利遷移到更符合趨勢的容器平臺。

相關焦點

  • 華為云為你定製「專屬秒拍」
    依靠華為雲容器啟動速度快、資源佔用小、運行效率高等特點,在應對突發性的大流量衝擊時也可以實現快速擴容。升級到容器之後,秒拍從根本上避免了「官宣」式宕機。但此次雲遷移意味著大量的數據變更、系統兼容和架構重建,難度可想而知。為此,華為雲派出一支強大的技術團隊,駐紮在秒拍總部共同攻克技術難關,在夏日酷暑高溫和時間緊急的嚴苛考驗下,展現出過硬的專業素質和穩定的服務水平。
  • 鎖定華為雲這場直播,讓你輕鬆從小白變遷移專家
    資料庫遷移指的是從源庫(要遷移的資料庫)遷移到目標庫,簡單來說就是從「舊家」搬到「新家」,其中涉及到各種數據的搬遷,數量巨大,情況複雜,而且通常需要停機遷移,對業務影響極大,而且每個資料庫遷移者都會經歷客戶如下親切的問候。
  • DTCC 2020:驅動數據創新 華為雲資料庫使能企業數位化升級
    其中雲上資料庫為企業帶來了數據價值提升,安全可靠、成本優化等諸多收益。  那麼問題來了,如何讓資料庫高可靠、高性能、高安全?如何滿足各類交易場景?如何實現數據自治,釋放數據價值?華為雲給出了答案!  對於資料庫的下一個十年,華為認為企業會更加快速的上雲,使用雲基礎設施構建自己的IT系統,也會出現大量基於商業資料庫的存量應用往雲上的雲原生資料庫遷移,開放生態的資料庫將成為世界資料庫的主流。華為在過去十年大力投入了資料庫研發,未來十年也將繼續加大投入,把華為沉澱的資料庫能力釋放到雲上,通過開放生態的GaussDB為企業賦能。
  • 華為發布SD-WAN雲服務,助力企業智聯上雲
    [中國,上海,2018年10月12日]在HUAWEICONNECT2018期間,華為面向企業客戶發布SD-WAN雲服務,並宣布華為SD-WAN雲服務正式入駐華為公有雲,即日起可登錄華為雲申請免費試用一年。
  • 看秒拍短視頻,刷微博吃瓜,這背後的奧秘一點兒都不簡單
    本身體量就很大的秒拍背後,是月活 4.5 億,日活近 2 億的微博,因此,我們看秒拍,不僅僅是視作一個獨立的短視頻 app,更應該視作微博短視頻內容的熱門平臺。而除了秒拍之外,其母公司一下科技還有小咖秀以及波波視頻等產品及平臺,這些平臺不僅僅能供大量 C 端用戶瀏覽觀看、創作和及時交流分享,同時還為 B 端客戶提供強大的視頻 SDK 功能,協助中小企業開展視頻業務。
  • 雲視頻,華為雲新的「殺手鐧」
    華為雲CTO張宇昕  為了幫助企業客戶成為雲原生2.0時代的居民,華為雲推出雲原生基礎設施全棧解決方案,引領雲原生進入Cloud Native 2.0時代。  具體而言,華為云云原生基礎設施解決方案能夠在四個方面幫助企業:  第一,降本增效方面,華為雲第二代「零損耗」裸金屬容器解決方案,引入容器全卸載、網絡硬體直通、動態ENI(彈性網絡接口)等新特性,相比第一代裸金屬容器,成本下降30%、網絡性能提升40%。  第二,跨雲管理方面,服務網格幫助應用快速實現現代化,及在跨雲管理在在應用跨雲遷移方面的應用。
  • 能力八項領先,服務600+政務雲,華為雲Stack持續領跑
    在醫療信息化建設中,華為雲服務了65%的省級醫保信息平臺,推動國家智慧醫保實驗室、廣東省醫療保障局、北京醫院、鄭州大學第一附屬醫院國家遠程醫療中心等醫療機構信息化蓬勃發展。  在電力行業,華為雲服務了國家電網集團14個省公司,以及3大發電集團,助力實現電力生產經營智能化。  在油氣行業,華為雲助力中石油、中石化石油勘探開發等業務轉型升級。
  • 換機數據遷移,用手機克隆,即刻轉粉華為
    ,用手機克隆,即刻轉粉華為我的 HUAWEI Mate 20 入手第一天,就已經帶出門炫耀。你的新機到手,還在等待海量舊數據遷移?用手機克隆快速遷移舊手機數據,省事更省心!蘋果換華為,數據遷移更方便iOS系統和Android系統就像是兩條平行線,隔岸遙相望,相愛又相殺。自從有了手機克隆,兩條平行線就變成互通有無的相交線,我強大了,你就變成了我。
  • 華為中軟國際發布智慧教育雲平臺解決方案
    中軟國際作為華為重要的生態合作夥伴,受邀參與會議並做《華為-中軟國際智能製造雲之「工業診斷雲」助力崑山打造國際先進智能製造示範基地》分享和《華為-中軟智慧教育雲平臺助力高校工程教育改革&「新工科」建設》主題演講,同時華為-中軟智慧教育雲平臺聯合解決方案正式發布。
  • 信核構建雲服務生態圈,解讀企業上雲新姿勢
    ③更安全:雲伺服器容災能力更強,可提高應急響應、故障恢復、信息安全保障能力。企業在了解上雲優勢後,勢必需要選擇合適的方式進行上雲以及上雲之後的系列部署,且看信核聯合各大雲廠商、雲服務商及渠道合作夥伴提供的一站式雲服務及解決方案。
  • 華為雲攜手優質夥伴貢獻智慧城市新思路
    隨著物聯網、大數據、AI等技術的發展,我國智慧城市建設正從連接網際網路的1.0時代,向更高效的數據互聯的2.0時代邁進,並快速進入3.0時代,由於海量的政務數據和社會數據被實時的匯聚、共享和在線計算,出現了新的需求和相應的解決方案。
  • 做生態的「黑土地」: 華為雲夥伴計劃2.0正式發布!
    1月15日,華為雲官網的雲夥伴計劃正式升級為2.0版。全新的雲夥伴計劃將提供更全面優化的權益支持助力夥伴構建基於華為雲的業務實踐和解決方案,共拓公有雲市場。覆蓋更全面, 六項計劃聚合諮詢與技術兩類夥伴華為雲夥伴計劃2.0版涵蓋經銷商夥伴計劃、授權銷售支持中心計劃、夥伴孵化中心計劃、解決方案夥伴計劃、CSSP計劃,以及雲市場夥伴計劃,並面向智能製造、IoT、SAP等領域推出專項能力計劃。諮詢類夥伴計劃經銷商夥伴計劃:具有華為雲的售前諮詢、銷售、服務能力,將華為雲銷售給最終用戶的合作夥伴。
  • 華為雲的AI策略現在怎麼樣
    經濟觀察網了解到,為了助力重慶數位化轉型,華為與重慶市人民政府籤署了戰略合作協議,雙方將共建鯤鵬計算產業生態重慶中心。 據介紹,未來,華為將大力發展鯤鵬產業生態,此次也聯合重慶高校和相關教育單位正式啟動了「Cloud for Good:鯤鵬新生態 華為重慶鯤鵬凌雲人才培養計劃」。 這項計劃將覆蓋華為全生態領域,全面對接重慶市產業體系。
  • 華為雲與計算為新基建築基,助在線教育鞏固流量資產
    與此同時,「新基建」如火如荼,在線教育作為「新基建」的直接賦能場景,雲、AI、5G、大數據中心等將築起技術「護牆」,助力行業實現「線上留人」。4月23日以來,華為雲與中關村網際網路教育創新中心聯合舉辦的「在線教育創新季」組織眾多行業大佬共話教育行業發展趨勢,共謀行業破局,讓在線教育乘勢「新基建」,加速實現轉型升級,釋放「數字紅利」。
  • 華為五大協同融合與六大智能金字塔架構,最終實現客戶需求
    11 月 28 日上午,2020 長沙網絡安全 智能製造大會召開,華為公司副總裁、華為中國區雲與計算總裁史耀宏表示,「2015 年,華為每條產線生產一部手機需要 10 分鐘。2020 年,華為每條產線生產一部手機僅需 27 秒」。
  • 金蝶榮膺「2020華為雲市場最佳實踐夥伴」獎項
    金蝶自2018年入駐華為嚴選商城以來,與華為在產品兼容性互認證、聯合創新解決方案及產品技術全棧適配等領域攜手無數,今獲此殊榮是對金蝶與華為深度戰略合作成果及金蝶領先的生態業務模式的充分肯定。獲評最佳實踐夥伴 攜手共建企業服務新生態作為全球領先的企業軟體和企業雲服務提供商,金蝶與華為在雲計算、大數據和人工智慧等前沿領域已展開多次全方位、深層次的戰略合作。
  • 達夢資料庫,以自主原創技術助力新金融科技
    國產資料庫遷移之道 目前,從傳統資料庫向國產資料庫遷移主要有兩條路徑。 首先是平滑過渡路線。該方案面向現有核心業務,使用對等技術方案支撐業務,可以高度兼容原有系統架構,而且實施周期短、風險可控。
  • 熱烈慶祝慧日雲企榮獲「優秀華為雲夥伴獎」
    2019年,慧日雲企在華為「平臺+生態」的戰略指引下,秉承「開放、合作、共贏」的生態理念,引入投融資合作夥伴,與各類生態夥伴一起持續創新,引領行業發展,支持客戶商業成功,實現互惠共贏。12月28日,在「2020華為河北生態夥伴頒獎盛典」中慧日雲企榮獲「優秀華為雲夥伴獎」。
  • 華雲數據助力中科院蘇州納米所搭建新一代IT基礎設施平臺
    目前,隨著雲計算、大數據、5G等新一代信息技術的發展,很多機構希望將工作負載遷移到雲端,並搭建一個在現在和未來幾年都更有效的IT框架,提高基礎設施的效率。中國科學院蘇州納米技術與納米仿生研究所(以下簡稱中科院蘇州納米所)就是其中之一。信息化建設難題亟需解決中科院蘇州納米所由中國科學院與江蘇省人民政府、蘇州市人民政府和蘇州工業園區共同出資創建。
  • 中軟國際實現華為雲區域能力中心年度獎項大滿貫
    來自全國的200餘位華為雲區域能力中心夥伴齊聚慶典,中軟國際受邀參會並榮獲六項大獎,其中更有華為雲特設的壓軸大獎——「億飛沖天獎」,充分證明了中軟國際作為華為雲生態排頭兵的實力。  中軟國際雲智能業務集團ISV客戶銷售部總經理閆國棟代表公司領獎並表示,中軟國際攜手華為雲共同成長,做華為雲生態的先頭兵,風雨同舟,共戰2021。