智能音箱聲學語音技術完全自研,背後是那個你不了解的小米

2021-01-12 36氪

小米是一家什麼公司?

答案可能見仁見智。一直以來,高性價比是小米最初搶奪市場的切入點。但如今手機市場增速放緩,IoT成為手機廠商們比拼的下一個賽道。

小米也來到了轉型的十字路口。

那麼小米在AI研發上的方向和成果如何、怎麼切實加快技術落地,我們和小米人工智慧部聊了聊。

小米加速AI自研

除了詢問天氣、播放音樂的常規功能,你可否想過有一天音箱也可以成為一個能交心的朋友?

不久前發布的小米小愛音箱Art已經全面支持情感化的語音交互,小愛同學在被喚醒時,可以基於用戶情緒,做出開心、害羞、驚訝等等不同的反饋,就像一個有情緒的機器人。這是小米人工智慧部AI實驗室最新的語音成果之一——通過情感TTS合成,實現擬人化情感化的小愛同學音色。

當然,作為小米的第九款音箱,當中也融入了小米更多的自研聲學語音技術,比如支持全屋播放、就近喚醒等功能。

設想一下,用戶直接對小愛同學發出「全屋播放」的指令,不必打開APP,房間裡面所有音箱產品都能播放同一首歌曲。早上起床的時候,遠處的音箱鬧鐘響起,只需要呼喚近處的音箱就可以直接關閉遠處的鬧鐘,不必親自下地。

智能音箱是一種樞紐型產品,也是小米IoT上的爆品,所以聲學、語音技術也是小米在人工智慧研究中進度最快的一個方向,已經實現了100%的自研。此外,小米的人工智慧研究還包括視覺、自然語言處理(NLP)、知識圖譜和機器學習等方向。

小米人工智慧部AI實驗室主任王斌博士介紹道,在人工智慧領域中,機器學習更偏底層,是人工智慧的核心支撐技術。聲學、語音和視覺偏感知,是對人們感知到的聲學、語音和視覺信號進行處理。而NLP和知識圖譜則更偏認知,是對文本內容進行深入的語義理解。

目前,小米的聲學、語音技術主要用於智能設備的交互,而視覺技術主要用於提升小米手機相機的拍攝效果,NLP和知識圖譜則主要應用於各種網際網路內容服務。小米的機器學習一方面研究包括自動機器學習在內的相關算法,另一方面則主要是構建大規模的訓練和推理引擎平臺,其中包括端側的深度學習推理引擎。目前小米的很多基礎AI技術也正在平臺化,從而能夠全面支撐公司的多樣化業務,目前包括端側深度學習推理引擎MACE在內的框架已經開源,後期各項工具、平臺也會逐步開源開放。

王斌表示,今年小米在AI技術上會在多個方向上繼續發力,比如視覺方向重點是在基礎畫質算法上實現突破,達到行業一流水準;聲學語音方向還在進一步加強喚醒和合成的工作,儘快實現更大突破;NLP則在結合實際場景的情況下突破多模態內容理解技術。

「在公司內部的技術布局上,很多部門會有些相關性,大家互相支持去探索,成長會更快,「小米人工智慧部總經理葉航軍博士表示,目前小米的人工智慧主要應用在三個賽道,除了前述以音箱為主的IoT產品,還有手機相機和網際網路領域(搜索信息流推薦、電商平臺等),相對而言,消費者對前兩者AI應用的感知更加強烈。

「目前看,手機競爭很大程度上是拍照能力之爭」,葉航軍一言道破手機市場競爭本質。目前手機領域已經很久沒有激動人心的顛覆性技術,相機作為使用最高頻的功能之一,也是手機廠商們大展拳腳的領域。除了各類硬體上的加減乘除,圍繞攝像的AI算法也是各家手機廠商的持續創新的沃土——AI算法的邊際成本比硬體更低,而且可複製性也很高。

小米自研的視覺技術一方面不斷提升相機的基礎畫質,另一方面主要體現在多種相機相冊應用中,比如超級夜景、HDR、魔法換天、魔法分身等等。

以魔法換天為例,小米自研的AI算法可以將天空和照片的其他區域區分開來,通過更換天空素材,並調整其他區域的亮度顏色等,達到改變天氣的目的。「當時市場上的競品APP換天的成功率只有70%左右,我們在攻堅之後達到了90%以上」,王斌表示,尤其是針對前幾年北京的霧霾天氣,換天功能也是「擊中用戶痛點」,在社區還掀起了換天比賽,得到用戶廣泛好評。

「事關小米生死存亡」

毫無疑問,小米正在不斷提高AI技術的自研率。站在普通用戶的角度,對這些技術的感知雖然不甚強烈,但不積跬步無以至千裡,種種微小的技術進步卻也隱藏著小米的未來。

其實,小米內部圍繞AI技術的研究在很早就開始了,但早期主要分散在各個業務部門。直到2012年,崔寶秋加入小米,把分散的研發力量聚合,才組建了人工智慧與雲平臺團隊,並且主導了小米「雲計算-大數據-人工智慧」的技術發展路線。隨著技術立業的理念深入,小米成立了集團技術委員會,由集團副總裁崔寶秋博士擔任技術委員會主席。

到了2019年年初,小米開啟的新一輪架構調整。原來的人工智慧與雲平臺部拆分成立成為三個部門:人工智慧部、大數據部和雲平臺部。這三個部門也成為小米公司內部的一級部門,三位負責人直接向雷軍匯報。

如今小米人工智慧部的帶頭人葉航軍也是在2012年加入小米的,再此之前,他先後就職於IBM、Google和騰訊。在小米的八年期間,他從小米雲團隊總監、小米AI平臺團隊高級總監,再到升任小米集團人工智慧部總經理、AIoT戰略委員會副主席,個人主要關注領域包括搜尋引擎架構、分布式系統、雲計算及人工智慧。

小米去年年末的這次結構調整也釋放了明顯的信號:未來小米在雲計算+大數據+人工智慧這三類技術路線上的投入還要更大,而且會更垂直。「以前沒有機會去暴露的一些項目,現在得到了更多的機會,有了更多的資源投入、更多的跨部門合作,公司對AI的重視程度越來越高」,葉航軍表示。

2018年年初,雷軍確定了小米「手機+AIoT」的雙引擎戰略。小米始終堅持給用戶提供高性價比的產品,硬體本身的利潤率很低,通過口碑積累了大部分用戶。

利用硬體沉澱毛利更高的網際網路收入,需要時間,也需要AI幫忙發揮出更高的效率,回到硬體上,隨著手機市場大盤的下滑,小米要衝擊高端高價,就必須要有自研技術託底。在IoT層面,小米的優勢在於數量夠大,佔據了先發優勢,從IoT到AIoT的轉變,也是在打造更大範圍的萬物互聯,提供更智能的硬體產品體驗。

從財報上看,小米2020年第一季度營收497億元,同比增長13.6%,其中手機以外的收入(網際網路收入+IoT收入)佔總收入達到了40%,份額也正在持續擴大。AIoT的引擎也正在助推小米總體營收狂奔。

在去年的重整中,雷軍不止一次在內部會議中強調技術立業的重要性——「事關小米生死存亡,是小米持續發展最重要的動力和引擎」。

落地!落地!落地!

任意一項關鍵技術研發都不是小數目短周期的投入,尤其是AI。AI落地是絕大多數企業非常重視的目標。當然,AI落地也並不意味著所有的AI技術都需要自己研發。以聲學語音為例,雖然小米這方面的核心技術已經實現幾乎100%自研,但並不代表單一產品中的所有技術都來自小米之手。

所以在確定方向之初,清晰的判斷尤為重要。葉航軍表示,小米是一家專注而務實的公司,並不會為了研究而研究,也沒有一定要完全自研的情結,一切還是基於理性判斷。當然,王斌也認為,「上述領域的核心AI技術一定要跟上的,不然遲早會被卡脖子,如果是一定要自己掌握的,就會始終投入」。

所以,在選擇供應商還是自研技術之間,小米內部會維持「動態平衡」。

小米在AI技術自研上雖然起步較晚,技術的標籤也還沒真正走入用戶心智,但客觀來看,小米通過快速靈活務實的打法逐漸建立了自研的護城河。

首先是小米一直以來的效率足夠高,在硬體上適用,在AI技術研發上也依舊適用。

AI技術特別是應用於設備的AI技術在研發過程中的一個困難是,硬體一旦變動就可能會導致算法全盤失效,在實操過程中,小米的人工智慧團隊也學會了如何快速提取公共的部分,通過減少需要改動的地方,提高算法在不同硬體上的復用效率。

其次,小米也有足夠豐富的場景(電商/金融/遊戲等)可供技術驗證,也積累了大量的數據。據Q1財報數據顯示,在IoT領域,小米IoT平臺已連接2.52億臺設備,接入了手機、家庭、穿戴等7大場景,209款設備。

「AI技術到處都有用武之地,但要和場景充分結合技術才能產生巨大火花」——這也是王斌教授離開學術界進入工業界的一個重要原因。當然,王斌也並不是小米內部第一個做出這種選擇的學院派,小米對於AI技術研發落地的重視、AI場景的多樣性和優勢還在持續吸引更多的工程師加入。而這些人才在不斷塑造小米的工程師文化,也是小米接下來打造技術護城河最重要的基礎。

在內部,小米AI技術的主要驅動力來自業務,這也保證了小米AI技術的研發大都是基於用戶體驗而開發,在推出之後也更能迎合用戶需求。王斌也承認,小米還是一家發展中的年輕公司,目前技術反推業務的比例還不是很高,但是由於小米的業務多樣化,技術驅動業務的成功案例也在不斷增加。

針對AI部門未來的發展,葉航軍也已經制定出了長期目標和短期目標。他說,短期目標還是在IoT+手機相機+網際網路三個應用領域上持續加強優勢,加強投入,長期目標則是「希望幫助公司發現更多的機會,比如健康、教育等」,讓技術更多地去反推小米的業務。

目前小米也在同步補齊AI所需要的基礎能力,年底將打造一個AI技術中臺,主要是面對公司內部打造成一個統一的技術輸出出口。

正如崔寶秋此前接受訪談時所說,小米的所有產品,包括硬體產品、軟體產品和網際網路服務都需要AI來賦能,「今天AI在小米已經無處不在,這也充分表明了AI在小米整個生態系統中的重要性。」

有人認為,人工智慧也是繼蒸汽機、電力技術、計算機信息技術之後的第四次產業革命。葉航軍帶領的小米人工智慧團隊也不想掉隊。葉航軍表示,「不管如何定義人工智慧,共識是,人工智慧是能幫助提高效率和體驗的一個工具,所以公司的判斷是在人工智慧方面必須要投入的」。

回到文章開頭的問題,小米到底是一家什麼樣的公司。幾乎每一個小米人工智慧部的人都會毫無遲疑說,小米是一家網際網路科技公司。但要成為用戶心智中真正的網際網路科技公司,小米需要做的事還有很多。在葉航軍看來,分為三步。

「首先技術上要有獨特的地方,其次是產品和體驗,技術要落地到用戶能用上的地方」,葉航軍表示,「第三是你的生態和品牌,用戶怎麼看待你的公司,要靠產品上的優秀體驗,再讓用戶去定義你到底是一個什麼樣的公司」。

AI時代已經到來,對於一家企業而言,能夠通過科技讓每個人享受科技帶來的美好生活,才能撬動更大的社會價值。

相關焦點

  • 小米AI智能音箱全面體驗
    2017年7月26日,小米正式發布了售價299元的小米AI音箱「小愛同學」,這是小米推出的第一款AI智能音箱。3年前,小米專門建立聲學實驗室,開發電視音箱以及藍牙音箱等產品。今年,小米電視與小米大腦又攜手推出了全球首款人工智慧語音電視。而這位「小愛同學」,則是小米在音頻領域和人工智慧語音領域技術積累下的結合體。
  • 兩款小米智能音箱拆解對比:小米AI智能音箱、小愛智能音箱mini
    前不久小米宣布,小愛同學正式成為小米手機和小米電視的內置語音助手,這個人工智慧語音助手正隨著MIUI的更新以及新產品的發布,逐漸成為越來越多用戶離不開的一種交互
  • DingDong智能音箱咪咕青春版發布 可能是「最想聽」的語音助手
    它不僅是一款可攜式的雲音樂播放器,更延續了DingDong語音識別和智能家居入口的強大基因,通過語音點播歌曲、控制家電一樣都不少,內置鋰電也讓這款音箱更便攜。DingDong咪咕青春版作為Wi-Fi音箱,售價僅為199元,有著極高的競爭力。低廉的價格也大大降低了語音入口的門檻,讓年輕人享受「走到哪都是你最想聽的」智能音樂生活。
  • 2019年十大智能音箱盤點 智能音箱的功能正在不斷升級
    據了解,除了產品外觀的微小差異外,谷歌Nest Mini智能音箱致力於在功能體驗上給用戶帶來全新升級,其低音頻強度是Home Mini的兩倍,而在低音增強的基礎上,谷歌Nest Mini智能音箱還試圖在語音體驗上給用戶帶來驚喜。 相比上一代產品,谷歌Nest Mini智能音箱還多加了一顆麥克風,即便在嘈雜環境中也能識別用戶的語音指令。
  • 開啟智能家居的鑰匙 小米智能音箱體驗
    不知道大家是否記得,在我們看過的科幻電影中幾乎所有的智能電腦都是通過語音進行操控。你是不是很羨慕這種未來的生活方式?
  • AI語音互動,智能音箱黑科技高能來襲
    你的音響是什麼樣子的呢,是超級小的低音炮,還是普通的電腦音箱,無論你喜歡什麼樣子的,按照現在的時代發展,都應該換成智能音響啦,你也許還不知道,智能的音響就如同一個家庭小機器人,非常方便。小米小愛同學AI音箱搭載了六個環形麥克風,與波束成型技術完美結合,有效的降低了噪音的幹擾,同時只要分貝足夠大,在房間的任意角落,小愛同學都可以接受你的語音指令,同時她的語音也更清晰。— ② —小度人工智慧音箱音箱配備有海量的音頻資源,能夠為使用者搭建出酣暢盡興的聽覺盛宴,無論是音樂還是涵蓋教育、娛樂等領域的各種優質有聲內容,都能通過它一一解鎖。
  • 2020年中國智能音箱行業技術發展現狀與趨勢分析 小米、百度和阿里...
    智能音箱核心技術包括晶片、麥克風陣列和智能語音技術智能音箱將聲學設計、無線技術、語音識別、遠場拾音、語義分析等眾多技術融合在一起,使得技術更為複雜,因此相較於普通藍牙音箱,無論在硬體或軟體系統上都採用了更先進的技術作為支撐。
  • 中國智能音箱市場的「黃金時代」:阿里小米百度誰先勝出?
    Analysys數據顯示,在已經購買智能音箱的產品用戶中,願意向朋友和家人推薦的品牌調查中,天貓精靈佔比高達39.2%,與之相比,百度小度和小米小愛分別為27.1%和22.5%。用戶觸達進入「全渠道」之爭小米小愛音箱目前主要依靠線上渠道,包括自有渠道和京東等第三方線上渠道,線下則主要包括數量不多的小米之家和小米旗艦店。
  • 繼「智能音箱」後,小米又開賣「電視音箱」
    前段時間大火的智能音箱讓小米吃到了不少甜頭,趁著這個熱度,小米商城悄然上線了一款新品:小米電視音響。
  • 重估BAM的智能音箱戰略
    近些年來,智能音箱領域競爭十分激烈,阿里、百度、小米三家巨頭展現了層出不窮的競爭策略。而本文主要對BAM的智能音箱戰略進行重估,希望能給你帶來啟發與思考。
  • 妹子體驗小米ai音箱
    智能音箱 簡單說是一個音箱升級的產物   ,在16年時,小米推出了 售價399元的 小米網際網路音箱,當時的這款產品,不支持 遠場語音交互,需要長按控制面板的「CH」鍵 下達語音指令 使用感受也並不完善  在我們國內市場 目前99元到一兩千元的此類產品都有
  • 小米智能音箱哪款好用?值得入手的5款性價比型號推薦
    隨著生活水平的提高,各種娛樂設備也隨之出現在了人們的眼前,其中就包括這款小米的智能音箱,因為這種小音響給人的第一印象就是——小巧便於攜帶,出門攜帶或是放在家內都十分的氧氣,完全不用擔心笨重呢~下面我們就來看看小米智能音箱它都有哪些熱銷型號,哪款比較好用,整理了5款性價比型號分享給大家
  • 哪個品牌的智能ai音箱比較好 智能音箱有什麼功能
    因為Echo的開創性與在人機互動技術的早發優勢,排在第一名實至名歸。 Echo最大的亮點是將智能語音交互技術植入到傳統音箱中,從而賦予了音箱人工智慧的屬性。用戶能直接通過語音操控它,而且還可以通過它來控制家居。「Alexa」作為語音助手,可以像朋友一樣與用戶交流,同時還能播放音樂、新聞、網購下單、叫車、定外賣等等。
  • JBL Go Smart 音樂魔方可攜式語音智能音箱測評報告
    這麼小的箱體,設計空間相當有限,JBL仍舊試圖展現其聲學設計上與其他廠商不一樣的見解,從設計上看,JBL Go Smart放棄了立體感和分離度,不在難以做好的部分花費精力和成本,也不去使用有明顯優點和缺點的設計。
  • 各家智能語音音箱對比,天貓精靈和小愛同學該選誰,誰功能更多?
    智能語音音箱這個寵兒是2017年才在國內引爆的,兩年多的時間,發展速度不可謂不快。在國內市場中,佔一定市場份額的有百度的小度、小米的小愛、阿里的天貓精靈、華為、若琪、京東的叮咚、喜馬拉雅等音響,蘋果的HomePod語音音箱也在2019年初批准進入中國市場。在智能語音這個細分市場,有口碑的品牌已經有了這麼多,在整個生態鏈中,每家都有其各自的優勢。
  • 獵戶星空為小米MIX 2S打造最溫暖聲音 語音交互讓AI無處不在
    又被小米發布會洗腦了!這次不是雷軍的Are you ok,而是各種場景、不同人群喊出的那聲「小愛同學」。昨日,小米在上海舉辦小米MIX 2S 新品發布會,發布會上推出小米MIX 2S,自帶「小愛同學」,同時還發布小米AI音箱的mini版——小愛音箱mini。
  • 智能音箱跨界《外科風雲》,這樣的語音助手你喜歡嗎?
    兩人不僅牽手撒狗糧,「治癒時間」的花絮片段中兩人使用智能音箱購物的生活場景,也是賺足了眼球。「我要新款包包!我要電吹風!我要高跟鞋!」在家中只要發出具體的語音指令,就可以在智能音箱上完成購物、下單等操作。想要實現這樣的便捷生活並不難。伴隨人工智慧發展和智能語音交互技術的不斷成熟,這樣的場景在尋常生活中也可以實現。除了視頻裡出現的叮咚音箱外,目前市場上有很多語音助手在不斷走入日常生活。
  • 亞馬遜 Echo大獲成功,遠場語音交互技術在其中究竟扮演了什麼角色...
    但是網絡上橫跨聲學和計算機學科的教育資源太少,李智勇老師的這篇文章不僅揭示了遠場語音交互的核心技術,還對商業化落地的路徑進行了深入的解讀,無論是語音交互的技術人員,還是產品經理,都值得一讀。手機之後國外各大巨頭非常罕見的步調一致的在做同一件事情:智能音箱。
  • 小米賣599的音箱你說香,這次449賣你個「拖把」,還願意嗎?
    如今,小米已構建出全球最大的loT物聯網平臺,超過1億臺AI智能設備,覆蓋日用、教育、社交、娛樂、醫療、交通、金融等各處領域。一直以來,小米給人的印象,都是主推高性價比、智能交互類型的產品。但是,也有為數不多的那麼幾種,即使價格高出「平均數」,依然還是那麼炙手可熱。
  • 小米智能音箱專利揭示了類似於蘋果HomePod的設計方案
    原標題:小米智能音箱專利揭示了類似於蘋果HomePod的設計方案來源:cnBeta.COM 中國國家知識產權局網站上曝光了一項新的小米智能家居音箱專利。該專利包括了一個圓柱形設計的智能音箱原理圖,看起來與蘋果HomePod非常相似。