小鵬在前不久正式OTA推送了Xmart OS 2.1.0版本,也是小鵬P7首個大版本OTA,除了開放了XPilot自動駕駛的部分功能和對Xmart OS中近100個功能進行優化升級之外,最重要的一點是它的全場景語音。從日常使用的角度來說,這個號稱是全球第一個實現全語音交互的更新,甚至比XPilot 3.0中的NGP高速自主導航駕駛還要值得期待。
我們先來看看這次的全場景語音都有哪些特別的亮點。
一次喚醒,連續對話
首先加入的連續對話功能,說完「你好,小P」之後,我們可以在20秒內持續對它發出指令、跟它聊天逗悶子,而不用再一詞一句地頻繁喚醒。當系統探測不到有效指令信息20秒之後,小P就會推出這次對話。通過對用戶行為的調研,小鵬發現大部分指令的集中發生一般都在1分鐘之內,絕大部分則都在十幾秒內完成,這也是為什麼小鵬設定了20秒的聆聽時間。
我們在屏幕的左上方可以看到,在這段時間內,系統一直在聆聽並識別。而且識別的準確率已經相當高,除了對我們聊天內容中偶爾的專有名詞有個別字錯誤,中英文混雜也可以識別,而且對於有效指令沒有任何錯誤識別。這裡車雲菌心裡產生了兩點疑問:把我們的閒聊天都聽進去豈不是一直在誤觸發?其他乘客說了衝突的命令系統到底要聽誰的
第一,小鵬使用了語義拒識技術,簡單來說就是通過語義識別判斷車內是乘客間的閒聊還是對車機發出的指令,只有當系統採集到了有效命令判斷我們在跟它做交互,它才會進行相應的回應和執行。而且從我們實際的體驗來看,小P對於我們意圖的判斷已經非常準確,整個過程沒有一次「誤入」我們於工程師的對話,而我們中間隨時對它說的指令,它都非常迅速地響應操作,已經非常成熟,直觀感受就是「很人性」。
另外,這次的語音系統支持了語義打斷,不過同樣跟目前市面上的不太一樣。有了語義拒識的基礎,系統只有捕捉都有效指令才會被打斷執行下一個操作,比如我們問完天氣之後跟副駕感嘆最近北京怎麼一下子要到零下了,就不會打斷正在播報的天氣。
第二,小鵬配備了雙音區語義識別,誰喚醒聽誰的。也就是說如果這一輪喚醒後的對話由主駕發起,那麼其他人再怎麼說它都不會理會,這樣就避免了一些車控功能被車上的兒童誤觸發操作造成一些安全隱患。
這種一次喚醒連續對話的形式其實更加人性化。目前在免喚醒上,多數車企仍然採用的是固定免喚醒詞的方案,但形式的單一死板導致實際觸發使用體驗感較為一般,而且命令詞非常有限,也無法做到與乘客間對話的區分。而小鵬在技術上的進步和優化就很好地解決了這個問題。
可見即可說
這一點可以說是全場景語音最直觀的體現了,一句話概括就是凡是在屏幕界面上有的都可以用語音控制。通常我們通過語音導航、聽歌、藍牙、WiFi等,系統基本上可以幫我們完成主要的指令或顯示出功能頁面,但一些更細節的調整,像切換下一個選項卡、下劃翻頁、點擊某一個按鈕,往往還是需要我們去點擊屏幕。而有了可見即可說,你會感覺系統可以聽懂你要點哪,就像一個聲控滑鼠一樣。
比如直接說「氛圍燈綠色/藍色」,系統就能自動調整;打開小鵬實驗室頁面上,只需要直接說「高」,就能直接設置將屏幕上顯示的哨兵模式靈敏度設置設為高。你可以直接說出屏幕上的關鍵字,系統會替你選擇,而且如果內容過長也不怕。比如你要關閉應用使用限制,系統需要我們勾選已閱讀選項,我們只需要說「已閱讀」而不用說完整句話;當你在開車想選擇音樂時,只是瞄了一眼屏幕可以直說「加州」就可以播放加州旅館,甚至只說「big」就能播放目前屏幕中歌名帶有「big」的歌曲。
https://v.qq.com/x/page/p3200w24jvm.html
我們通過視頻已經更直觀地感受到現在小P的強大能力,這已經可以說脫離了傳統指令式交互的範疇,將語音交互上升到了一個新的高度。尤其是在這一點上,讓你真正感覺好像它真的像人一樣可以聽懂我們說話,突出了普通語音模式的一個「傻」。
廣泛理解,但精準控制
更人性化的還在於系統對於同一種命令更廣泛的模糊識別,我們不用在刻意地用一種所謂「機器語言」跟它交流。直接說「向下吹」、「向右吹」、「避人吹」,而不是空調調整到XX模式;座椅不舒服可以說「主駕座椅調後一點」或者直接「調到最後」;哪裡不知道要怎麼設置也可以直接問「單踏板模式在哪裡」。我們不用再思考菜單層級,如何才能一步一步到最後的設置頁面,語音只需一步就直達具體的功能點,完全打破了我們之前體驗的交互邏輯。
不僅如此,在相對廣泛的識別能力之上,語音控制卻有了更精準的控制能力,語音控制的車窗開關精確到1%、空調10速率6風向28級溫度調節、歌曲精確到1秒級進度調整,「車窗開到23%」、「歌曲前進37秒」、「地圖比例尺設為100米」這些已經統統可以實現。
https://v.qq.com/x/page/j3200e7nd8n.html
私人定製
這是車雲菌最驚喜也是最喜歡的功能,可以針對一系列常用的功能設定一個快捷方式,充分體現了小鵬語音系統更高階的個性化能力。用過iPhone上快捷指令或者macOS上Alfred的同學們應該感到很熟悉,它可以讓你一步一步自由定製輸入命令、執行功能、語音回饋等各項步驟,通過簡單的組合實現一個專屬於你的一串動作。直接來看視頻:
https://v.qq.com/x/page/o3200j9cawz.html
這就是一個專門針對洗車場景設定的私人定製模式,在準備洗車的時候一句話將會執行提醒天氣、關閉車窗、關閉空調、關閉車燈、摺疊後視鏡、掛N擋這一系列動作,比如你每天一上車的習慣就是打開運動模式、聽歌、導航去公司,就也可以直接設置一個「起飛」的名字,上車直接說「起飛」就完成。
另外,在Xmart OS 2.0.1上穿著太空人的小P形象現在支持自定義設置,系統為它提供了4套衣服,但更重要的是你可以掃碼上傳照片,將小P的頭像換成你家娃、寵物、偶像戴著頭盔的樣子。
還有一個小彩蛋,長按左上角小P的頭像拖動到左側音樂選項卡上,左側邊欄就會直接完整顯示小P的形象,它會根據音樂的律動跳舞。
什麼才是智能汽車的最佳交互?
我們其實逐漸經歷了這麼幾個車上人機互動的階段:
- 第一階段:基於物理按鍵的交互方式,僅支持少量命令集。這一階段通過手動完成空調調節、車窗開關等基礎操作,導航、音樂等應用通過手機操作。- 第二階段:基於圖形界面的交互方式,在大屏上將可操作的應用數量提升至少量應用集。這一階段通過手動完成空調調節、車窗開關等基礎操作,導航、音樂等基礎應用通過車機大屏操作。- 第三階段:基於豐富應用生態的交互方式,隨著大屏的應用及指令層級不斷複雜化,智能語音成為車內最佳的交互方式,這種交互能夠讓用戶更集中精力駕駛、更便捷操作車載功能。這一階段空調調節、車窗打開、導航及音樂使用等所有的操作都可以通過語音解決。
根據小鵬的數據,2019年每日有效語音指令數為12次,2020年每日有效語音指令數已提升至25次,2020年小鵬P7語音平均日使用率93.2%。顯然,已經步入第三階段的我們需要的自然是更好用的語音交互,而全場景語音則是小鵬在現階段為我們提供的一種優秀的方案。全場景語音的「解放雙手」比自動駕駛來得更徹底,讓你在車上可以實現完全不觸碰屏幕就可以完成各項功能,讓我們可以專注於全自動駕駛時代之前最後的駕駛任務。
依靠實時在線的雲端語義處理技術,小鵬得以在語音交互上幾乎取得了目前國內市場領先的位置。從實際體驗來說,無論是功能的豐富程度、交互的自然程度,還是一些小功能和細節的驚喜程度,都可以說幾乎是表現最好的,幾乎也只是為了嚴謹一點。即使是暫時離線,語音系統也擁有足夠的基礎語音命令來保證一定的語音交互能力。
從借鑑到領先,小鵬率先推出的全場景語音已經令他們走在了智能化和語音交互的前面,別看這好像看起來只是一次語音的升級,背後反映的卻是人機互動邏輯和體驗的改變。小鵬更懂中國了。