在很多科幻電影中經常會出現以下炫酷的場景：無需鍵盤也能打字，無需控制器也可以玩電子遊戲，無需方向盤也能駕駛汽車。
由加州大學伯克利分校(University of California at Berkeley)、蘇黎世IBM研究院(IBM Research Zurich)、博洛尼亞大學(University of Bologna)等多家研究機構的的工程師們聯合開發出了一種新型可穿戴設備或許可以實現這些場景。該項研究以《A wearable biosensing system with in-sensor adaptive machine learning for hand gesture recognition》為題，在線發表在 《Nature Electronics》上。
研究人員設計並開發的這種新型可穿戴設備通過將可穿戴生物傳感器與人工智慧相結合，利用該設備可以獲取佩戴者前臂的電信號，根據電信號模式，識別出他計劃做出的手勢。研究人員表示，該設備有望用於控制假肢，並且可與各種類型的電子設備進行交互。
對於該項技術，加州大學伯克利分校博士 Ali Moin 表示："假肢是該項技術的重要應用之一，它同時也提供了一種非常直觀的、可與計算機交互的方式。改善人機互動的方式有很多種，比如利用攝像頭和計算機視覺技術，而讀取手勢是一個很好的解決方案，同時，該種方式還可以保護個人隱私。"
引入機器學習模型進行本地信號處理的系統具有許多優勢，但同樣面臨著多種問題，在低功耗嵌入式處理器中，所使用的機器學模型通常需要事先進行離線訓練，如果訓練達不到預期效果，模型的分類精度就會降低，導致性能欠佳或用戶體驗不佳等問題。
為了解決當前可穿戴生物傳感設備面臨的技術壁壘，Moin 等人通過檢測人體皮膚表面肌電圖(surface electromyography，sEMG)，研發了可穿戴的高密度 sEMG 生物傳感系統。該可穿戴系統總重量為 26g，佩戴十分方便；系統所使用的電池為 3.7V、240mAh 的鋰離子電池，連續手勢識別續航時間長達 6 小時。
sEMG 可穿戴生物傳感系統。a. 位於前臂上的設備；b. 絲網印刷過程的圖解；c. 定製設計的 16*4 電極陣列；d. 小型八層 PCB 電路板；e. 構成可穿戴系統的主要組件的框架圖。
為了創建手勢識別系統，研究人員設計了一個靈活的臂帶。該臂帶可以讀取佩戴者前臂上 64 個不同點的電信號，並將電信號輸入到一個使用 AI 算法編程的電子晶片中。與其他人工智慧算法一樣，該算法首先要「學習」手臂上檢測到的電信號，並與特定的手勢相關聯。要實現這一點，每個用戶都必須戴上臂帶，同時逐一做出手勢。
研究人員表示，該生物傳感系統穿戴體驗還可以，並且可以提供快速的初始訓練，自適應性較強，這一特點對於可穿戴的人機界面應用至關重要。然而，目前該系統所檢測的生理信號並不穩定。
研究人員在該設備中使用超維計算(HDC)來實現傳感器中的自適應學習，通過本地數據實時訓練、推理和模型更新，來適應不斷變化的情境，對手勢分類進行實時推斷的實時推斷。例如，如果設備佩戴者的手臂上有汗水或手臂舉過頭頂，與特定手勢相關的電信號會發生變化，HD 算法可以將這些新信息納入其模型。
Moin表示："在手勢識別中，sEMG 信號會隨著時間的推移而改變，這可能會影響模型的性能，我們能夠通過更新設備上的模型來大大提高分類精度。"
上圖中，圖a為單自由度手勢子集包括單個手指的彎曲(flex.)和伸展(ext.)以及「休息」手勢。多自由度手勢子集包括涉及多個手指的等距手勢。圖b展示的是中指屈伸過程中所有64個通道的原始波形記錄。根據對參與者的指示，每個11秒鐘的手勢試驗均分為1.5 s休息，2 s過渡到手勢，4 s保持期，2 s過渡到休息和1.5 s休息。波形的顏色表示sEMG的局部幅度。圖e是在所有單自由度手勢的執行過程中，三種比較系統在所有通道的總信噪比分布。陰影區域是信噪比值的概率密度直方圖。直線是符合分布的高斯核。向下的三角形代表中值。
編碼的時空超向量(spatiotemporal hypervectors)既可以用作創建或更新模型的訓練示例，也可以用作使用訓練後的模型進行推理的查詢。研究人員將這些原型超向量存儲在關聯存儲器(AM)中，這是一次完全前饋操作，只需傳遞一次訓練數據即可(下圖a)。 這與其他受神經啟發的方法形成對比，在其他方法中，訓練通常採用複雜的迭代框架，並且比分類對計算的要求更高。
研究人員比較了該項技術在基準環境中實時進行傳感器內分類性能。如下圖所示。
上圖a展示了在基線上下文測試的4 s保持期內，用於實時實驗的分類混淆矩陣。白色文本值是正確預測的百分比，紅色文本值是錯誤預測的百分比。灰度彩色背景代表預測類別的比例。圖b為四種手勢試驗的實時預測輸出示例。對於每個手勢測試，最上方的圖表顯示所有通道在50毫秒段內計算出的特徵。底部圖顯示了相對於試用時間的20 Hz分類結果。紫色豎線表示在第一個過渡時期中離線計算的手勢開始，在第二個過渡時期中表示手勢偏移。預測的垂直位置表示手勢類別，並且基於相對於脫機估計的地面真相標籤的準確性，對預測進行顏色編碼。
圖c展示了在所有基線上下文測試中，手勢開始對齊(左)和偏移對齊(右)的預測統計數據。前13行中的每一行均顯示給定手勢的平均20 Hz分類結果，其中深色塊表示較高的比例。綠色方框表示正確的預測；紅色塊表示錯誤的預測。底部圖顯示了相對於開始時間和偏移時間，正確(綠色)和錯誤(紅色)分類隨時間的百分比。
上圖為傳感器內訓練，更新和分類結果。每個實驗有兩名參與者進行三次。條形表示所有六個試驗的平均準確度，每個試驗的數據點重疊。a.用新的手勢更新HD分類模型的能力。最初的模型只在單自由度手勢上進行訓練和測試(黃條)。模型隨後更新為多自由度手勢，以覆蓋所有21個手勢(綠色條)。還顯示了僅通過多自由度手勢進行訓練和測試的單獨模型的結果(藍色條)。b，使用單自由度手勢更新HD分類模型的能力。對於三種不同的上下文變化(手臂位置、新磨損和長時間磨損)，在初始上下文(步驟1)上訓練初始模型，並在初始上下文(步驟2)和新上下文(步驟3)上測試(實心條)。然後，模型在新的環境(第4步)中使用每個手勢的單一試驗來更新(第5步和第6步)，並在兩種環境(條紋條)中再次測試(第5步和第6步)。更新的模型只在新的磨損階段和長時間磨損實驗的新上下文中測試，因為舊的上下文不再可用。
通過模型訓練，該系統成功識別了 21 個單獨的手勢，包括豎起大拇指、握拳、平手、舉起單個手指和數數字。
該設備的另一個優點是，所有的數據運算都在設備中集成的晶片上進行，無需將個人數據傳送到附近的電腦或設備上，這不僅加快了計算速度，還確保了個人生物數據的私密性。
論文通訊作者之一、加州大學伯克利分校Jan Rabaey教授 表示："當亞馬遜或蘋果公司創建他們的算法時，他們會在雲端運行一堆軟體來創建模型，然後將模型下載到設備上。但是，在設備的使用過程中，往往會被所輸入的特定模型所困。而我們設計的算法在設備就能完成學習的過程，而且它的速度極快，你只需要執行一次，它就會開始做這項工作。你做的次數越多，設備的性能就會變得越好。"
參考資料：
https://www.nature.com/articles/s41928-020-00510-8
https://techxplore.com/news/2020-12-high-five-thumbs-up-device-gesture.html
學術頭條