MIT的一個研究團隊現在已經設計了一種可拉伸的,類似皮膚的裝備,該裝備可以連接到ALS患者的面部(肌萎縮性側索硬化症(ALS)的人控制肌肉的能力逐漸下降,他們經常失去說話的能力),並且可以測量抽搐或微笑等之類的小動作。使用這種方法,患者可以通過設備測量和解釋的小動作傳達各種情緒,例如「我愛你」或「我餓了」。
研究人員設計了一種類似於皮膚的設備,可以測量失去說話能力的患者的面部小動作,他們希望新設備能夠使患者以更自然的方式進行交流,而不必依靠笨重的設備。可穿戴式傳感器很薄,可以偽裝成化妝品以匹配任何膚色,因此不顯眼。
該研究團隊的負責人(MIT-LG電子職業發展媒體藝術與科學方向助理教授)Canan Dagdeviren表示:「該設備不僅具有延展性,柔軟性,輕便性和一次可拋性,更重要的是具有良好的視覺偽裝,讓人覺得皮膚上沒有東西。」並且傳感器設備中的所有組件都易於批量生產,因此研究人員估計每個設備的成本約為10美元
研究人員在兩名ALS患者(一名女性和一名男性,以確保性別平衡)中測試了該設備的初始版本,並表明該設備可以準確地區分三種不同的面部表情:微笑,張嘴和抿嘴。
麻省理工學院的研究生法裡塔·塔斯尼姆(Farita Tasnim)和該所科學家孫濤是該研究課題的主要作者,該研究發表在《自然生物醫學工程》上。MIT本科生Rachel McIntosh,博士後Dana Solav,科學家張林和實驗室高級經理David Sadat。文章作者還包括新加坡A * STAR微電子研究所的顧媛媛,Nikta Amiri,Mostafa Tavakkoli Anbarani和布法羅大學的M. AminKarami。
皮膚般的傳感器設計:
Dagdeviren的實驗室的「適形解碼」研究小組,專門從事開發可粘附於身體的適形(柔性和可拉伸)電子設備,用於各種醫療應用。在2016年與史蒂芬·霍金(StephenHawking)會面後,她對研究如何幫助神經肌肉疾病患者進行交流產生了興趣,當時世界著名物理學家拜訪了哈佛大學,而達格德維倫(Dagdeviren)是哈佛研究員協會的初級研究員。
霍金於2018年去世,患有一種進展緩慢的ALS。他能夠使用紅外線傳感器進行通訊,該傳感器可以檢測到臉頰的抽搐,從而使光標在字母的行和列之間移動。雖然有效,但此過程可能很耗時且需要龐大的設備。
其他ALS患者使用類似的設備來測量控制面部肌肉的神經的電活動。但是,這種方法也需要笨重的設備,並且並不總是準確的。
他們創建的設備由嵌入在矽樹脂薄膜中的四個壓電傳感器組成。傳感器由氮化鋁製成,可以檢測皮膚的機械變形並將其轉換為易於測量的電壓。所有這些組件都易於批量生產,因此研究人員估計每臺設備的成本約為10美元。
研究人員對健康志願者使用了一種稱為數字成像相關性的過程,以幫助他們選擇最有用的位置來放置傳感器。他們在臉上隨機畫出黑白斑點圖案,然後在對象進行面部動作(例如笑臉,抽動臉頰或吐出某些字母的形狀)時,使用多個攝像頭在該區域拍攝了許多圖像。圖像由軟體處理,該軟體分析小點如何相對於彼此移動,以確定單個區域中經受的應變量。
McIntosh說:「我們讓受試者進行不同的動作,並創建了臉部各個部位的應變圖。」 「然後,我們查看了應變圖,確定了在臉上的哪個位置看到了該設備的正確應變水平,並確定了該設備是我們進行試驗的合適位置。」
研究人員還使用皮膚變形的測量結果來訓練機器學習算法,以區分微笑,張嘴和抿嘴。他們使用此算法對兩名ALS患者進行了設備測試,並能夠在區分這些不同動作方面獲得大約75%的準確性。健康受試者的準確率是87%。
連續監測面部運動在神經肌肉疾病患者的非語言交流中起著關鍵作用。目前,主流方法是攝像頭跟蹤,這對連續,可攜式的使用提出了挑戰,MIT團研發的這種可穿戴的輕薄型壓電傳感器,能夠可靠地解碼面部變化並預測面部運動學,提升了識別的準確率。
「人工智慧+可穿戴」增強溝通
基於這些可檢測到的面部動作,可以創建一個短語或單詞庫來對應不同的動作組合。也可以根據每個人的動作創建定製化的消息,決定因素是整個詞庫配置,可以針對特定患者或一組患者設計該庫。」
來自傳感器的信息被發送到手持式處理單元,手持式處理單元使用研究人員訓練以區分面部動作的算法對其進行分析。研究人員說,在當前的原型機中,該裝置已連接至傳感器,但也可以通過無線方式實現連接。
目前該技術已經申請了這項技術的專利,他們現在計劃對其他患者進行測試。除了幫助患者交流之外,該設備還可以用於追蹤患者疾病的進展,或衡量他們所接受的治療是否有效。有許多臨床試驗正在測試某種特定療法對逆轉ALS是否有效。」該設備不僅可以依靠患者報告自己感覺好些,還是感覺自己更強壯,而可以提供定量的方法來追蹤療效。」