點擊上面"腦機接口社區"關注我們
導讀
使用從EEG解碼的信息來實現對人工或虛擬手臂的在線控制通常是通過對不同的激活狀態進行分類或與對象的不同顯性動作相關的感覺運動活動的自願調節來實現的。然而，一些研究報導了使用更自然的控制方案，例如解碼想像的3D手臂運動的軌跡來移動假肢，機器人或虛擬手臂，所有方法都使用離線前饋控制方案。在該項研究中，研究人員首次嘗試實現在線控制兩個虛擬手臂，從而在3D空間中朝三個目標/手臂移動。使用多重線性回歸，從mu,low beta, high beta, 和lowgamma EEG振蕩的功率譜密度解碼出想像的手臂運動的3D軌跡。研究人員在數據集上進行了實驗分析，該數據集記錄了三個受試者在七個會話，其中每個會話包括三個實驗塊:一個離線校準塊和兩個在線反饋塊。利用虛擬武器的預測軌跡計算目標分類精度，並將其與基於濾波器組公共空間模式（FBCSP）的多類分類方法的結果進行了比較，該方法包括互信息選擇(MI)和線性判別分析(LDA)模塊。
方法
受試者
三位慣用右手(右撇子)的志願者者(男性，平均年齡37歲) 參與了這項在英國阿爾斯特大學( Ulster University)智能系統研究中心(Intelligent Systems Research Centre, ISRC)的BCI實驗室進行的實驗。所有受試者均健康，無任何醫學或心理疾病和/或藥物報告，視力正常或矯正正常。
實驗範式
實驗包括七個時段/會話(session)，包括腦電圖準備時間在內，每個時段約為2小時。在每次時段中，受試者都坐在一張扶手椅上，椅子距離液晶顯示器1.5米。使用Unity 3D遊戲引擎控制的兩個虛擬手臂，在屏幕上顯示目標動作和解碼動作。從相應原始位置的視角在三個正交方向上選擇每隻手的三個目標的位置，即從左或右原始位置在水平（x），垂直（y）和深度（z）方向上位置。這種實驗設置可以實現標準化的軌跡，即虛擬手的原始位置與每個相應目標之間的正交距離相同(如下圖)。在實驗開始之前，要求受試者向前看並，保持頭部位置不變，避免磨牙，任務執行過程中儘量減少不必要的動作。還要求他們在想像的動作周期中避免眨眼。
七個會話中的每一個都包括三個部分：沒有反饋的離線部分，提供輔助反饋的在線部分）和具有直接反饋的在線部分。離線和在線範例的詳細信息如下所述。
虛擬手臂布局
上圖為虛擬arm布局。在三維空間中控制虛擬手臂的實驗裝置。帶LH和RH標籤的綠圈分別表示左右home位置。標記為LX、LY、LZ和RX、RY、RZ的藍色圓分別表示左手(L)和右手(H)在水平平面(X)、垂直平面(Y)和深度平面(Z)上的目標位置。虛擬手臂的運動被限制在立方體網格所表示的區域內。屏幕左側和右側網格上方的數字表示虛擬手臂的笛卡爾坐標。本研究未使用笛卡爾坐標上方的滑塊和屏幕上方的時間指示條。
離線模式
離線模式(如下圖) 包含6次運行，每次運行由6個塊組成，其中每個塊包含兩個子塊，每個子塊由四個epoch組成:
Home-to-target:home位置和目標位置之間的移動周期與4 s聽覺提示(6 kHz音調)同步;
Pause-at-target:在目標位置停頓2秒，沒有聽覺提示;
Target-to-home:目標位置到home位置之間的運動周期與4秒的聽覺提示(4 kHz音調)同步;
Pause-at-target:在原位暫停2秒，沒有聽覺提示。
在每次運行開始前十秒鐘，播放了一條語音消息以告知受試者即將進行的運行。在每個塊開始的前四秒，一條語音消息告知受試者有關左手的實際任務：「左手向右移動」或「左手向頂部移動」或「左手向前移動」。
離線模式
上圖為離線模式。
(A)在home位置和三個相應目標位置之一之間的子塊1和2中的假想運動周期的時間。在兩個子塊中，受試者執行相同的運動想像運動周期，包括從home到到目標(4秒)、在目標處暫停(2秒)、目標到home(4秒)和在home處暫停(2秒)。然而，所需運動的視覺表示只顯示在子塊1中。
(B)一個塊包括一個塊初始化周期和兩個子塊。
(C)運行包括運行初始化周期和六個塊，這些塊以隨機順序對應於六個目標(六個目標每臂包含三個目標)。
對於第一個子塊，當所需的運動顯示在屏幕上時，虛擬手臂前進方向的速度從0開始，在原點和目標位置之間的一半處達到最大值，並保持恆定，直到虛擬手臂到達目標位置。在目標位置上的停頓時間之後，虛擬手臂向後的速度從0開始，在目標與原始位置之間的中間位置達到最大值，並保持恆定，直到虛擬手臂到達原始位置為止。虛擬手臂在所有可能的運動期間的速度軌跡如下圖所示。
離線部分的速度軌跡
上圖為實驗離線部分的速度軌跡。該圖表示在第一個子塊(不顯示暫停時間)期間左手(A)和右手(B)的虛擬手運動的速度。標籤「 H」表示左手(A)或右手(B)在原始位置。標籤LX，LY，LZ和RX，RY，RZ分別表示左手(A)或右手(B)的X，Y和Z位置。
在線模式
使用輔助和直接反饋的在線實驗範例(下圖)遵循相同的結構，包括六次運行，每一次運行由六個模塊組成。
每次運行開始前十秒都會播放一個聲音。在每個塊開始前四秒鐘，一條聲音消息告知受試者有關左手的實際任務：「左手向右移動」或「左手向頂部移動」或「左手向前移動」。對於每個模塊，相應的虛擬手臂從home位置控制到目標位置(向前移動)，然後回到home位置(向後移動)。前進的動作與7 s的聽覺提示(6 kHz音調)同步，如果虛擬手到達的位置距離目標位置比實際目標位置距離的20%更近，那麼這個聲音就會提前減弱。在運動結束時，虛擬手臂在當前位置停留一段時間(2秒)，之後虛擬手重新定位到目標位置停留4秒。接下來，當虛擬手到達距離目標位置比實際目標位置距離的20%更近的位置時，這個動作會與一個7 s的聽覺提示(4 kHz音調)同步。在運動結束時，虛擬手臂被保持在當前位置一段短暫的延遲(2秒)，之後虛擬手被重新定位到原位置，並暫停4秒。因此，每個移動塊的最大持續時間為30 s(下圖B)，包括塊初始化語音消息(4 s)和最大持續時間為26 s的移動周期(下圖A)。在每次運行中，想像的朝著不同目標的動作順序是隨機的，並分布在6個區域內。每次運行的最大持續時間為190秒(下圖C)，隨後的運行間隔了一個持續40秒的間隔運行休息時間。因此，包括6次在線運行的在線控制的最大持續時間為23分鐘。
在線模式
數據處理與分析
使用FBCSP進行多分類
下圖說明了基於FBCSP的多類分類方法的結構，該方法使用了基於互信息選擇模塊和基於線性判別分析的分類器。
基於Filter-bank common spatial patterns (FBCSP)的多類分類方法
下圖為本研究使用的方法的概述。
下圖為離線和在線部分實驗中預測軌跡的時變解碼精度(DA)。隨時間變化的數據分析圖顯示了在從原始位置到目標位置的運動周期中，「成功」和「不成功」目標分類的比率隨時間變化的情況。如方法部分所述，根據虛擬手的預測坐標計算DA值。
上圖中，其中(A)沒有反饋的離線DA。(B)具有輔助反饋的在線DA。(C)具有直接反饋的在線DA。(D)使用輔助反饋與直接反饋比較在線DA。(A–D)表示隨時間變化的DA的平均值(彩色線)和標準偏差(彩色陰影區域)，(A–C)表示置換測試的結果(平均值：黑色虛線，標準偏差：灰色陰影區域)。任務期間獲得的DA峰用垂直實線表示在(A–D)中。可能性水平(3級分類為33.3％)由黑色虛線表示。
上圖為FBCSP:左手、右手想像運動隨時間變化的DA。(A)單session分析的結果。(B - D)來自多session分析的結果，其中(B)來自子塊1的試驗(視覺和聽覺線索)，(C)來自子塊2的試驗(沒有顯示運動的聽覺線索)，(D)來自兩個子塊的試驗合併在一起。水平虛線表示機會水平(2類分類為50%)。
下圖為使用多會話數據集進行頻率分析和地形圖的結果。
(A-C)表明在當時分類準確度最高的情況下，哪些頻段和皮質區域為分離用左手和右手進行的想像的運動提供了最大的貢獻。(D-F)表明在分類準確率最高的情況下，哪個頻帶和皮層區域在區分亞區1和亞區2中所執行的想像運動方面貢獻最大。使用訓練好的2類分類器的MI權值計算特定於受試者的頻段貢獻圖(A,D)，並將其應用於多類分類器模塊。使用MI加權CSP濾波器的平均值計算多受試者的地形圖(B,C,E,F)，這些濾波器來自於應用於多類分類器模塊的對象專門訓練的2類分類器。為了計算多受試者地形圖的平均模式，以相應對象的峰值精度選擇特定於對象的MI加權CSP濾波器。
研究人員表示，該項初步研究的結果為針對身體殘障人士的BCI範式的研究和開發展現了非常有益的一面，這些BCI可以在真實和虛擬空間中執行運動獨立的通信和在線控制。研究人員也表示，該項研究還是處於初步研究狀態，需要對範式進行一系列調整，以供將來研究之用。
參考：
Decoding Imagined 3D Arm Movement Trajectories From EEG to ControlTwo Virtual Arms—A Pilot Study
文章來源於網絡，僅用於學術分享，不用於商業行為，若有侵權及疑問，請後臺留言！
如需轉載請掃下面微信二維碼碼，備註"轉載"
腦機接口BCI學習交流QQ群：903290195
微信群請掃碼添加，Rose拉你進群
(請務必填寫備註，eg. 姓名+單位+專業/領域/行業)
長按加群