在線教學,是資訊時代的產物,其與面對面教學相比,具有突破時空限制、支持大規模參與[1]、提供多種交互方式、滿足學習者的個性化學習需求、教學資源豐富且可共享等優勢[2]。在線開放課程平臺是在線課程進行在線教學的技術承載媒介和實施在線課程在線教學的支撐系統,是開展在線教育活動的基礎條件[3],其平臺功能的差異將直接影響在線教學的教學質量和效能。
2013年以來,愛課程、學堂在線等一批在線開放課程平臺的陸續建成和投入運行,有效推動了我國在線教育的發展。從各平臺的功能角度分析,有共性功能,也有個性化功能。共性功能包括:①課程信息與內容管理,②視頻播放,③題庫(或教師手動輸入)測試,④主觀題作業,⑤師生交互,⑥教學數據統計,⑦學習進度管理等。個性化功能包括:①學堂在線的「雨課堂」等智慧工具,②全國地方高校優課聯盟推出了課堂筆記、直播交互與人臉識別功能,③超星爾雅闖關模式等[4]。目前,在線開放課程平臺的功能已經日趨完善,尤其是通過「雨課堂」「人臉識別」等智能教學工具的應用,賦予了在線開放課程平臺「智能」化特徵。不過從已建成並投入運行在線開放課程平臺來看,各平臺都僅限於呈現基於「二維」屏幕的在線學習環境以及人機互動,很大程度上限制了在線開放課程平臺的教學效能。
(一)混合現實技術
混合現實(MixedReality,MR)有時被稱為Hybrid Reality,是虛擬實境技術的進一步發展,也是增強現實技術的進一步延伸[5],該技術可以將數字世界與物理環境融合在一起,使其在視覺和聽覺上都像是你所在世界的一部分,即使你身處全息影像之中,也始終可以看到周圍環境,自由移動,並可與人和物交互[6]。混合現實技術是一種虛擬世界融合現實世界的技術,虛擬實境代表了計算機營造的世界,使人類的知覺感知延展到計算機中,而混合現實技術則是在保持對現實世界正常感知的基礎之上,通過建立虛擬世界與現實世界之間的聯繫,再將人類感官延伸到虛擬世界[7]。
(二)混合現實系統的基本構成
混合現實系統是虛擬實境系統的進一步發展和增強現實系統的進一步延伸,因此混合現實系統的硬體組成和系統構成與虛擬實境及增強現實系統有一定的繼承性和關聯性。一個典型的混合現實系統主要由虛擬場景生成器、頭盔顯示器、實現學習者觀察視線跟蹤的頭部姿態跟蹤器、虛擬場景與真實場景對準的定位設備和交互設備構成,如圖1所示。[8]
(一)基於混合現實系統的在線開放課程平臺的基本構成
基於混合現實系統的在線開放課程平臺主要由PC、在線課程教育網站、混合現實教育應用、5G網絡和混合現實全息設備構成,PC與在線課程教育網站通過網絡連接,混合現實教育應用通過PC上傳並發布至在線課程教育網站,在線課程教育網站與混合現實全息設備通過5G網絡連接,如圖2所示。
(1)PC:即個人計算機,用於教學應用的開發、上傳、發布以及相關教學信息的管理等。
(2)在線課程教育網站:在線課程教育網站作為在線課程的門戶窗口,用於教師進行在線課程管理、發布和用於學習者進行在線課程的瀏覽、登入、檢索、獲取、下載、安裝等。在線課程教育網站包括Web層、業務邏輯層、Model數據層(雲資料庫)。
(3)混合現實教育應用:即混合現實教育應用程式,用於對虛擬教學環境(內容)的存儲和對虛擬教學環境(內容)的呈現。
(4)5G網絡:即第五代移動通信網絡,具有高速率、低時延、泛在網、萬物互聯等特徵。5G網絡可以滿足學習者通過混合現實全息設備進行在線學習,包括進行應用的下載、人機互動、相關影像及數據的傳輸等。
(5)混合現實全息設備:混合現實全息設備是基於混合現實系統的在線開放課程平臺的重要教學工具,用於呈現在線課程的教學環境(教學內容)和完成在線教學的教學過程。混合現實全息設備的代表設備如Hololens,可以將數字影像放置在真實環境中,達到以假亂真的效果[9]。Hololens是一種能夠超越屏幕限制,
具有無線網絡功能的全息計算機設備,不僅可以在移動中為學習者呈現混合現實全息影像和空間音效,還能實現學習者與虛擬的數字「三維」對象的交互,與周圍真實環境交互。[10]
(二)基於混合現實系統的在線開放課程平臺的使用方法
基於混合現實系統的在線開放課程平臺的應用主要由12個環節組成,混合現實全息設備擬使用Hololens。如圖3所示:
(1)前期準備:教師根據課程的教學大綱、教學目標等制訂教學計劃,設計教學內容,收集相關教學資源,為開發製作混合現實教育應用做好準備。
(2)應用開發:教師開發製作混合現實教育應用,主要步驟如下。①開發環境搭建:正確配置開發環境並安裝Windows SDK等組建。②資源導入:創建一個Unity項目並導入教學資源和項目開發所需相關素材等。③場景搭建:構建混合現實教學場景。④程序開發:包括開發凝視提示、語音提示、雙手全關節手勢提示以及設置響應事件等程序。⑤編譯發布:編譯成可以在在線課程教育網站中發布以及在混合現實全息頭戴顯示器中使用的應用,以方便學習者瀏覽、下載、部署和應用。[11]
(3)創建管理帳戶:教師根據在線課程教育網站的相關要求和規程註冊創建管理帳戶。
(4)應用上傳:教師通過管理帳戶登入在線課程教育網站後臺管理系統,將混合現實教育應用上傳至在線課程教育網站的後臺資料庫。
(5)應用發布:教師打開應用發布窗口,選擇發布區域,編輯課程發布的相關信息,從資料庫中選擇要發布的混合現實教育應用並發布至在線課程教育網站。
(6)創建學習帳戶:學習者根據在線課程教育網站的相關要求和規程註冊創建學習帳戶。
(7)混合現實全息設備連網:學習者打開並帶上混合現實全息設備,開啟無線網絡功能,連接5G網絡,將混合現實全息設備連接至網際網路。
(8)課程檢索:學習者通過在線課程教育網站學習帳戶登入在線課程教育網站,對相關課程進行檢索、瀏覽並選擇需要進行學習的在線課程。
(9)課程安裝:學習者在在線課程網頁上點擊「獲取」,點擊後混合現實教育應用自動下載並安裝至混合現實全息設備。
(10)課程啟動:安裝完成後,混合現實教育應用已固定到混合現實全息設備的應用程式列表中,學習者選擇並啟動混合現實教育應用。
(11)課程學習:學習者進入基於混合現實的在線學習環境,進行基於混合現實的全息式在線課程學習。
(12)關閉應用:學習結束後,學習者退出混合現實應用程式,完成在線學習。
(三)基於混合現實系統的在線開放課程平臺的優勢功能分析
基於混合現實系統的在線開放課程平臺與傳統的在線開放課程平臺相比,其優勢功能主要體現在呈現環境、在線交互、應用範圍和環境音效四個方面,如表1所示:
1.學習環境:「虛實」融合的全息學習環境
基於混合現實系統的在線開放課程平臺可以呈現一個「在數位化的三維現實中融入虛擬的數字三維對象(學習內容)」的全息學習環境,在該學習環境中學習者不僅可以沉浸於虛擬三維對象(學習內容),同時還能感覺到周圍的真實環境。與基於「二維」屏幕的學習環境相比,「虛實」融合的全息學習環境呈現的學習內容更加直觀、立體、形象,有助於學習者對於在線教學內容的感知、體驗和理解等。
2.在線交互:維度與方式
(1)交互維度。基於混合現實系統的在線開放課程平臺的學習環境可以在虛擬世界、現實世界和學習者之間搭起一個交互反饋的信息迴路,學習者不僅可以與虛擬的數字三維對象(學習內容)進行交互,而且還能與四周的真實環境進行交互,增強學習過程中的真實感。與基於「二維」屏幕的交互相比,「虛實」融合的三維立體交互拓寬了學習者的交互維度,增加了交互的內容和範圍,有助於學習者拓寬認知範圍,啟發學習思維。
(2)交互方式。基於混合現實系統的在線開放課程平臺的混合現實全息設備可以對學習者的語音、眼動、手勢進行感知和理解,學習者可以通過語音、眼動、手勢與全息學習環境交互[12]。與「滑鼠、鍵盤或(與)觸屏」的交互方式相比,語音、眼動、手勢的交互方式更加真實、自然、靈便、有趣,有助於學習者激發學習積極性。
3.應用範圍:脫離「二維」屏幕的移動應用
基於混合現實系統的在線開放課程平臺的混合現實全息設備是一種可以進行移動應用的全息計算機設備,學習者可以脫離「二維」屏幕的束縛進行移動應用[13]。與依附「二維」屏幕應用相比,脫離「二維」屏幕應用的範圍更加廣闊,可以讓在線學習變得更靈活自由,有助於學習者增強在在線學習中的主動性和探索性。
4.環境音效:空間音響
基於混合現實系統的在線開放課程平臺的音頻模塊由「5聲道」麥克風陣列和「空間音響」揚聲器組成,不僅可以拾取學習者的語音信息,還可以為學習者播放接近「真實空間」的音效[14]。與2.0立體聲環境音效相比,空間音響呈現的環境音效更加立體、逼真,有助於學習者更好地沉浸至全息學習環境中並獲得更加真實的學習體驗和感受。
《箱型木琴》在線教學擬使用基於Windows10系統的Hololens,主要操作步驟與應用方法如下:①帶上Hololens,將頭盔調整至舒適狀態;②打開Hololens電源,啟動Hololens;③通過「開始手勢」打開開始菜單,找到已安裝的《箱型木琴》混合現實應用;④通過「觸摸光標」開啟《箱型木琴》混合現實教育應用,Hololens開始呈現《箱型木琴》的混合現實在線學習環境;⑤學習者通過雙手、觸摸光標、手控光線和抓取手勢等命令移動、旋轉、放大、縮小混合現實在線學習環境中的3D教學對象(內容)[15],實現學習者對於教學內容的全景感知和深度體驗,從而促進學習者對於教學內容的理解和掌握;⑥學習完成退出程序,關閉Hololens。
《箱型木琴》混合現實教育應用由五個教學場景組成,依次是:①箱型木琴簡介,②箱型木琴的構成及三維外觀,③箱型木琴的音名識別及音響視聽,④箱型木琴的內部三維構造,⑤識譜視奏。具體教學場景如下。
(一)場景①:箱型木琴簡介
混合現實教育應用啟動後,系統隨即呈現高、中、低音箱型木琴全息影像以及箱型木琴的簡介信息:「箱型木琴屬於……」學習者通過「隔空敲擊」手勢點擊高、中、低音箱型木琴,系統隨即呈現相應箱型木琴的音域信息:「高音箱型木琴……」如圖4所示。
(二)場景②:箱型木琴的構成及三維外觀——以中音箱型木琴為例
學習者通過「隔空敲擊」手勢將場景切換至場景②。場景②開啟後系統隨即呈現中音箱型木琴的琴身、音條和琴槌的全息影像。學習者通過「觸摸光標」手勢觸撥中音箱型木琴的琴身、音條和琴槌,系統隨即呈現中音箱型木琴的琴身、音條和琴槌的名稱信息。學習者通過「觸摸光標」手勢觸撥琴身的長、寬、高,系統隨即呈現中音箱型木琴的長、寬、高信息。學習者通過「雙手」手勢對中音箱型木琴進行放大、旋轉、升降等觸撥操作,全面了解箱型木琴的三維外觀。如圖5所示。
(三)場景③:箱型木琴的音名識別及音響視聽——以中音箱型木琴為例
學習者通過「隔空敲擊」手勢將場景切換至場景③。場景③開啟後系統隨即呈現中音箱型木琴以及備用音條的全息影像。學習者通過「觸摸光標」手勢觸撥中音箱型木琴上的音條及空中的備用音條,相應音條隨即呈現各自的音名。音名以動畫的形式呈現,由小變大並以光亮的特效呈現,音名呈現的同時系統播放相應音名的音響。如圖6所示。
(四)場景④:箱型木琴的內部三維構造——以中音箱型木琴為例
學習者通過「隔空敲擊」手勢將場景切換至場景④。場景④開啟後系統隨即呈現中音箱型木琴的內部三維構造全息影像。學習者通過「觸摸光標」手勢觸撥琴身(內壁)的長、寬、深,系統隨即呈現中音箱型木琴的長、寬、深信息。學習者通過「雙手」手勢對琴身進行放大、旋轉、升降等觸撥操作,全面了解中音箱型木琴的內部構造。在學習者進行觸發操作的同時,眼前呈現出結論信息:「共鳴箱體及音條越小……」如圖7所示。
(五)場景⑤:識譜視奏
學習者通過「隔空敲擊」手勢將場景切換至場景⑤。場景⑤開啟後系統隨即呈現中音箱型木琴全息影像。學習者通過「觸摸光標」手勢觸撥中音箱型木琴的琴槌,系統隨即呈現樂曲譜例。學習者通過「隔空敲擊」手勢點擊「喇叭」,範奏系統隨即播放樂曲音響,與此同時譜例上音符和琴身上的音條與音響同步點亮,以提示學習者進行視奏。學習者可以進行重複練習,直至掌握演奏要領後再關閉範奏系統並進行自由視奏。如圖8所示。
基於混合現實系統的在線開放課程平臺有助於學習者對於在線教學內容的感知、體驗和理解,拓寬其認知範圍、啟發學習思維,激發其學習積極性,增強其在在線學習中的主動性和探索性,使其更好地沉浸在學習環境中並獲得更加美好的學習感受。與僅限於呈現基於「二維」屏幕的在線學習環境以及人機互動的傳統在線開放課程平臺相比,基於混合現實系統的在線開放課程平臺呈現的學習環境更加直觀、立體、形象,其交互方式也更加真實、自然、靈便、有趣;不僅可以彌補傳統在線開放課程平臺教學功能的欠缺和不足,同時可以滿足更多學習者的多元化、個性化的在線學習需求。
當然對於現階段而言,基於混合現實系統的在線開放課程平臺的廣泛普及和應用還有待時日。如混合現實全息設備的移動範圍過小、視野過窄[16]降低了學習者的學習體驗,如混合現實環境製作投入成本高,可用的現成資源有限等問題[17]抑制了基於混合現實系統的在線開放課程平臺的規模化建設。但我們相信,隨著混合現實相關設備的量產和規模化開發團隊的形成,隨著混合現實全息設備的功能及技術的優化和革新,在線教育平臺的混合現實時代終將來臨。
參考文獻:
[1]餘勝泉.網際網路+教育未來學校[M].北京:電子工業出版社,2019:133.
[2]張立國,王國華.在線教育的理論與實踐[M].北京:科學出版社,2019:2-4.
[3]趙洪利.在線教育理論與實踐[M].北京:北京理工大學出版社,2018.
[4]教育部在線教育研究中心,全國高等學校教學研究中心,北京大學慕課工作組.中國在線開放課程發展報告(2017)[M].高等教育出版社,2019:9-10,19-20.
[5]葉哲偉.醫學混合現實[M].武漢:湖北科學技術出版社,2018.
[6][10][12][14][15]Microsoft.開始使用Hololens [EB/OL].(2019-09-17)[2020-7-28].https://docs.microsoft.com/zh-cn/hololens/hololens2-basic-usage.
[7][16]陳寶權,秦學英.混合現實中的虛實融合與人機智能交融[J].中國科學:信息科學,2016(12):1738.
[8]湯卓慧,朱培毅.虛擬實境、增強現實和混合現實及其在軌道交通行業中的應用[J].鐵路通信信號工程技術,2016(5):82.
[9]閆興亞,張克發.Hololens與混合現實開發[M].北京:機械工業出版社,2019:3.
[11]劉向群,郭雪峰,鍾威,等.VR/AR/MR開發實戰:基於Unity與UE4引擎[M].北京:機械工業出版社,2017:650-656.
[13]顏映華.Hololens2體驗手記:真的屬於「2.0」進步嗎[EB/OL].(2019-02-27)[2020-07-28].https://yivian.com/news/57297.html.
[17]範文翔,趙瑞斌.數字學習環境新進展:混合現實學習環境的興起與應用[J].電化教育研究,2019(10):41.
作者簡介: