一、問題的提出
教育信息化作為推進國家發展創新的重要動力源,在全球範圍內受到廣泛重視,各國在教育信息化的建設發展上投入巨大。《教育信息化十年發展規劃(2011-2020年)》中明確提出,各級政府在教育經費中按不低於8%的比例列支教育信息化經費[1]。2007年至2013年間,歐盟FP7投資了91億歐元以促進ICT的發展[2];美國NSF每年也將會有大量的經費用於工程教育研究撥款[3]。教育信息化正在全球如火如荼地開展。
各國教育信息化的探索大都以「試點」為主要表現形式。同樣,「試點先行、有序推動、科學管理」[4]是我國推進信息化發展的重要策略。教育信息化項目作為「試點」的載體,在信息化探索道路中承擔著重要的角色。然而,較於金融、科技等領域的項目推進成效,我國教育信息化項目的成果卻遠未達到預期目標。究其原因,項目風險作為導致成本超支、進度超期、開發質量低下的一個重要因素[5]應首當其衝。風險管理作為教育信息化的新課題[6],是推進信息化發展的有力保障。
風險的發生往往給教育信息化項目帶來巨大的損失,風險的管控就顯得尤為重要,在教育信息化項目執行的各個階段對風險的識別是非常重要的環節。目前,國內外針對教育信息化項目風險指標的研究還很少,本研究將基於國內教育信息化項目研究的現狀,通過文獻調研、案例訪談、專家論證等方式確定形成教育信息化項目風險評估指標體系,並結合層次分析法設計問卷,最終依據回收的數據計算各項風險指標的權重,為項目的實施提供參考依據。
二、研究現狀
國外對項目風險管理評估指標的研究大都以理論為主,以文獻調研、數據模擬、環境分析法、訪談或問卷調查等方式來對項目風險做出分析。Davide Aloini等人對1999年到2007年間的130餘篇文獻進行審查,並最終得出19個ERP項目管理中的風險因素[7];Baccarini通過訪談法,對信息技術項目中可能存在的風險做出總結並提出相應的風險管理方案[8];ESP在用戶指南中將教育信息化因素分為專家、項目主體人員所帶來的風險以及項目在實施過程中的風險[9];Johnson P. Thomas等主要從安全性的角度基於約束性元胞自動機模型針對某個具體的信息技術項目展開了分析[10]。
在國內,對教育信息化項目風險評估指標的研究大都還停留在案例研究的層面,其研究大多以單個或幾個信息化項目為研究數據來源。如唐若根據流程圖法和環境分析法識別出納維教育集團國際高中籌建項目3個開展階段的18種風險,構建了國際高中籌建項目風險的指標體系[11];唐仕喜等人著眼於多媒體教學課件開發的各個階段來辨識風險,並提出了相應的管控措施[12];熊進運用質性分析、文獻分析等方法,對高等教育治理的「項目制」及其可能存在的風險做出了探索並嘗試給出了解決對策[13]。牛颯、韋建冬、韓裕等人在不同類別的教育信息化項目中做了相應的實踐探索。除了對項目風險的具體案例研究,也有一部分學者對教育信息化項目的風險評估指標做出了研究。其中,張中元、張喜瑞、龐華等人對信息化項目中可能存在的風險進行了歸納整合,並提出了相應的項目風險評估指標,具體如表1所示。
整體來看,國內外針對教育信息化項目的風險管理或評估的研究還比較少,也並沒有一個系統、全面的教育信息化項目風險評估指標體系可供參考,大部分學者都是選擇借鑑IT、金融行業、企業管理中的一些項目管理實踐經驗或研究成果。而教育信息化的推進實屬大勢所趨,只有全面了解各類風險存在的可能性,才能有效地規避風險,創造更大的效益。
三、風險評估指標體系的構建
本研究通過文獻調研的方式,對多篇國內外相關文獻進行研究整合,初步列出風險識別清單;而後再將識別清單運用於10個具體教育信息化項目中進行案例調研,以此對風險指標進行調整完善。最後,以專家論證的方式對指標進行修訂並最終確定教育信息化項目風險評估指標體系。
(一)文獻調研,初步建立風險識別清單
在對風險評估相關文獻調研的基礎上,秉持全面、系統、可操作性原則,初步識別了教育信息化項目實施過程中可能存在的所有風險清單。最終,結合教育信息化項目的實際特點,對這些可能存在的風險因子從主體風險、客體風險、環境風險、技術風險四方面進行分類,來初步構建教育信息化項目風險評估指標體系。
1.主體風險
項目實施方的人員結構、管理層的宏觀調控與支持度是決定教育信息化宏觀統籌方面的關鍵因素。如政府投資工程具有工程項目大、專業性強等特點,尤其需要對過程進行質量監控。然而,如果管理層本身缺乏專業管理經驗、對項目不熟悉,對項目成本、進度難以科學地控制,就會很容易導致拖延項目完成時間[21];用戶的參與意識以及是否能準確描述需求對項目的深入落實、反饋評價上也有著重要的作用;此外,大部分教育信息化項目技術層面的內容會交給供應商來執行,因此富有經驗、精於管理的供應商也是項目成功的一大保證。
2.客體風險
基礎設施、軟體系統與信息資源是風險體系中客體風險的主要內容。具備實施項目所需的信息化軟硬體環境,是開展項目的基礎保障。此外,在資訊時代,網絡成了我們信息資源的主要來源。信息資源具有數量大、內容豐富但卻變化頻繁、結構複雜、價值不一等特點[22],因此資源的有效性、豐富性、實用性等方面也十分重要。
3.技術風險
技術的應用與創新是保障信息化發展的重要一環,如技術成本、成熟度、安全性等。其中,技術成本指項目擬採用的技術所投入的資金是否和項目的收益成正比;技術成熟度則指選擇使用的技術是否較為複雜或者是之前未使用的新技術。從實踐來看,很少有教育信息化項目注重網絡安全隱患,而這類隱患一旦觸發就不可收拾。由此在教育信息化推進過程中,技術風險是不可或缺的一個重要指標。
4.政策法規
教育信息化項目具有項目經費投入多且周期長、項目重社會效益且關聯性強、項目受政策影響大且需求變化多等特點[23],有很大一部分教育信息化項目是由政府投資,宏觀政策管控下實施的。這就使得這類項目受政策制度的影響較大,政策方向一旦調整,就可能導致整個項目的下馬。
(二)具體案例調研,進行驗證
為了進一步確定初步識別的風險指標的有效性,項目組聯繫10位具有豐富教育信息化項目執行經驗的專家,進行了具體教育信息化項目負責人的深度訪談。其中,政府教育信息化管理人員有3位,企業高管有5位,以及來自不同學校的大學教授2位。訪談的主要內容從項目基本概況、項目評價、項目所存在的風險、解決方案以及最終的項目成果這幾個方面展開,平均訪談時長為45分鐘,而後由專人進行轉錄。在訪談結束後,會請各位接受訪談的專家針對該項目填寫風險問卷表。通過對訪談結果轉錄和風險問卷表的分析,筆者統計了在各個訪談案例中項目負責人對風險的描述頻次,並將其對應的比例與預設的風險具體指標相比對,發現其一致性較高,每個具體的風險在這10個項目當中都至少出現了3次,並且90%以上的風險都出現了5次及5次以上,進一步佐證了初步識別的風險指標的科學性與全面性。
(三)專家論證,確定指標體系
在形成風險因素清單並對各因素進行歸納整合後,指標以專家論證的方式針對指標中一些要素進行進一步的修訂,主要如根據項目主體同一性將「人力資源」與「組織結構」合併;將「上層領導支持」和「社會影響」這兩個反映外在風險的因素合併等。最後,專家指出,每個具體項目在開展的過程中,風險各不相同,因此除了對風險進行一些宏觀的評估外,還應針對其特殊性結合實際項目情況來考量。?
經過文獻調研、案例訪談、專家論證等方式,最終形成了風險評估指標體系。研究構建教育信息化項目風險評估體系包括4個一級指標、11個二級指標、29個三級指標。其中,主體風險主要指項目進程中的組織機構、用戶和供應商三方面存在的風險;客體風險則是指項目在開展過程中,在軟硬體、資源等方面存在的風險;技術風險則從項目開展所需的關鍵技術入手,評估其在經濟性、可行性與適用性上是否滿足項目要求;最後,由於教育信息化項目開展主體的特殊性,項目在開展過程中是否受政策制度、財務經費等方面的影響也是一個較大的影響因素。具體評價指標維度如表2所示。
四、權重的確定
國內外大部分指標體系的構建主要圍繞著影響因素確定與權重體系設定兩大步驟來開展。關於指標的權重設定,大多以層次分析法、德爾菲法、均值法、熵權法等來確定[24],本文主要依據層次分析法的相關原則進行指標體系權重的確定。層次分析法是指通過不同指標之間的兩兩比較來確定指標間權重的方法[25],其系統性、所需定量數據少的特性使其受到許多研究者的追捧,這種方法對項目風險評估過程中出現的多個指標和方案的選擇提供了有效的解決方案[26]。
(一)調查問卷的設計
美國學者Saaty等人通過研究發現,分級太多容易對評價者造成幹擾[27],影響評價的有效性,而分級太少則不容易區分各個指標之間的重要程度,實驗證明九級比例標尺最適合確定權重係數,如表3所示。
因此,本文指標體系權重確定的問卷將基於層次分析理論,將各項指標的重要性分為1到9這九個維度,各位專家綜合考慮各個風險的重要性進行選擇,最終通過兩兩比較的方式確定各指標的相對權重。
(二)評價結果分析
1.對象的選擇和基本信息分析
評價對象是對指標進行評估的客體,對象的選擇關乎指標權重計算的有效性,因此評價對象的選擇尤為重要。本指標體系主要是關於教育信息化項目的風險,因此評價對象需要對教育信息化項目有一定宏觀上的認識和理解,同時組織或作為主要參與成員參與過多個項目的實施。因此,評價對象主要分為四類人員,分別是教育信息化相關事業單位工作人員、教育信息化項目研究者、教育類企業工作者、校長或學校領導等。基於問卷星平臺,通過郵箱、微信、拜訪等多種方式,向這些具有豐富經驗的項目管理人員展開調查,總計回收問卷61份,有效問卷60份。被調查者分別來自北京、上海、天津、江蘇等12個省市,其中41%的調查對象為校長或學校領導,30%的調查對象為教育類企業工作者,17%的調查對象為教育信息化項目相關研究者,12%的調查對象為教育信息化相關事業單位工作人員,且85%以上的調查人員具有5年及5年以上從事教育信息化項目相關工作的經驗。?
2.指標權重的計算
運用層次分析法確定指標權重主要依照以下步驟進行:建立評價層次模型、構造指標比較判斷矩陣、層次單排序一次性檢驗及權重計算和層次總排序權重計算。
(1)建立評價層次模型
根據文獻調研、實際案例調研以及專家論證,最終確立了4個一級指標、11個二級指標和29個三級指標,這些指標的層次模型如圖1所示。
(2)構造指標比較判斷矩陣
評價對象根據九級比例標尺,選擇各指標的相對重要性選項,根據兩兩比較的原則,構造比較判斷矩陣。n個指標需比較n(n-1)/2?次,如4個一級指標,則需要比較4*(4-1)/2=12次。根據各個評價對象比較的結果,構造n階判斷矩陣Aij(n×n),Aij代表第i個元素相對於第j個元素的相對重要性。如某位評價對象針對一級指標評定後構造的比較矩陣如表4所示。
依據評估模型,每位評價對象的數據需構造16個判斷矩陣,本次共計回收有效問卷60份,因此需構造960個判斷矩陣。
(3)層次單排序一致性檢驗及權重計算
為了鑑別所構建的矩陣是否能夠進行權重排序,還需要進行層次單排序和層次總排序的一致性檢驗。以層次單排序的一致性檢驗為例,我們將CR看成一致性比例,CI看作一致性指標,RI為平均隨機一致性指標,λ為最大特徵根,n為判斷矩陣的階數,則有公式:
根據Saaty的研究,當CI值小於0.10時,可以認為判斷矩陣具有良好的一致性。下頁表5為不同階判斷矩陣的RI值。
基於上述公式,對前一步驟構造的960個矩陣進行一致性檢驗。由於問卷的設計是基於相對重要性轉換的數據,因此對於評估對象而言能夠較好的理解,因此構造的矩陣的一致性比率均低於0.10,為有效數據。接下來將進行權重的計算。
由於問卷針對了四類不同類型的專家,因此在計算出所有評估對象的權重後,採取平均賦予專家權重的方式進行計算,即每類專家分別賦予25%的專家權重,最終各項指標的權重則為這四類專家賦予權重的加權平均值。
W=25%W1+25%W2+25%W3+25%W4
(4)層次總排序權重計算
在對判斷矩陣進行層次單排序一致性檢驗後,還需要進行自上而下的整體權重的計算,即層次總排序權重計算。
設第k層n個因素相對於總目標的權重為Xn,第k+1層m個因素相對於第k層第n個因素的權重為Yn,那麼第k+1層m個因素相對於最高層次目標的權重為:Wm=XnYn。
以主體風險中的項目組織風險B1為例,由上可知,B1風險指標對應的權重為X1=39.03%,其一級指標A1對應的權重為Y1=37.36%,按照Wm=XnYn,即可計算出項目組織指標B1相對於主體風險A1而言的權重為14.58%。
而後,對層次總排序權重進行一致性檢驗,最後使用規範列平均法將所得數據權重向量進行加權平均,歸一化後得到最終指標體系,如圖2所示。
五、指標應用
教育信息化項目的開展一般基於現實需要,如建設某一教育信息管理系統、完成市級、區級、校級的信息化硬體部署等。但是在具體實施的過程中,由於教育信息化項目具有特殊性,項目涉及人員多、關聯的學科較廣,頂層設計人員在實際風險管控中很難全面考慮潛在風險並加以量化。故而筆者根據上述風險指標評估體系的初步成果,針對一般的教育信息化項目,對風險指標評估體系在教育信息化項目中的應用提出一些思路和建議。
(一)項目風險評估
在項目正式啟動前,項目負責人可以選取1-2位上級領導、3-5位項目管理人員、2-3名項目專家組成員、其他項目重點參與人員等,以風險指標評估體系為評估量表設計相應問卷,對項目進行風險發生概率的評估,可以將特定風險發生概率分為0、20%、40%、60%、80%和100%六項。在選取評估人員時,要考慮到政府推進項目時層級下達的特點,聽取各級管理層的意見。如項目涉及到學校信息化建設落實層面,則可以選擇學校主管信息化建設的校長、信息主管、實驗教師(若有)等對項目風險進行評估。
綜合上述人員對單項具體風險發生概率進行評估後,綜合計算出每項風險發生概率的平均值進行參考。
(二)風險值計算
根據《風險評估指南》中風險的計算公式可知:?
風險值(Ri)=風險發生概率(Fi)×風險影響程度(Wi)(3)其中,風險發生概率為第一步中通過各個不同層級人員綜合考慮後確定的風險發生概率,風險影響程度(Wi)則為指標體系中的指標權重。在計算項目中的各個指標潛在風險與綜合風險後,得到整個項目的風險值R。
我們假定按照3:4:3的原則將項目風險分為三個等級,Ⅰ級項目風險為初級風險,代表該項目實施風險較小,可以按照常態進行;Ⅱ級項目風險則為中級風險,需要對項目執行中存在的具體風險進行管控;Ⅲ級項目風險則為高風險,項目必須立刻停止實施,並及時對項目中存在的風險進行規避,直至風險值降到Ⅱ級風險後方可繼續實施,具體風險值範圍如表6所示。
(三)風險對策分析
項目管理層在獲得風險評估結果後,首先應根據風險等級及各項指標風險值對項目風險做出描述性的說明。而後,按各項風險的風險值大小排名取5-8個風險指標進行具體的關聯分析,並明確權責,制定相應的對策,以此作為參考依據對項目進行風險管控。值得說明的是,除了需要重視風險值高的風險,還需要特別關注發生概率高以及風險影響程度大的兩類風險進行管控。
六、結束語
研究通過訪談、問卷調查、專家論證等方式從主體、客體、技術和政策法規四個方面建立了教育信息化項目風險評估指標體系,並針對該評估體系的應用給出了一定的方法和建議。通過相關案例研究發現,該評估體系能較好地對教育信息化項目風險進行測度,為教育信息化項目風險管控提供有效依據。預知潛在風險只是風險管控的第一步,對於教育信息化項目而言,以該評估體系作為風險依據,深入探索教育信息化項目風險的原因與對策,進一步細化風險,以提升教育信息化項目的有效性才是風險管控的最終目標。另外,不同類型的項目存在的風險因素是不同的,如何在信息化項目推進進程中開展動態評估,對不同項目的不同風險進行規避策略的組合,這些方面還值得繼續探索。
責編:content