1.前言
1.1項目概述
隨著現代信息技術的發展，各大校園採用先進的信息技術來構建數位化校園，促進科研教研、提升服務水平。這其中最主要的核心就是數據的處理，數據處理環節又以數據存儲為基礎。通過從校園中的各個業務系統轉移數據到新的資料庫進行統一數據管理，搭建數據倉庫，對學院各個信息系統業務數據進行統一分類管理，實現分析計算及前瞻性預測，充分挖掘數據的價值，真正將學院數據轉化為數據資產，助力校園信息化，實現數據驅動管理。
1.2背景
時至今日，國內高校校園信息化基礎建設已經如火如荼的開展了十數個年頭，部分高校已經建成了以「人、財、物」為管理核心的各種業務系統，這些系統均是針對各部門、各學院的具體工作來進行設計的，缺少全校統一規劃。它們在不同的時間開發、開發的廠商不同、開發的語言不同、使用的後臺資料庫不同、採用信息標準不同等等。這導致了各系統間存在著或大或小的差異，各個業務系統的很難深度「集成與共享」。隨著現代高校教育行業的發展,信息化校園建設的需求已經發生了改變，逐步轉化向學校全局範圍內開展綜合應用的需求，對數據的共享利用逐步加大，對數據質量也提出了更高要求，建設整個學校範圍的主數據管理平臺的需求已經迫在眉睫，學校希望有效解決各應用系統之間的主數據共享與交換，並積累高質量數據，希望有良好的工具和手段來運行管控整個過程。
1.3存在問題
1.3.1校級數據標準不統一，增加系統使用和數據交換的難度
有了標準，但沒有統一。數據是一切信息系統的基礎，高校在信息化建設中往往比較重視系統功能而忽視了數據的重要性，沒有對數據標準進行整體規劃，也沒有對校內各系統建設方提出強制規範性要求，使得可系統標準依然不一致，無法做到「一個標準」。另外，標準不是靜態的，是動態的，必須根據學校實際管理水平、建設情況持續迭代，達到動態的「統一」。例如，有些業務系統至今還因為系統帳號不統一問題無法與學校統一身份認證平臺對接，給學生和老師的使用帶來不便。
1.3.2數據可用性低，價值無法發揮
學校信息化運行至今，已經積累了大量的數據。但圍繞數據的使用場景很少，沒有很好被上層應用「牽引」，導致並不清楚存儲的數據是否有用、有效，好像已經積累了大量數據，但並沒有產生價值。但由於信息標準不統一和數據質量的問題，造成學校積累的數據無法發揮真正的價值。學校無論是管理層還是廣大師生都沒有從數據中獲得對應的服務和信息。
1.3.3權責不清流向不明，導致數據重複冗餘建設
在數位化校園建設階段，各個業務系統依據各自需求，建設業務應用系統，可以支撐本單位的實際需求和部門應用。這樣的局部建設模式，必然從各部門自身需求出發，並不兼顧學校的整體性，必然造成標準的不統一，數據權責的混亂，導致數據冗餘，重複，同一數據在不同地方由不同人員進行維護，導致數據大量冗餘，數據交換過程中沒有經過嚴格的數據流向調研，數據流向不清醒，哪些數據可以交換，哪些數據只能存在於本系統，都沒有明確的定義，數據在交換過程中出現嚴重的紊亂和冗餘現象，嚴重降低的數據的質量，更無法為後續的數據分析提供有效的數據支撐。
1.4.4歷史數據無統一管理存檔，無法有效支撐數據挖掘分析
當前各業務系統建設，都圍繞當期業務實現，很少有完整歷史數據存儲的。而公共數據平臺的數據長年的數據一直採用update的覆蓋方式進行保存，將最新的數據覆蓋以往的數據，最終導致我們無所追尋歷史蹤影，很多有意義的數據在覆蓋以後再也找不回來，並且沒有很好的對資料庫進行歸檔，將歷史資料庫單獨作為一個數據存放庫，可以既顯示的是最新的數據，歷史數據也可以追其蹤影，從一定程度上彌補業務系統建設時的難度和不足，也為今後在做數據分析時，這些歷史數據給我們提供足夠的數據支撐力量。
1.5.5數據本身質量不高，需要暴露提升
雖然這些年，各大高校陸續開始了自己是信息化建設，很多核心的業務系統也逐漸被學校所使用，但在使用的過程中使用情況來看，大部分功能並未真真使用，使得很多管理數據缺失，另外，產生太多重複數據數據輸入不規範，輸入不夠及時，導致很多未經審核「不權威」的數據進入主資料庫共享給其他系統，導致交叉感染，產生大量質量不高的數據，高質量的數據因具備以下特點：完整性、規範性、一致性、準確性、唯一性、關聯性。因此，提升源頭數據質量的提升才是解決數據問題的關鍵，通過加強數據的利用能很好推動這一目標的實現。但在前幾年的建設過程中，很少有廠商和學校能夠意識到這一點，因此在高質量數據這塊目前各個高校基本沒有積累，也就無法為將來的大數據時代做數據支撐。
1.4校園數據源分析
1.4.1數據涉及面窄
（1）主要是數位化校園系統產生數據
（2）數據的維度少，業務來源不足
1.4.2有效數據量少
數據量百GB到幾TB，數據量少。
1.4.3數據接口不完善
（1）部分數據源有錯誤，數據不一致
（2）業務接口與數據結構不規範
1.5建設原則
1.5.1安全性
高校信息化工作中有許多保密性內容，數據管理平臺應採取安全性髙的訪問認證機制，同時在平臺建設中要充分重視系統自身的安全性。
1.5.2靈活性
在數據轉移整理統一平臺的設計和實施中要考慮到與其他應用系統的整合，開發出多個類型的接口，能夠靈活接入其他系統、拓展服務類型。
1.6建設目標
1.6.1實現數據的共享和交換
將學校各應用系統的數據進行集成和整合，使來源各異、種類不一的各類數據可以相互使用，豐富數據的來源，打破系統間的信息孤島，實現數據的共享和應用。
1.6.2數據的採集和存儲
設計數據遷移接口程序，對接校園內各應用系統獲取各類異構結構數據，對數據進行統一存儲，為數據的挖掘和分析打好基礎。
1.6.3數據的整理加工
數據統一管理，提取數據中隱含的、未知的、極具潛在應用價值的信息和規律，為學校的教務管理、科研管理、學生管理、後勤管理等各項工作提供決策和指導。
1.7數據轉移整理平臺的建設意義
高校作為高科技人才以及創新技術的搖籃，承載著科研攻關和人才培養的雙重使命。在新的科技浪潮中，高校應瞄準時代最前沿，將教學科研創新、專業人才培養建立在數據平臺的基礎上。
1.7.1實現個性化學習
數據轉移整理系統的建設可以收集學生或教師學習行為的基礎數據，是其它智能分析系統對每個學生個或者教師個性化學習指導的基礎。
1.7.2實現教育評價體系重構
採集教與學的全過程基礎數據，為以後全面客觀記錄學生成長軌跡，引導學生培養模式和教育質量管理方式科學健康發展。
1.7.3實現科學研究範式轉型
通過數據遷移整理分析可以解決科研經費等科研管理難題，提供便捷的技術支撐與人性化服務，提高研究的效率和結果的可信度。
1.7.4開啟「大數據創客」新模式
完成創新應用及發布，完善高校信息化建設，提升高校實力，加速創客成果轉化，推動創意實現產業化，打造具有影響力的「創客校園」
1.7.5實現教學模式改革
為教學數據分析與預測提供基礎數據，改變教學模式，實現個性化教育，調整教學方案，優化教學方法，提高教學質量。
1.7.6實現科學化教育管理
注重相關關係識別，強調因果關係的確定，發現隱蔽的、有用的信息，做好教育管理和決策工作的數據支持
2.系統數據轉移整理流程
系統切換包括前期調研、數據抽取遷移、數據整理加工三個階段。
2.1前期調研
了解目前需要做數據轉移的業務系統的數量，業務系統的資料庫系統是否開發接口或者提供資料庫用戶和密碼連接。
2.2數據抽取遷移
數據抽取遷移是將數據從各個業務系統的數據，完整的複製到新的統一資料庫。
2.3數據整理加工
數據整理加工把原有系統的數據需要根據新資料庫和新的業務流程，進行重新數據加工後轉移到新的業務資料庫中。
3.數據轉移整理系統建設
以構建基礎硬體層支撐，利用雲計算，數據採集，數據計算與挖掘分析等技術，利用公司自主設計的數據轉移整理應用系統，完成數據的轉移，整理分析，備份等功能。
3.1基礎硬體層
基礎硬體層是由一組伺服器組合構建而成。基礎硬體層主要承載著數據的存儲、運算、容錯、調度和通信等任務。
3.2數據採集
通過設計數據採集程序，把分散在校園各個部門的數據採集到統一的資料庫，集中管理。
3.3數據計算與挖掘分析
通過分析資料庫結構，研究數據特點，使數據的加工、處理、創新過程更加豐富，提高數據的使用效率。
3.4數據安全
數據管理系統通過一系列的認證授權和資源隔離機制，實現數據資源的安全性、可維護性、可信性。提供統一認證服務負責對使用者的身份進行驗證；提供統一授權服務負責對用戶的資源訪問權限進行控制；提供統一資源調度負責對用戶使用的底層資源進行隔離。
3.5伺服器集群
伺服器集群，集群可以獲得更高的計算速度，也可以用作備份同，任何一個伺服器損壞整個系統都能正常運行。群集化操作可以減少單點故障數量，實現群集化資源的髙可用性。
3.6數據轉移整理應用系統
根據不同數據源的特點，使用數據的要求，專門定製設計符合業務運行需要的數據轉移整理程序。
3.5數據轉移整理系統建設的意義
（1）收集、存儲各類數據的同時有效地將數據管理起來，打破「信息孤島」的存在。
（2）為學校部門和各位領導提供實時數據。各部門之間可以很方便地查看其他部門的公開數據；領導可以統籌查看全校所有部門的業務數據，能夠直觀地了解學校的情況。
（3)便於其他 應用系統開發，將應用與數據分離開來，降低應用系統擴展開發的難度，為全面整合高校應用系統打下堅實的基礎。
3.6數據轉移整理系統架構
3.7數據轉移整理系統流程
3.8數據轉移整理的技術準備
(1) 舊系統數據字典整理、舊系統數據質量分析。
(2) 新存儲資料庫和舊數據源資料庫之間的差異。
(3) 制定轉移後數據的完整性與正確性。