CNGI建設前的校園網
2002年,同濟大學開始全面建設校園網。由於學校多校區辦學,有4個分校區,最遠的分校區離主校區有30多公裡,受到建設資金和跨城區光纜敷設等條件的限制,要想儘早實現校園網在所有校區的全覆蓋,需要在建設機制和體制上進行創新。我們選擇了和運營商全面合作,同濟大學是全國最早和運營商開展全方位合作建設校園網的高校之一。2002年1月,同濟大學和中國電信籤訂合作協議,由中國電信出資,雙方合作建設和管理校園網,並於當年5月完成了校園網的一期建設。
一期建設覆蓋所有校區,主要樓宇全部接入校園網,分教學區和宿舍區:教學區每個房間設置1~2個信息點,約130棟大樓總計9500個信息點;宿舍區的每個房間基本設置了2個信息點,共70棟樓,約9000個房間,約20000個信息點。校園網主幹由5臺華為8016組成,每幢大樓使用華為3526實現匯聚,由華為3026或2403接入用戶。校區之間千兆互聯,樓宇千兆接入,千兆電信公網出口,以及300M教科網出口,總用戶數達2萬左右。改造前的原校園網拓撲圖如圖1所示。
為保障整個校園網及校園網核心應用的高效、安全、可靠和可控,完善校園網保障和服務體系,十一五期間,網絡中心陸續完成了以下建設項目。
校園網公網出口帶寬管理系統:實現對校園網公網出口流量的實時監控和必要的流量管理,確保公網出口的有序、穩定和可控。
伺服器負載均衡系統:提高或改善郵件系統、域名系統、統一身份認證系統等學校若干核心網絡應用的訪問能力和穩定可靠性。
VPN(虛擬專網接入)系統:利用校園網的公網出口,實現校園網合法用戶(在校教師和學生)在校外通過公網對校園網專用資源(圖書資源、FTP資源、核心應用系統等)的實名認證訪問。
近年來,隨著學校建設的發展和信息化建設的需要,校園網覆蓋了學校所有樓宇,校園網的電信出口帶寬也從1G擴充到四平校區2G、嘉定校區2G;教科網帶寬從300M擴充到500M;並擁有近50C的公網地址和160個C的教科網地址。
校園網面臨的問題和挑戰
隨著校園信息化建設的發展和信息化應用的普及,2002年建設的校園網基礎設施,不論是性能、帶寬、技術等都已越來越不能滿足學校發展的需要,主要問題包括:
1.設備陳舊(絕大部分生產於2001年),故障漸多,軟體和硬體都無法支持IPv6及應用(如:組播);
2.網絡結構不合理,主幹鏈路冗餘能力弱,路由複雜且核心設備存在單點故障;
3.校區間互聯帶寬有限,對多媒體視頻應用的推廣形成瓶頸;
4.網絡管理存在盲區,不利於快速發現、診斷和處理問題。
這裡還存在一個學校和運營商在網絡建設、使用等方面理念上的差異,運營商由於要考慮投資回報,是否有商業價值,技術是否成熟可靠等,對於新技術的應用非常謹慎,甚至消極。但學校不同,校園網除了要向全體師生提供信息化應用服務之外,也是一個非常好的網絡新技術、新應用的探索和實驗網絡,就像中國教科網(CERNET)的存在,除了向高校提供網絡接入服務外,更是網絡新技術、新應用研究、建設和推廣的實驗網。
因此,除了在管理上要和運營商進行磨合之外,我們也希望能夠和運營商一起探索一套雙方緊密合作,符合校園網特點的建設、運營和管理模式,走出一條雙贏的道路。
CNGI項目與校園網升級改造工程
由國家發改委組織實施的下一代網際網路業務試商用及設備產業化專項「教育科研基礎設施IPv6技術升級和應用示範」項目於2008年12月正式啟動,項目建設內容包括:對100所學校的校園網實現下一代網際網路技術升級改造,用戶總數達到100萬人以上;研究完善面向校園網的試商用網絡支撐技術和公共服務功能,為下一代網際網路運營提供業務運營和網絡管理平臺;實現10項現有教育科研資源和應用的技術升級改造,新開發和推廣10項教育科研重大應用示範;逐步擴充連接國際下一代網際網路的線路帶寬,增強國際出入口網絡管理能力。同濟大學作為子項目《教育科研基礎設施IPv6技術升級和應用示範項目同濟大學校園網IPv6技術升級》的承擔者,藉助這一項目的推動,開展了對下一代校園網絡技術的研究和探索,攜手運營商,完成同濟大學校園網向下一代校園網的升級改造。
我們的升級改造工程分四個階段完成:
1)新建校園網主幹網,支持IPv4/IPv6雙棧和組播,完善校園網主幹的鏈路冗餘體系,將部分鏈路纖冗餘的校園網主幹改造成纜全冗餘結構;
2)改造教學區校區和重要樓宇的匯聚設備,升級教學區全網支持IPv4/IPv6雙棧和組播;
3)宿舍區BRAS(寬帶遠程接入伺服器)設備的改造,支持IPv4/IPv6雙棧和組播;
4)高起點建設覆蓋主要教學和公共區域的無線網。
1.校園網主幹拓撲設計
校園網主幹是整個校園網穩定、可靠運行的基礎,主幹網必須要有很強的冗餘能力,這個冗餘包括了設備冗餘、鏈路冗餘、流量負載均衡等,同時支持冗餘的協議要簡單可靠,收斂快,配置簡單方便。因此,我們選擇新一代交換機虛擬技術(VSS-VirtualSwitchingSystem)構建支持IPv4/IPv6雙棧、MPLSVPN、組播等特性的雙萬兆交換平臺。
同時憑藉和運營商之間良好的合作關係,利用運營商城域網的光纜系統,各校區匯聚節點都通過纜冗餘的方式連結主校區核心交換平臺,以保障校園網校區之間物理鏈路的穩定可靠。核心交換節點的VSS(虛擬交換系統)技術可以在不配置冗餘協議(如VRRP等)的情況下具備匯聚點設備和主幹層設備在鏈路冗餘、流量負載均衡等高可靠性、可用性特性。
為了能夠充分利用校園網電信高帶寬出口資源和教科網免費地址列表的特性,同時能夠根據出口帶寬使用狀況,動態控制兩個出口的流量,我們在主幹交換機和校園網邊界路由器之間通過IS-IS動態路由協議,實現IPv4/IPv6路由的動態調控和管理。改造後的校園網拓撲圖如圖2所示。
整個校園主幹網IPv6的技術升級工作比較複雜,由於牽涉的部門比較多,涉及電信、Cisco、華為、H3C以及上述廠商的集成商,超過5家廠商異種設備互聯,涉及埠聚合協議、VSS協議、VRRP與OSPF協議透傳等。在各方的通力配合下,克服各種技術、管理上的困難,順利完成本次升級,為隨後的升級積累了經驗,也奠定了堅實的基礎。
2.教學區匯聚節點的升級
使用《教育科研基礎設施IPv6技術升級和應用示範項目同濟大學校園網IPv6技術升級》項目的國撥經費,對四平校區、南校區、嘉定校區、滬北校區和滬西校區匯聚節點、四平校區、嘉定校區圖書館等匯聚節點升級為H3C7500系列高性能交換機,對橋梁館等38幢大樓匯聚設備升級為H3C5500系列智能交換機。受預算所限,未替換匯聚交換機的樓宇,其用戶VLAN改為終結於校區匯聚節點,原樓內三層匯聚設備僅使用二層轉發,保證了全部教學區樓宇IPv4/IPv6全覆蓋。
3.宿舍區BRAS(寬帶遠程接入伺服器)設備的改造
在CNGI項目的推動下,經過學校與中國電信的充分協調和溝通,在宿舍區開展IPv4/IPv6雙棧改造。根據宿舍區組網的特點,宿舍區的接入方式是全網PPPoE,使用QinQ技術將用戶埠聚合後直接連接到B-RAS設備上,所有用戶二層隔離。由於宿舍區用戶在邏輯上僅僅只和B-RAS設備有聯繫,因此在IPv6技術升級時僅需替換B-RAS設備。通過與電信協商,學生宿舍區選擇了全面支持IPv4/IPv6雙棧業務的華為新一代BRASME60,並通過配置在各校區的華為9300系列匯聚交換機接入宿舍區各樓宇的接入交換機,實現宿舍區網絡全面升級支持IPv4/IPv6雙棧。
4.基於802.11n無線網的建設
隨著學校信息化應用的不斷深化,支持IPv4/IPv6雙棧的校園無線網,作為校園有線網的重要補充,更在多媒體移動應用方面和今後的物聯網、雲計算環境方面成為不可缺少的重要網絡基礎平臺,是下一代校園網的重要組成部分。
同濟大學校園無線網,是在原有的校園有線網的傳輸系統(主幹、校區、樓宇光纜及匯聚設備)基礎上架設的,將和有線校園網一起共同為全校師生提供更完善和方便的網絡接入服務。總體建設目標是以現有有線校園網為依託,利用最新基於802.11n的無線網絡技術,建設同濟大學校園無線網,將校園網延伸到校內所有公共教學科研辦公區域之中,實現這些區域與校園網及Internet的高速互聯。
本著高起點建設、一次規劃、分布實施的原則,我們選擇H3C的基於802.11n的無線網系統,一期建設600多個AP,主要完成在四平校區和嘉定校區的20幢教學科研大樓和兩個圖書館的無線網建設。
同時,基於中國電信網絡在宿舍區建設無線網,為了方便學生使用,我們將電信認證體系引入校園網教學區,擁有宿舍區上網帳號的學生可在宿舍區和教學區實現無線漫遊,其具體認證過程如下:
1)用戶通過標準的DHCP協議,通過教學區AC獲取到規劃的校園網學生專用無線用戶IP位址;
2)用戶打開瀏覽器,訪問某個網站,發起HTTP請求;
3)教學區AC截獲用戶的HTTP請求,由於用戶沒有認證過,被強制指向宿舍區BRASPortal(以下簡稱Portal);
4)Portal向WLAN用戶終端推送WEB認證頁面;
5)用戶在認證頁面上填入上網帳號、密碼等信息,提交到Portal;
6)Portal接收到用戶信息,向電信帳務中心的Radius伺服器(以下簡稱Radius伺服器)發出用戶信息查詢請求;
7)Radius伺服器驗證用戶密碼、查詢用戶信息後,向Portal返回查詢結果;
8)如查詢成功,Portal按照CHAP流程向教學區AC請求Challenge。如果查詢失敗,Portal直接返回提示信息給用戶,流程結束;
9)AC返回Challenge,包括ChallengeID和Challenge;
10)Portal將密碼和ChallengeID及Challenge做加密算法後生成的Challenge-Password,和帳號一起提交到AC,發起認證;
11)AC將ChallengeID、Challenge、Challenge-Password和帳號一起送到Radius伺服器進行認證;
12)Radius伺服器根據用戶信息判斷用戶是否合法,如果成功,Radius伺服器向AC返回認證成功報文,並攜帶協議參數,以及用戶的相關業務屬性給用戶授權,如果失敗,Radius向AC返回認證失敗報文;
13)AC返回認證結果給Portal;
14)Portal伺服器根據認證結果,推送認證結果頁面,如果成功,推送定製的個性化頁面,並將認證結果、套餐剩餘時長、自服務選項填入頁面,和門戶網站一起推送給客戶,同時啟動正計時提醒,如果失敗,頁面提示用戶失敗原因;
15)Portal回應AC收到認證結果報文。如果認證失敗,則流程到此結束;
16)認證如果成功,AC發起計費開始請求給固網Radius伺服器;
17)Radius伺服器回應計費開始響應報文,並將響應信息返回給AC,用戶上線完畢,開始上網;
18)當AC收到下線請求時,向Radius伺服器發計費結束報文。
對於學生而言,教學區的校園無線網和宿舍區的運營商無線網實現無縫對接,避免由於網絡架構、管理體制等問題而人為地隔離校園網,使校園網作為一個整體向學生提供服務。
IPv6網絡的路由設計和地址管理
同濟大學校園網教學區IPv4網絡採用靜態路由+動態路由配置,所有用戶地址通過校區匯聚節點靜態指向各個樓宇。核心交換節點與校區匯聚節點之間通過IS-IS交換IPv4路由信息。教學區IPv6網絡全網使用動態路由配置,全網使用IS-IS交換路由信息。目前設計採用單IS-ISinstance同時進行IPv4與IPv6路由交換。由於IS-IS工作在鏈路層不容易被攻擊,其LSP類型簡單,複雜度低,收斂較OSPF快速且配置容易,非常適合同濟大學校園網。
1.IPv6地址規劃
同濟大學CNGI-IPv6駐地網的全球單播地址段為2001:da8:8002::/48,目前向終端用戶分配IPv6地址的方式為無狀態地址自動分配。根據無狀態地址自動分配協議的要求,需要為最終用戶分配一個/64的前綴。為了使得核心層路由越少越好,先根據聚合原則按照地理位置劃分地址:
四平校區:2001:da8:8002:1000::/52
嘉定校區:2001:da8:8002:2000::/52
滬南校區:2001:da8:8002:3000::/52
滬北校區:2001:da8:8002:4000::/52
滬西校區:2001:da8:8002:5000::/52
由於同濟大學用戶VLAN在各個校區唯一,因此根據各校區地址之下樓內匯聚交換機上的用戶VLAN號繼續劃分地址,將VLAN號轉換為16進位數字後填充進去(若轉化後不足3位,則在前面添0補足),例如:
A樓使用VLAN1469,1469的16進位表示為5BD,A樓位於四平校區,則該VLAN的IPv6地址段為2001:da8:8002:15bd::/64
通過參考RFC3627與draft-kohno-ipv6-prefixlen-p2p-01,我們最後決定使用/112長度的前綴作為設備互連地址前綴。考慮到校內的交換機等設備並不需要分配全球單播地址以及安全因素,我們根據RFC4193選擇FD00::/8的ULA用於同濟大學校園網網絡設備互連。所有教學區樓宇匯聚三層交換機與校區匯聚節點互聯的地址段為FD00:FE:[校區地理位置標識+互聯VLAN號的十六進位表示]::/112。
校區地理位置標識規則為:四平校區為1,嘉定校區為2,滬南校區為3,滬北校區為4,滬西校區為5。在此段地址之下按照交換機上的匯聚互聯VLAN號繼續填充地址,將該VLAN號轉換為16進位數字後填充進去(若轉化後不足3位,則在前面添0補足)。例如A樓宇匯聚互聯VLAN號為19,19的16進位表示為13,A樓位於四平校區,則該VLAN的IPv6互聯地址段為FD00:FE:1013::/112。A的地址為FD00:FE:1013::2/112,四平校區匯聚節點地址為FD00:FE:1013::1/112。
2.用戶IPv6地址分配方式
1)教學區地址分配
目前IPv6地址的自動分配方式分為無狀態和有狀態兩種。無狀態地址分配通過接收RA來自動配置地址;有狀態地址分配為DHCPv6方式。Windows僅在Vista以後支持DHCPv6,而XP僅僅支持無狀態地址自動分配。從目前的實際情況考慮,採用無狀態地址自動分配+無狀態DHCPv6來為同濟大學用戶進行地址分配,通過無狀態地址自動分配為用戶分配IPv6地址,通過無狀態DHCPv6為用戶分配DNS。XP用戶可以通過下載第三方DHCP客戶端如dibbler來實現DHCPv6支持。
H3C7500E交換機配置無狀態地址自動分配與無狀態DHCPv6舉例:
interfaceVlan-interface1
ipv6address2001:DA8:8002:wxyz::/64eui-64
undoipv6ndrahalt
ipv6ndautoconfigother-flag
ipv6dhcprelayserver-address2001:DA8:8002:wxyz::1
其中2001:DA8:8002:wxyz::1為一臺支持DHCPv6relay的伺服器。
2)宿舍區地址分配
由於目前通過PPPOE方式分配IPv6地址還無法實現,而學生上網仍必須使用PPPoE認證模式,因此在ME60接口下啟用PPPoE與IPv6無狀態地址自動分配同時工作的方式。用戶在連入網絡但未進行PPPoE撥號時通過IPv6無狀態地址自動分配協議與無狀態DHCPv6獲得IPv6正式地址與IPv6DNS訪問支持IPv6的網站和應用服務,在需要使用IPv4時通過PPPoE方式撥號。這樣既保留了原有上網認證模式又實現了IPv6學生宿舍區全覆蓋。
3.IPv6組播實現
1)教學區IPv6組播實現
教學區IPv6組播的rp設置在各個樓宇匯聚/校區匯聚交換機上,通過3層向下分發組播流。由於教學區全網實現了二層埠隔離(s-vlan+p-vlan),通過配置適當的ACL,自然實現了組播流只能從upstream方向(樓宇/校區匯聚向接入交換機)向下傳遞,而無法由用戶側發起,保證了組播的可控性。
2)宿舍區IPv6組播實現
目前同濟大學宿舍區正在進行全網PONFTTH改造。在OLT側引入專用IPv6組播設備,在運行初期由專用IPv6組播設備進行數據流複製,待OLTIPv6組播支持後實現OLT/ONU進行二層組播複製,減小專用IPv6組播設備壓力。
今後的任務和挑戰
隨著CNGI-IPv6同濟大學校園網升級項目的完成,同濟大學校園網已經具備了下一代校園網的雛形,可以看出同濟大學下一代校園網基本架構。
我們認為,隨著全球網際網路IPv4地址的耗盡,以及物聯網、雲計算環境等應用的開展,下一代網際網路IPv6技術及應用的研究,必將迎來更大的發展機遇。而校園網更是開展IPv6前瞻性應用研究、推廣普及類應用、培育IPv6用戶群最理想的環境,同時IPv6網絡的安全、管理等問題,也是我們從事校園網管理工作人員今後長期需要面對的課題之一。(文/林強 陸海)
作者單位為同濟大學網絡中心