雙12買的萬兆網卡到貨了,簡單發給開箱,順便說下我測試家庭萬兆網絡的過程和結果~
折騰了兩天才成功~
先來看開箱:
網卡是山寨intel X520-DA1,82599ES晶片+山寨intel FTLX8571D3BCV-IT
之前買交換機的時候已經買過一套這個,裝在主力臺式機上,這次買這個是裝在gen8上,gen8上有NAS,以及幾個測試用的軟路由,linux之類的
正面:
正面左邊:
正面右邊:
背面:
模塊:
做工只能說一般吧~
裝到gen8上稍微費了一點勁,檔板螺絲扣略微有點誤差,不過一使勁就行了,嘿嘿
下面就是做軟體設置了,我的臺式機和交換是設置好了的,這次只需要設置gen8
我的gen8上裝的ESXI的虛擬機系統,NAS用的OMV
原來是有一塊4口千兆網卡,直通兩個口給OMV做的鏈路聚合,現在需要都全刪掉,讓網絡恢復默認,虛擬機裡面也需要添加上萬兆虛擬網卡,這些就不說了
恢復默認後,首先需要在ESXI的網絡裡面添加網卡
打開宿主機配置面板,選中網絡配置
點vSwith0後面的屬性按鈕
選在網絡適配器
點"添加"在萬兆網卡前面打鉤
按他的嚮導,把萬兆網卡設置為活動適配器,把原來的千兆網卡設置為待機適配器,這樣即使這個網卡有啥問題,也不影響訪問
添加完成後如下圖:
然後在交換機上分別shutdown對應埠,看看這個活動和待機能否自動切換,是沒有問題的,都能訪問
然後就開始測試萬兆網絡(其實這時候還沒完全設置好,沒能發揮最大性能,後面會補充設置)
首先是從NAS複製文件到本機:
只有150M左右,感覺這個速度有點不對勁,不過以為是NAS上機械硬碟限制了(兩個HGST NAS 3T做的RAID1),臺式機上是OCZ的VECTOR 180,寫入500左右
決定上純網絡測速軟體,我用的IxChariot
結果才發現,同時上傳下載死活只有雙向都是5Gbps左右,頂多單邊冒個尖到6-7Gbps
這個結果不對啊~
想了想,可能是以下幾個原因:
1,CPU頂不住了,測試的時候CPU佔用不低,I7 4790K,單核到了60%以上,不過82599是帶硬體智能卸載的,而且單核也沒跑滿,可能是原因之一,但不是主要原因
2,IxChariot是C/S模式的,軟體本身是有開銷的,不過這個開銷在小包的時候比較明顯,但是我用的腳本雖然是高度重負載,不全是小包,這個腳本一般來說開銷在6%左右,也不會有那麼大
3,就是網絡本身的開銷過大,這個因為以前沒怎麼跑過萬兆網絡,難以判斷開銷大小,不過針對這個有方法降低,那就是改MTU,開啟巨幀,可以大幅度降低
然後我就在整個鏈路上啟用巨幀,ESXI裡面把MTU改成9000,華為交換機默認開啟了巨幀支持,MTU允許9216,82599windows這邊選擇開啟巨幀支持到9214
設置的時候忘了截圖,嘿嘿
果然結果還是比較滿意的:
IxChariot上傳下載分別單鏈路測試:
上傳加下載可以達到9.7Gbps+7.4Gbps
多跑幾條鏈路上傳下載5+5:
基本可以跑滿了
跑完以後看了下IxChariot的統計:平均上傳加下載達到了:18349.294Mbps,算上軟體和網絡開銷,確實是跑滿了
這時候想想,可能複製速度也能有改善呢?在OMV裡面,將MTU改到9000,果然,從NAS複製到本地速度再次提高,能達到230M/s左右:
這個速度應該是確實達到了機械硬碟極限了
至此測試完成,基本還是符合預期的
過程總結:
花了2個晚上,每次3,4個小時終於達成了這個結果
中途還懷疑gen8上的HP陣列驅動有問題,這個問題從ESXI5.5開始就有,結果現在還在,反覆重裝了驅動,還重裝了ESXI6.5,又重裝回6.0,結果還是用5.0的驅動效果最好,
還懷疑IxChariot的配置,反覆配置了好幾遍,還換了iperf3,證明不是軟體問題
其實這些都能寫成帖子,裝ESXI一篇,升級到ESXI6.5,OMV還崩潰了,重裝回6.0,還好虛擬機有備份,導入重新配置OMV又是一篇,中間還檢查了GEN8的RAID配置,還好陣列沒掉,這又可以寫一篇
IxChariot這個軟體也是比較牛逼的軟體,他可以編寫各種腳本,來擬合實際網絡環境中的各種狀態,我在公司生產環境中經常用,詳細介紹又可以來一篇
不過中間調試的時候比較麻煩,我比較懶,就沒怎麼截圖,估計截圖了也懶得寫那麼多大文章...
關於家用萬兆網絡的總結:
1:成本:純網絡成本:交換機+2塊萬兆網卡+4個光模塊這些就過4000了,還只是實現了NAS對主力臺式機的萬兆傳輸(其實交換機還有24個千兆口,是個三層交換機,vlan間路由也靠他,不過帶萬兆口的交換機也都不便宜),這還不算如果要高度利用萬兆網絡的SSD成本
2:應用:家裡也就有NAS的時候需要用到了,拷貝速度確實快,即使是從機械硬碟上拷貝,因為現在NAS裡面的倉庫盤都比較大,外圈速度也可以上200M了,但是相比萬兆還是只能用到1/5,除非NAS裡面也上固態,不過SATA接口的固態也只到500M,也只能用到一半,要想跑滿,估計只有上NVME的固態,然而主力臺式機改全固態還有可能,NAS改固態,甚至全NVME固態,現階段真真需要土豪啊~這個要普及,真不好說幾年~
外網現在很多地方都普及200M或300M了吧~我這裡聯通和電信,只要想辦,有光纖,聯通就有300M,電信就有200M的.另外電信,移動,聯通千兆也都開始測試了,不過需要特定地區,我這裡3家運營商都可以申請千兆家寬,我弄了條電信的試驗了下,城域網內測速跑滿千兆沒問題,然而用迅雷,好多熱門種子加在一起,下載速度長時間平均也就在60M/s左右,系統佔用太高,連接數太多.我這裡外網幾條線,加起來過千兆了,不過要整合起來並用上,又是一個大工程了,以後再說(太貴了...聯通千兆10000一年,移動10086一年,電信只給測試,都是家寬).
3:技術上,現在光纖萬兆已經比較成熟了,連接配置都比較簡單,萬兆乙太網也還好,不過很多設備上默認是不開巨幀的,很多公司對巨幀的定義也不太一樣,據說有可能會有奇怪的問題.電口萬兆現在還很少,不過最近新出了不少電口萬兆的網卡啊,交換機啥的,不過普及不及光口,二手貨山寨貨也不是很多~
恩,就這麼多了~~~