KoolShare

 找回密码
 立即注册
搜索
查看: 10545|回复: 133

双12万兆光网卡开箱+家庭极简单万兆网络组建成功及测试~

  [复制链接]

16

主题

247

帖子

1140

积分

大魔法师

Rank: 5Rank: 5

精华
0
门户文章
1
魔力币
531
魔法值
10
注册时间
2015-8-23
发表于 2016-12-15 14:51:07 | 显示全部楼层 |阅读模式
本帖最后由 zhaoziling 于 2016-12-15 17:28 编辑

接上一篇文章<<迟到的开箱,11月中买的新玩具:华为S5720S-28X-SI-AC>>

双12买的万兆网卡到货了,简单发个开箱,顺便说下我测试家庭万兆网络的过程和结果~
折腾了两天才成功~

先来看开箱:
网卡是山寨intel X520-DA1,82599ES芯片+山寨intel FTLX8571D3BCV-IT
之前买交换机的时候已经买过一套这个,装在主力台式机上,这次买这个是装在gen8上,gen8上有NAS,以及几个测试用的软路由,linux之类的
正面:
2.jpg
正面左边:
4.jpg
正面右边:
3-1.jpg
背面:
5.jpg
模块:
1-1.jpg

做工只能说一般吧~
装到gen8上稍微费了一点劲,档板螺丝扣略微有点误差,不过一使劲就行了,嘿嘿

下面就是做软件设置了,我的台式机和交换是设置好了的,这次只需要设置gen8
我的gen8上装的ESXI的虚拟机系统,NAS用的OMV
原来是有一块4口千兆网卡,直通两个口给OMV做的链路聚合,现在需要都全删掉,让网络恢复默认,虚拟机里面也需要添加上万兆虚拟网卡,这些就不说了

恢复默认后,首先需要在ESXI的网络里面添加网卡
打开宿主机配置面板,选中网络配置
1.jpg
点vSwith0后面的属性按钮
2.jpg
选在网络适配器
3.jpg
点"添加"在万兆网卡前面打钩
4.jpg
按他的向导,把万兆网卡设置为活动适配器,把原来的千兆网卡设置为待机适配器,这样即使这个网卡有啥问题,也不影响访问
5.jpg
添加完成后如下图:
6.jpg
然后在交换机上分别shutdown对应端口,看看这个活动和待机能否自动切换,是没有问题的,都能访问
7.jpg
8-1.jpg
9-1.jpg

然后就开始测试万兆网络(其实这时候还没完全设置好,没能发挥最大性能,后面会补充设置)
首先是从NAS复制文件到本机:
12-1.jpg
只有150M左右,感觉这个速度有点不对劲,不过以为是NAS上机械硬盘限制了(两个HGST NAS 3T做的RAID1),台式机上是OCZ的VECTOR 180,写入500左右

决定上纯网络测速软件,我用的IxChariot
13.jpg
14.jpg

结果才发现,同时上传下载死活只有双向都是5Gbps左右,顶多单边冒个尖到6-7Gbps
这个结果不对啊~
想了想,可能是以下几个原因:
1,CPU顶不住了,测试的时候CPU占用不低,I7 4790K,单核到了60%以上,不过82599是带硬件智能卸载的,而且单核也没跑满,可能是原因之一,但不是主要原因
2,IxChariot是C/S模式的,软件本身是有开销的,不过这个开销在小包的时候比较明显,但是我用的脚本虽然是高度重负载,不全是小包,这个脚本一般来说开销在6%左右,也不会有那么大
3,就是网络本身的开销过大,这个因为以前没怎么跑过万兆网络,难以判断开销大小,不过针对这个有方法降低,那就是改MTU,开启巨帧,可以大幅度降低

然后我就在整个链路上启用巨帧,ESXI里面把MTU改成9000,华为交换机默认开启了巨帧支持,MTU允许9216,82599windows这边选择开启巨帧支持到9214
设置的时候忘了截图,嘿嘿

果然结果还是比较满意的:
IxChariot上传下载分别单链路测试:
15.jpg
上传加下载可以达到9.7Gbps+7.4Gbps

多跑几条链路上传下载5+5:
17.jpg
18.jpg
基本可以跑满了

跑完以后看了下IxChariot的统计:平均上传加下载达到了:18349.294Mbps,算上软件和网络开销,确实是跑满了
19.jpg

这时候想想,可能复制速度也能有改善呢?在OMV里面,将MTU改到9000,果然,从NAS复制到本地速度再次提高,能达到230M/s左右:
20.jpg
这个速度应该是确实达到了机械硬盘极限了

至此测试完成,基本还是符合预期的


过程总结:
花了2个晚上,每次3,4个小时终于达成了这个结果
中途还怀疑gen8上的HP阵列驱动有问题,这个问题从ESXI5.5开始就有,结果现在还在,反复重装了驱动,还重装了ESXI6.5,又重装回6.0,结果还是用5.0的驱动效果最好,
还怀疑IxChariot的配置,反复配置了好几遍,还换了iperf3,证明不是软件问题
其实这些都能写成帖子,装ESXI一篇,升级到ESXI6.5,OMV还崩溃了,重装回6.0,还好虚拟机有备份,导入重新配置OMV又是一篇,中间还检查了GEN8的RAID配置,还好阵列没掉,这又可以写一篇
IxChariot这个软件也是比较牛逼的软件,他可以编写各种脚本,来拟合实际网络环境中的各种状态,我在公司生产环境中经常用,详细介绍又可以来一篇
不过中间调试的时候比较麻烦,我比较懒,就没怎么截图,估计截图了也懒得写那么多大文章........

关于家用万兆网络的总结:
1:成本:纯网络成本:交换机+2块万兆网卡+4个光模块这些就过4000了,还只是实现了NAS对主力台式机的万兆传输(其实交换机还有24个千兆口,是个三层交换机,vlan间路由也靠他,不过带万兆口的交换机也都不便宜),这还不算如果要高度利用万兆网络的SSD成本
2:应用:家里也就有NAS的时候需要用到了,拷贝速度确实快,即使是从机械硬盘上拷贝,因为现在NAS里面的仓库盘都比较大,外圈速度也可以上200M了,但是相比万兆还是只能用到1/5,除非NAS里面也上固态,不过SATA接口的固态也只到500M,也只能用到一半,要想跑满,估计只有上NVME的固态,然而主力台式机改全固态还有可能,NAS改固态,甚至全NVME固态,现阶段真真需要土豪啊~这个要普及,真不好说几年~
外网现在很多地方都普及200M或300M了吧~我这里联通和电信,只要想办,有光纤,联通就有300M,电信就有200M的.另外电信,移动,联通千兆也都开始测试了,不过需要特定地区,我这里3家运营商都可以申请千兆家宽,我弄了条电信的试验了下,城域网内测速跑满千兆没问题,然而用迅雷,好多热门种子加在一起,下载速度长时间平均也就在60M/s左右,系统占用太高,连接数太多.我这里外网几条线,加起来过千兆了,不过要整合起来并用上,又是一个大工程了,以后再说(太贵了...联通千兆10000一年,移动10086一年,电信只给测试,都是家宽).
3:技术上,现在光纤万兆已经比较成熟了,连接配置都比较简单,万兆以太网也还好,不过很多设备上默认是不开巨帧的,很多公司对巨帧的定义也不太一样,据说有可能会有奇怪的问题.电口万兆现在还很少,不过最近新出了不少电口万兆的网卡啊,交换机啥的,不过普及不及光口,二手货山寨货也不是很多~

恩,就这么多了~~~






评分

1

查看全部评分

30

主题

285

帖子

609

积分

高级魔法师

Rank: 4

精华
0
门户文章
0
魔力币
490
魔法值
0
注册时间
2016-1-11

DDOS纪念勋章

发表于 2016-12-15 15:06:34 | 显示全部楼层
图文并茂,好帖顶上去。

1

主题

280

帖子

961

积分

高级魔法师

Rank: 4

精华
0
门户文章
0
魔力币
874
魔法值
0
注册时间
2014-7-10

DDOS纪念勋章

发表于 2016-12-15 15:09:24 | 显示全部楼层
楼主真能折腾,现在都上万兆,拜模一下

16

主题

247

帖子

1140

积分

大魔法师

Rank: 5Rank: 5

精华
0
门户文章
1
魔力币
531
魔法值
10
注册时间
2015-8-23
 楼主| 发表于 2016-12-15 15:15:37 | 显示全部楼层
housecall 发表于 2016-12-15 15:09
楼主真能折腾,现在都上万兆,拜模一下

你们这个不离不弃的勋章哪里弄的?

21

主题

5339

帖子

5837

积分

中级魔导师

Rank: 7Rank: 7Rank: 7

精华
1
门户文章
1
魔力币
1760
魔法值
10
注册时间
2015-9-23

R7000EA6700DDOS纪念勋章

发表于 2016-12-15 15:23:14 | 显示全部楼层
这个厉害了

两边用RAMDisk 来试试拷贝速度?

1

主题

280

帖子

961

积分

高级魔法师

Rank: 4

精华
0
门户文章
0
魔力币
874
魔法值
0
注册时间
2014-7-10

DDOS纪念勋章

发表于 2016-12-15 15:27:39 | 显示全部楼层
zhaoziling 发表于 2016-12-15 15:15
你们这个不离不弃的勋章哪里弄的?

论坛活动时候领取的

32

主题

6138

帖子

6232

积分

高级魔导师

纯种小白求领养

Rank: 8Rank: 8

精华
0
门户文章
1
魔力币
2416
魔法值
40
注册时间
2015-12-27

DDOS纪念勋章

发表于 2016-12-15 15:29:10 | 显示全部楼层
好家伙……千兆还没玩两天呢

8

主题

1359

帖子

1592

积分

大魔法师

Rank: 5Rank: 5

精华
0
门户文章
0
魔力币
1156
魔法值
0
注册时间
2014-8-8

DDOS纪念勋章

QQ
发表于 2016-12-15 15:43:08 来自手机 | 显示全部楼层
实际拷贝速度达到两倍千兆速率。

16

主题

247

帖子

1140

积分

大魔法师

Rank: 5Rank: 5

精华
0
门户文章
1
魔力币
531
魔法值
10
注册时间
2015-8-23
 楼主| 发表于 2016-12-15 15:49:52 | 显示全部楼层
glk17 发表于 2016-12-15 15:23
这个厉害了

两边用RAMDisk 来试试拷贝速度?

没啥必要了吧,我用打流软件测试了
用ramdisk基本也就这个速度~那个就是内存到内存的~

点评

是啊,NAS和SATA的SSD都跑不满万兆,所以只有nvme的SSD和RAMDisk出马啦  发表于 2016-12-15 15:51

16

主题

247

帖子

1140

积分

大魔法师

Rank: 5Rank: 5

精华
0
门户文章
1
魔力币
531
魔法值
10
注册时间
2015-8-23
 楼主| 发表于 2016-12-15 15:50:35 | 显示全部楼层
为啥你们都有DDOS这个勋章,为啥我就没有啊~
活动链接在哪里?哪位给我个呗~

19

主题

801

帖子

5090

积分

中级魔导师

Rank: 7Rank: 7Rank: 7

精华
0
门户文章
3
魔力币
1217
魔法值
30
注册时间
2015-12-27

DDOS纪念勋章

发表于 2016-12-15 15:56:12 | 显示全部楼层
UBNT有ES-16-XG 13个万兆电口,4个万兆光口,只要4800
固定线路布置要是余量光口还是太麻烦,回头有机会试试万兆电口.

1

主题

28

帖子

146

积分

初级魔法师

Rank: 2

精华
0
门户文章
0
魔力币
141
魔法值
0
注册时间
2016-12-2
发表于 2016-12-15 15:57:06 | 显示全部楼层
家用直接NAS和主力台式机之间万兆直连传数据就好了嘛。。
别的都走千兆绰绰有余

0

主题

5

帖子

17

积分

魔法学徒

Rank: 1

精华
0
门户文章
0
魔力币
16
魔法值
0
注册时间
2016-12-15
发表于 2016-12-15 15:59:54 | 显示全部楼层
佩服这动手能力,千兆也就最近才踏进!!!!!

8

主题

263

帖子

167

积分

初级魔法师

Rank: 2

精华
0
门户文章
0
魔力币
123
魔法值
0
注册时间
2016-11-4
发表于 2016-12-15 16:03:40 | 显示全部楼层
土豪。我只关心用了多少钱

16

主题

247

帖子

1140

积分

大魔法师

Rank: 5Rank: 5

精华
0
门户文章
1
魔力币
531
魔法值
10
注册时间
2015-8-23
 楼主| 发表于 2016-12-15 16:10:21 | 显示全部楼层
rockbao 发表于 2016-12-15 15:56
UBNT有ES-16-XG 13个万兆电口,4个万兆光口,只要4800
固定线路布置要是余量光口还是太麻烦,回头有机会 ...

那个是12光+4电
还是贵了,而且口不够多.......
以后普及万兆估计会用,现在还真没那么多万兆设备`

7

主题

131

帖子

292

积分

中级魔法师

Rank: 3Rank: 3

精华
0
门户文章
0
魔力币
262
魔法值
0
注册时间
2016-10-22
发表于 2016-12-15 16:10:40 | 显示全部楼层
上W了,不错,可惜成本高了

21

主题

5339

帖子

5837

积分

中级魔导师

Rank: 7Rank: 7Rank: 7

精华
1
门户文章
1
魔力币
1760
魔法值
10
注册时间
2015-9-23

R7000EA6700DDOS纪念勋章

发表于 2016-12-15 16:10:49 | 显示全部楼层
看看头像改过来了没有。。。。

19

主题

801

帖子

5090

积分

中级魔导师

Rank: 7Rank: 7Rank: 7

精华
0
门户文章
3
魔力币
1217
魔法值
30
注册时间
2015-12-27

DDOS纪念勋章

发表于 2016-12-15 16:22:29 | 显示全部楼层
zhaoziling 发表于 2016-12-15 16:10
那个是12光+4电
还是贵了,而且口不够多.......
以后普及万兆估计会用,现在还真没那么多万兆设备` ...

也够多了.走够玩万兆汇聚了.
没普及的时代万兆本来就是玩票, 哪有那么多要上万兆的设备.
组网的时候也就是万兆+千兆混合组网.

0

主题

130

帖子

354

积分

中级魔法师

Rank: 3Rank: 3

精华
0
门户文章
0
魔力币
332
魔法值
0
注册时间
2015-9-15
发表于 2016-12-15 16:29:06 | 显示全部楼层
对我来说,太专业了

1

主题

120

帖子

316

积分

中级魔法师

Rank: 3Rank: 3

精华
0
门户文章
0
魔力币
296
魔法值
0
注册时间
2016-6-27
发表于 2016-12-15 16:56:11 | 显示全部楼层
楼主的速度,服了!

联系我们|手机版|KoolShare ( 沪ICP备13045430号 )

GMT+8, 2017-5-25 13:15 , Processed in 0.094592 second(s), 10 queries , Gzip On, Redis On.

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表