关于NAS万兆网络的一些心得
1.最早接触NAS是在大学期间,购入一台二手的西数Mybook World Edition,原厂rom除了基础的文件共享功能,还有诸如sql、web服务、ftp等小功能。作为一个能折腾的人,自然不会放过刷机的机会。下了一个网上某大神出的自定义rom,pt功能啥的都搞了个遍,但最终主要用的还是smb文件分享和pt挂种子。这个小盒子自带了一个百兆网口,应付pt自然不在话下,反正基本都跑满速。那时校园网还处于ftp向pt转型的阶段,100Mbps的速度真香,关键可以7*24h开着。
2.后来工作了,又淘了一个Buffalo LinkStation LS-WVL,从单盘升级为双盘,不过为了数据安全,基本只用Raid 1,主要作为还是资料备份。体验和之前的西数差不多,没有自定义rom可玩,不过系统可以ssh登录自己装一些optware小软件,但板载处理器能力有限,也不指望有很多扩展功能。好在自带网卡是千兆网卡,这对于网络文件共享、数据备份什么的基本够用了,不过1000Mbps对于硬盘来说已经是个瓶颈了。
3.再后来就直接跨入攒机组建AIO服务器的阶段了。硬件部分先挖个坑,后续再来补。
4.重点就是对于这台AIO服务器的网络改造了。记得那时候ocp网卡刚开始进入市场,两块改好的万兆卡、一条DAC铜缆差不多300左右搞定。拿到快递包裹后兴奋的给AIO和台式机装上,从NAS到本地拷贝文件,从本地拷贝文件到NAS,然而实际跑到2.5Gbps左右。一开始以为是HDD硬盘的读写极限,但硬盘在本地电脑上单盘读写在180MB/s,四盘组Raid 5理论速度应该在500MB/s,肯定是哪儿出了问题。
先不谈加SSD缓存,我用iperf3测一下网络吞吐,好家伙多线程最高速度才7.8Gbps,打了7折多,估摸着就是网卡还是没有发挥出极限性能。然后从Mellanox网站下载驱动、固件工具包,刷固件、换各种驱动。esxi里弄成直通模式,最后也就到了8.9Gbps,再也上不去了。看来是CPU和主板拖后腿了呀。
后来看翼王的视频,了解到还有RDMA这玩意儿,也琢磨着想弄一套,看看绕开CPU,让网卡直接读取远端内存数据是否能更快。我也寄希望于RDMA将本地硬盘全部转移到AIO服务器里(这是一个危险的想法,极其不推荐),没办法上头了。
【待更新】


