笔者喜欢折腾,这不刚折腾完K39小钢炮,又来折腾All in One的家庭服务器了。说起这个服务器,以前是用一台占美的1037u安装Windows Server 2016,然后开Hyper-v来实现的,跑了黑群晖、Centos、LEDE 3个虚拟机。其实,这样的方案也是够用的,但是,人嘛,总是喜欢折腾的,另外一方面由于占美的1037u只有单千兆,LEDE跑单臂路由总是觉着不爽,所以一直心心念念想换掉。
直到年初的一天,父亲的台式机坏了,刚好一个朋友送了我一张铭瑄B250MD4 Tubro的主板,本来是想着再找个CPU和内存回去给父亲换掉的。后来父亲的电脑暂时解决了,也就闲置了一张主板。看着这块主板,想起了占美1037u单臂路由的事,不如我重新搞一台吧。
第一部分、硬件配置及硬件分配
一、硬件配置
根据我的需求,采用ESXI做底层,安装Windows 7(10)作为下载机或者其他用途,安装DSM黑群晖,安装LEDE做软路由,再安装一个Centos有时候搞搞代码之类的。主板集成了一个螃蟹8111的千兆,这样显然是不够的,我还需要更多的网口,根据上面的需求, ESXI管理网口、Windows、黑群晖、LEDE的Lan和Wan、CentOS,这样算下来我需要6个网口。至于Sata接口,主板自带5个sata口,还有一个双协议的M.2接口,这样也是不够的,根据上面的需求,ESXI、Windows、黑群晖应该需要独立的SATA控制器,LEDE和CentOS可以安装虚拟盘上,这样算下来需要3个独立的SATA控制器。先翻翻家里有什么存货,1个益衡7025B的电源,3个Intel X18-M 80G的固态,2个500G 和1个 1T HDD,还有其他例如散热器等等的,还缺机箱、CPU、内存、有线网卡、SATA扩展卡。
说干就干。先找朋友要了一个G3930(核显装驱动会花屏,支持VT-D,可以直通硬件),不过用来安装ESXI正好,反正不需要显示。
机箱的话,考虑到要黑群晖还有Windows,那当然是盘位越多越好,不过由于弱电箱比较窄,体积也不能大,最终在淘宝上找了家商家定制了一个亚克力机箱,三围是248*99*337 mm。采用FLEX电源,有7个2.5硬盘位,可以安装2个8010/8012风扇。
硬盘位是这样的
原先电源在底部,散热风扇在顶部,后来改为电源到顶部,散热风扇在底部。
最终成品是这样的:
机箱搞定了,接下来是各种扩展卡了。对于扩展卡,我的原则是在条件允许的情况下,能能直通的,都尽量直通。
首先是千兆网卡,按之前说的需要6个,那就买2张4口千兆网卡,在淘宝上买了两张拆机的Intel I340 T4,ESXI可以直通,DSM也能使用,这个是随便买的。
SATA扩展卡,搜索一番之后,确认ASM1061是可以直通的,黑群晖也能识别使用,就在淘宝买了两张双口的ASM1061扩展卡。原先没想着给黑群晖加SSD作为读、写缓存的,也就没考虑更多的口。后来也调整了方案,这是后话了。
然后就是内存了,考虑ESXI自身的内存、DSM 1G 、Windows 4G 、LEDE 1G、CentOS 1G,这样至少需要8G。所以在闲鱼上买了8G *2换给了小钢炮,把小钢炮原来的8G挪过来,以后有需要再增加8G。
以下是最终的配件清单:
按上面的清单算起来,总共8个硬盘,机箱只有7G硬盘位,幸亏Intel X18-M是1.8寸的,体积很小,2个盘位可以勉强放下3个。
二、硬件分配
本来是预计主板的两个PCI-E X16的插槽分别安装一张Intel I340 T4网卡,一个PCI-E X1安装一张ASM1061扩展卡,另外还有一个M.2接口,用M.2转PCI-E X4转接板安装另外一张ASM1061扩展卡。但是由于M.2插槽太靠近PCI-E X16插槽,会被网卡的散热片挡住,衡量了一番,放弃了M.2插槽和一张I340 T4,一个PCI-E X16安装I340 T4,另外一个X16和X1分别安装1张ASM 1061。这样整机就有5个千兆网口和3个SATA控制,ESXI用1个网口和一张ASM1061扩展卡,使用1个Intel X18-M G2 80G;DSM用1个网口和板载的SATA控制器,使用1T HDD+ 500G HDD *2 + Intel X18-M G2 80G *2;Windows用1个网口和一张ASM1061,使用创见120G SSD + 320G HDD;LEDE安装在用2个网口,采用虚拟磁盘文件安装;CentOS和ESXI管理网口公用,采用虚拟磁盘文件安装。
最终确定的硬件分配方案如下:
部署完成后,LEDE和DSM应该是常年运行着,而Windows和CentOS是有需要的时候才运行,其中CentOS的使用频率会更低,所以8G内存按上述分配是最够的。将来要是有更多的需求,还可以再增加一条8G。
三、硬件装机
硬件装机比较简单,就有一点比较麻烦,考虑到弱电箱的空间,机箱尽量做的比较小,内部空间有点紧张,理线不好搞,最终成品有点杂乱。
1、先安装电源和主板底下3个硬盘(电源右边的硬盘是早先测试安装的)
2、安装主板、内存、cpu、散热器。有个闲置的金钱豹纯铜散热器,风扇转速太暴力了,把风扇换成原来闲置的大镰刀风扇,瞬间安静下来了。
3、安装Intel I340网卡和ASM1061 SATA扩展卡
4、安装其他硬盘、机箱风扇等
理线理得不好,请大家略过。。
第二部分、ESXI安装
一、ESXI安装镜像
因为主板集成的是RTL8111千兆网卡,ESXI官方竟像是没有驱动,所以需要自己集成RTL8111驱动。
3、选择最新的版本下载,当前是 ESXi670-201903001,然后点击后面的“下载”按钮,下载官方镜像。
8、将上述下载的安装镜像、PS脚本、VMware.PowerCLI放在同一个目录,假设为D:\ESXI,将VIB包放到该目录的pkg目录下(E:\ESXI\pkg)。解压VMware.PowerCLI包。
9、用管理员身份运行Windows Power Shell,打开一个Power Shell窗口。进入解压后的VMware.PowerCLI目录,执行以下命令安装VMware.PowerCLI。
Install-Module -Name VMware.PowerCLI
因为本机已经安装了VMware.PowerCLI,所以这里直接提示已安装。
安装过程中可能会有以下提示:
这是本地策略导致的,需要进行修改。
1)、更改执行策略
2)、更改为RemoteSigned执行策略
更改策略之后,执行“Install-Module -Name VMware.PowerCLI” 重新安装VMware.PowerCLI。
10、将RTL8111驱动加入安装镜像中,在PowerCLI中执行:.\ESXi-Customizer-PS-v2.6.0.ps1 -izip .\ESXi670-201903001.zip -pkgDir .\pkg
会生成包含RTL8111驱动的安装镜像文件(ESXi-6.7.0-20190304001-standard-customized.iso)。
将ISO写入U 盘,用该U盘启动需要安装ESXI的电脑,也就是上面说的G 3930主机。
二、安装ESXI
ESXI的安装过程很简单,可以说比安装windows还简单,以下用虚拟机演示一下安装过程。
1、用U盘启动主机,选择ESXI Installer
之后会自动加载相关内核
加载完成后,进入安装界面,一路按屏幕的提示操作即可:
然后选择ESXI安装位置
选择键盘布局
输入root的密码
确认安装
安装到硬盘中
安装完成后,将U盘拔出后按屏幕提示会重启电脑
ESXI重启后,进入以下界面,我们需要先做一些设置,主要是指定ESXI的管理网口和IP地址等等。
按F2,会要求输入root密码,输入安装过程中输入的密码即可。然后再按一次F2,进入系统配置界面。主要是修改下图箭头所指的项目。
将光标移动到上述项目后,按回车进入下一级菜单。
第一项为指定管理网口的网口,请根据需要自行确定。(截图为虚拟机,只有1个虚拟网口)。
选择完毕后按回车确认。然后进入“IPv4 配置”,这是确定ESXI的IP、子网掩码和网关。根据我自己的网络规划,打算将来家里的局域网用192.168.1网段,所以我首先将ESXI的IP修改为192.168.1.2(192.168.1.1留给LEDE),但由于LEDE还未安装,这里先将默认网关设置为ESXI本身(192.168.1.2),待LEDE可正常使用后再改为192.168.1.1。之后按回车返回管理网络配置界面,再按 ESC退出,这是会提示是否保存变动,输入Y即可。再按ESC注销root用户。
这时,管理网络已是我们刚才修改后的的了。然后将ESXI主机接入网络中,将另外一台电脑A也接入统一个网络中,在电脑A的浏览器中输入
https://192.168.1.2 即可访问ESXI管理界面。
说明:这里可能会有一些问题,例如两台爱电脑如何接入网络的问题。1、现在一般家里都有无线路由器,请关闭无线路由器的DHCP功能,然后将两台电脑分别接入无线路由器的LAN口,然后给电脑A指定192.168.1网段的IP即可,例如192.168.1.10,子网掩码255.255.255.0,默认网关192.168.1.2。
笔者家里的无线路由器是网件的R6300 V2,刷了梅林,将其本身IP设置为192.168.1.3,子网掩码为255.255.255.0,默认网关为192.168.1.2,然后将其运行模式设置为AP模式。分别将ESXI的管理网口、电脑A接入无线路由器的Lan口中即可。
在登录界面输入root和密码之后,进入ESXI管理界面,如下图。
至此,ESXI安装完毕,接下来是折腾各个虚拟机了。
第三部分、安装各个虚拟机
一、开启直通
1、登录ESXI管理页面后,点击导航器->管理->硬件->PCI设备,列表中就显示本机可以直通的PCI设备。
列表中“直通”一列显示为“禁用”表示该设备可以直通,但目前未启用,显示为“活动“表示该设备可以直通,目前已启用直通,如果未灰色则表示不能支持直通。
默认情况下列表会显示Intel I340 T4、RTL8111、ASM1061等设备都能直通,但是板载Sata控制器是灰色的,无法直通。但是,事实上ESXI是可以直通板载SATA控制器的,接下来我们就来开启板载SATA控制器的直通。
2、首先点击导航器->主机,再点击右侧的“操作”->服务->启用安全Shell,开始ESXI主机的SSH。
lspci -v | grep "Class 0106" -B 1 结果如下图:
按照图片显示,这里有2个SATA控制器,第一个为Intel的,也就是板载的,记住他的名字和ID。
修改/etc/vmware/passthru.map文件, 执行 vi /etc/vmware/passthru.map,在文件尾部添加以下内容
# Intel Corporation Union Point-H AHCI Controller
8086 a282 d3d0 false
结果如下图
保存、退出后,重启ESXI主机即可。
4、重启后再次登录ESXI管理页面,点击导航器->管理->硬件->PCI设备,你会发现板载的SATA控制器已经可以直通了。(下图为演示,实际上相关PCI设备已经切换为直通了)
勾选需要直通的PCI设备,Intel I340 T4的4个网卡、板载的SATA控制器和一个ASM1061扩展卡。因为另外一张ASM1061扩展卡已经用于ESXI本身了,所以记住不要勾选,不然重启之后,ESXI会出错的。勾选完毕后,点击“切换直通”,然后再点击“重新引导主机”即可。
重启后结果如上图,Intel I340 T4四个网口、板载SATA和一张ASM1061已经为“活动”。
到此,相关设备的直通已经成功开启。
二、安装软路由LEDE
首先要安装软路由,这样真个网络才能通畅。
1、到koolshare.cn下载LEDE镜像,
下载网址为
下载以下镜像文件:
2、将上述文件解压,得到.img文件,再通过 StarWind V2V Converter将img文件转换为ESXI使用的虚拟磁盘文件
3、在ESXI中新建虚拟机
名称可以任意,我起名为Route,操作系统系列选择“Linux”,操作系统版本选择“其他Linue 64位”
存储默认即可
CPU选择双核,内存选择1G,同时展开内存选项,因为我们要直通PCI设备,所以需要预留内存,勾上“预留所有客户机内存(全部锁定)”。
之后,我们将虚拟机默认的存储、usb、网卡等全部删掉。添加刚才转换的LEDE的ESXI磁盘文件。点击“添加硬盘”->“现有硬盘“
在弹出的窗口中,datastore1下新建一个目录ISO,用于储存需要用到的各种镜像,例如LEDE的ESXI镜像、DSM的引导器、windows的安装镜像等等,通过上传按钮,将镜像上传。这里有一点需要注意,转换后的镜像有两个文件,这两个文件都需要上传才能正常使用。
上传完成之后,选择 LEDE镜像文件。
然后,添加直通的网卡,点击“添加其他设备”->“PCI设备”,连续操作两次,添加两个设备,然后通过下拉框,选择Intel I340 T4的第1、2口。
以下是虚拟机的配置情况。
然后,在虚拟机的详情中,点击“打开电源”启动虚拟机,会弹出控制台窗口,跑一溜代码
这时,将Intel I340 T4的第1个网口,通过网线接入路由器的Lan口中,用浏览器访问
http://192.168.1.1,看是否可以正确访问,如果可以的话,则第一个口为Lan口,第二个口为Wan口,反之,则第二个口为Wan口,第一个口为Lan口。
将LEDE的Lan口接入路由器中,Wan口接入光猫,再在LEDE中设置相应的拨号账号、密码,之后就可以正常拨号上网了。
LEDE有一个软件中心,里面有几十种软件可以安装,可以满足不同的需求。
至此,LEDE完成。
二、安装黑群晖DSM
1、引导器准备。黑群晖需要要对应的引导器才能运行,目前最新的是Jun的1.04b,可以引导918+ DSM 6.2.1版本。从以下网站可以下载
2、将下载的引导器解压,并用startwind将其转化为ESXI磁盘文件。同样会生成两个文件。并通过ESXI的管理页面“存储”->datastore1->“数据存储浏览器”将两个文件上到ESXI的ISO目录中。(为了区分,我自己修改了文件名)
这里dsm各型号、各版本的固件下载。
4、创建虚拟机,这个步骤跟上面的LEDE虚拟机有点类似,主要的区别在于直通PCI设备的不同,这里直通的是Intel I340 T4的第3口和主板板载的SATA控制器。虚拟机类型选择Windows,操作系统版本选择Windows 7 64位,硬盘文件选刚才上传的引导器磁盘文件,虚拟硬盘的控制器记得选择SATA。详细如见下图:
5、创建虚拟机后就打开虚拟机电源,如果一切正常的话,监控器会显示以下画面,同时光标在闪烁。
如无法启动,或者光标没闪烁,请检查引导器转换后的两个文件是否均已上传,还有虚拟硬盘的控制器是不是选择SATA。
7、点击“联机”,会进入如下的界面:
8、点击设置,进入下一步
点击浏览之后,找到固件后,会上传到虚拟机上并进行安装。
期间会提示安装DSM会删除硬盘原有数据,勾选“我了解”,点击“确定”继续,之后进入正式安装过程。
格式化硬盘
安装DSM固件和其他相关软件
安装完成
倒计时重启
重启后,创建管理员账号(由于安装过程中出现一点小问题,临时换成机型换成3615xs)
关于DSM的更新和维护的设置。
设置QuickConnect。因为还没洗白,所以先跳过。
完成设置
进去DSM界面
至此,黑群晖安装完成。
后续安装Docker,然后跑各种容器这里就不详细说了,我主要跑了Aria、Xware、rrshareweb、baidupcs,如有疑问可以回帖或者pm我。
三、安装Windows 10
1、先下载windows 10的安装镜像,个人推荐windows 10 LTSC 2019,相对精简,稳定性也不错。下载完成后,通过ESXI的存储管理器将ISO文件上传到ESXI主机上。
2、创建虚拟机。虚拟机分配双核CPU,内存4G(应为要直通SATA和网卡,要勾上保留内存),然后删除掉默认的硬盘,光驱选择刚才上传的安装镜像ISO文件,删掉虚拟网卡,分别添加直通的ASM1061 SATA控制器和Intel I340 T4的第4口。详情如下图(截图用的是之前Win7的,Win10同样设置):
这里有2点需要特别注意:
1、我买的SATA扩展卡有个开关,可以设置扩展卡为ACHI、IDE、DATA模式,经过尝试,只能设置为IDE模式才能正确安装Windows 系统。
2、虚拟机的引导模式要设置为EFI,否则将无法安装系统。
3、创建完成后,打开虚拟机电源,虚拟机会从ISO引导,之后就是正常的Windows 10安装过程了。
四、安装CentOS
1、首先从国内的各大镜像站点下载CentOS镜像,我是从阿里的镜像下载的。
2、将下载后的镜像上传到ESXI主机。
4、创建虚拟机。虚拟机分配双核CPU,内存1G,虚拟磁盘设置为20G,光驱选择刚才上传的安装镜像,保留虚拟网卡。详细如下图:
5、创建完成后,打开虚拟机电源,虚拟机会从ISO引导,之后就是正常的CentOS安装过程了。
第四部分、尾声
文章到此就到尾声了,上面只是列举了如何安装ESXI、硬件直通和安装各种虚拟机,但是这台服务器还可以有其他更多的用途。例如通过群晖的各种软件和APP实现视频点播、记事本、数据备份等,这个就要大家发挥想象力和创造力了。