作者有话说

说到vSAN的架构，最最最核心的硬件之一就是Raid卡，虽然Raid卡使用起来很简单，但是实际上需要考虑的东西还是蛮多的～这篇文章来描述一些选择和使用Raid卡时经常遇到的问题... 

一

vSAN Raid卡选用的三大案例

【案例1】：

客户vSAN环境下每台主机有一块Raid卡以及8块硬盘，该Raid卡支持Raid模式和直通模式，但是在vSAN的HCL里只有直通模式。客户考虑到防止系统启动盘发生故障，于是使用2个磁盘做镜像(Raid1)后再安装ESXi，另外的6个磁盘使用直通模式供给vSAN使用。在实际使用过程中，客户发现有时候vSAN磁盘会发生离线....

只有一块Raid卡怎么办？

如果客户的每台主机只有一块Raid卡，并且这一块卡上既要连接系统启动盘又要连接vSAN磁盘，那么正确的使用方法什么呢？其实只要遵循下面的原则就好：

敲黑板知识点1

   同一块Raid控制器上的vSAN磁盘和非vSAN磁盘使用相同的工作模式。

• vSAN磁盘是Raid模式，那么非vSAN模式也是Raid模式。

• vSAN磁盘是直通模式，那么非vSAN磁盘也使用直通模式。

    这个要求的根本原因是为了减少Raid卡的负载和发生故障的几率：因为有些Raid卡如果长时间同时处理不同模式（直通模式和Raid模式）的磁盘会发生异常，除此以外，有些时候如果Raid卡在处理某一种模式的磁盘发生异常时会影响到另外一种模式的磁盘的使用。

Mixing the controller mode will mean that various disks will be handled in different ways by the storage controller. This introduces the possibility that issues affecting one configuration could also affect the other, with possible negative consequences for vSAN.

敲黑板知识点2

针对第一点有人会问：同一个Raid卡上如果vSAN磁盘使用Raid模式（Raid0），那么非vSAN模式也只能是Raid0么？

其实并不是，这时候非vSAN磁盘可以使用Raid0，Raid1甚至是Raid5。

敲黑板知识点3

    针对第二点有人会问：如果系统启动盘使用直通模式的话，意味着没有硬件冗余，那如果系统启动盘发生了问题会怎么办？其实有3种方法：

• 使用USB/SD卡作为系统启动盘：有的主机支持两个USB/SD互为冗余。

• 给主机再添加一块Raid卡：把系统盘和vSAN磁盘分开使用。

• 重新安装系统：再次强调，ESXi系统盘发生故障需要重新安装不会影响vSAN的的数据。

敲黑板知识点4

    除此以外，如果在一块Raid卡上同时有vSAN磁盘和非vSAN磁盘，还有几个细节需要注意：

• 在非vSAN磁盘创建的VMFS Datastore（例如系统盘上的local datastore）上可以存放日志，core dump文件或者ISO介质，但是不推荐在上面存放或运行虚拟机

• 不要把非vSAN磁盘作为裸设备（RDM）提供给虚拟机使用

【案例2】：

客户vSAN环境下每台主机有一块Raid卡以及24块硬盘。客户的ESXi系统安装在SD卡上，24块硬盘分为3个磁盘组提供给vSAN使用。客户发现发现在业务高峰期，主机有时候会发生无响应的现象，而且vSAN总容量会减少...重启后主机回复正常。

1. 一块Raid卡可以接多少个磁盘？

    我经常在一些用户的配置中看到一台主机配置24块硬盘（3个磁盘组）。实际上这些Raid卡只支持8个Ports或者16个Ports，客户为了安装更多的硬盘，使用了SAS expander。虽然使用起来没有大问题，这样做有几个隐患：

• 集中了过高的负载：这种配置会把所有的负载集中在一块卡上，有些Raid卡在长时间高负载下会发生重置或者夯住。

• 故障影响范围大：如果一块Raid卡发生故障，那么3个磁盘组的所有的数据都要在其他节点上重建，数据量非常的大。

• 单点故障：SAS expander也是一个单点故障。虽然理论上expander的故障率不高，实际上我已经遇见许多次expander故障导致部分磁盘离线的案例。

敲黑板知识点1

    由于SAS Expander和Raid卡的关系非常紧密，测试流程更加繁琐，因此相关测试的过程比较慢，目前为止只有vSAN Ready Node上的SAS expander经过了验证。

2. 多个Raid卡怎么用？

除了把系统盘和vSAN磁盘分开以外，如果一台主机安装的磁盘数量超过一块Raid卡支持的最大数量，VMware建议客户配置更多的Raid卡。如果条件允许，可以每个Raid卡配置一个磁盘组，这样既可以得到最佳的性能，也能把故障影响的范围缩小到最小，减少数据同步量以及提高数据同步速度。

3. vSAN需要什么样的Raid卡？

以我的理解，有下列特征的Raid卡提供给vSAN使用最好：

• 高性能：提供直通功能

• vSAN直接接管：不需要提供额外的功能（例如写缓存）- 由vSAN缓存层SSD提供写缓存区域

• 队列深：Raid的队列深度至少大于256

• 易维护：更换Raid卡不会影响磁盘的识别，方便升级驱动固件

• 成本低

    Controller queue depth impacts the rebuild/resync times. A low controller queue depth may impact the availability of your production VMs during rebuild/resync. A minimum queue depth of 256 is required in vSAN. Some profiles require minimum queue depth of 512 as noted above. 

4. Raid与直通哪个好？

    我更偏向于直通模式的Raid卡，主要因为：

• 更高的性能：因为底层的硬件可以直接暴露给vSAN使用，而不用中间多了一层Raid。

• 维护磁盘更方便：更换硬盘之后，直通模式的磁盘可以直接在线被ESXi识别和使用，但是Raid模式的话，则需要先进入BIOS把磁盘创建为Raid0，增加了维护的难度。

• 更换Raid卡后续操作：直通模式的Raid卡更换后，磁盘直接插入就可以识别到，然而如果使用Raid模式的卡，则需要从每个Raid0的磁盘导入配置才可以正常识别。

 LSI3108系列Raid卡

     相信大部分vSAN用户都听说或者使用过这个芯片系列的卡。由于这个系列的卡装机量非常的大，遇到的问题相对多一些，因此需要注意的细节就会更多一些：

使用LSI3108芯片的Raid卡包括：

• Cisco 12G SAS Modular Raid Controller 

• DELL FD332-PERC (Dual ROC) 

• DELL FD332-PERC (Single ROC) 

• DELL PERC H730 Adapter

• DELL PERC H730 Mini 

• DELL PERC H730P Adapter 

• DELL PERC H730P Mini 

• Huawei Technologies Co. Ltd. SR 430C 

• Lenovo ThinkServer RAID 720i AnyRAID Adapter 

• Lenovo ThinkServer RAID 720ix AnyRAID Adapter 

• Lenovo ServeRAID 5210e SAS/SATA Controller 

• Lenovo ServeRAID M5210 SAS/SATA Controller 

• LSI MegaRAID SAS 9361-8i 

• LSI MegaRAID SAS 9362-8i 

• Supermicro SMC3108 
  

     简单来说，使用这些卡需要注意两件事情：

敲黑板

更多新闻

技术KB|解读VCF全栈企业云平台

"飞鸟"携手"飞书"，让工作效率起飞！

技术KB|VMware助力金融行业数字化

技术KB|创新医疗之VMware助力医疗

行业资讯|Veeam V10震撼来袭

行业资讯|vFORUM 2019，拥抱开