Truenas on ESXi踩坑记之nvme硬盘


前言

这段时间赋闲在家,借着剪视频的由头,买了个dell的r730,准备组个性能强劲的nas。

闲话少说,粗糙的搭好以后,架构大概是这样的。

直通了张h310m给freenas,下面挂着6块机械硬盘。

到目前为止机器运转良好,转移完数据,万兆网下smb能跑到600m的读速,基本满意。

机器上跑着MySQL之类的服务,平时有低频的写入,本着让硬盘休息下&增加下性能的心态,准备给机器加个SSD。没想到这里才是折腾的开始。

问题

前些天在贴吧里发现了pm983a这个东东,400块,900g,读3000,写1000不掉速,带掉电保护。美中不足尺寸是22110,不过这个问题不大,反正都要用转接卡,注意下尺寸就行了。

果断下单两块做mirror,外加一块32G傲腾做slog。

收获,装机,配置pcie拆分,非常顺利。

兴冲冲在ESXi里开机的时候,问题出现了。

“Nvme0: Missing interrupt”是什么鬼?

尝试解决

Optane

Google一翻,找到这位仁兄的帖子,看起来是vm配置问题。

解决方法如下:

Edit -> VM Options -> Advanced -> Edit Configuration

添加pciPassru{X}.msiEnabled,值为FALSE。其中X位第X个直通的pcie设备,从0起。

重新启动虚拟机,顺利开机。

Pm983a

兴冲冲建好SSD存储池,准备测试下效果。嗯?怎么掉速?pm983怎么也算是企业盘,不会写几个G就掉速了吧?

一通排查,发现了问题。

missing interrupt又是什么鬼?折腾了几天,没啥进展。

结论

  • 修改vm配置后,Optane可以正常使用。
  • pm983仍然无法正常使用,症状为间歇性报错Nvme0: Missing interrupt,期间ssd失去响应。
  • 根据网上的帖子,这个问题是FreeBSD对ESXi的nvme设备驱动存在bug,bug在FreeBSD 13已经被修复。但是,目前Freenas Core 12.0的FreeBSD版本为12.2,稳定版本暂时没有升级到freebsd13的计划。
  • 准备迁移到Freenas scale折腾下了

更新

22.4.2更新,升级了truenas core 13.0beta以后,pm983a失灵的问题似乎消失了,不过smb速度巨慢。略期待正式版。

参考链接

https://blog.zczc.cz/2021/02/22/TrueNAS-over-ESXi-%E4%BD%BF%E7%94%A8%E5%82%B2%E8%85%BE-Optane-SSD/

https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=247944



——此处是内容的分割线——

除非注明,否则均为广陌原创文章,转载必须以链接形式标明本文链接

本文链接:https://www.utopiafar.com/2022/02/15/use_nvme_ssd_on_truenas_over_esxi/

码字不易,如果觉得内容有帮助,欢迎留言or点赞!

, ,

《“Truenas on ESXi踩坑记之nvme硬盘”》 有 6 条评论

  1. 老哥你是PM983a直通给TrueNAS用? 你有没有试过不直通的情况下 ESXi本身能不能用这玩意?
    我有两条 在各种系统上转了一圈发现这玩意超级挑系统
    Windows可用 一般Linux可用 包括基于Debian的PVE
    但是黑苹果不可用 ESXi不可用 你这个不清楚是FreeBSD也不可用还是说只是bug 不过我猜你换TrueNAS Scale应该可以
    有点坑

    • 1.我用的是7.0.3dell版的esxi,这个下面esxi不认盘,尝试过网上的驱动,没有搞成功= =
      2.pm983a missing interrupt这个问题,确定是freebsd的bug,可以参考下我贴的链接,以及我试了truenas core 13,由于升级了FreeBSD版本,这个bug已经被fix了
      3.这个盘其他系统下我没试过,买来打算esxi用或者直通给freenas的
      4.scale确实可以用,不过我我遇到几个恶性bug,放弃scale了:(

  2. PM983a这个型号挺神奇的,据说是facebook的特供盘然后大船归来;
    这盘特殊就特殊在即便普通使用也会有一堆驱动水土不服,而且卖家也会特别标明这盘只建议作为数据盘甚至不建议做系统盘使用,而且去vmware官网看的话会发现只有PM983的支持信息,这个盘压根不在vmware的硬件兼容列表里面;
    我最近也整了台R730XD,这盘PCIE插上去ESXI能读出来是一个存储设备就不错了[顺带读出来的型号说是PM983],我配了这条纯粹丢给esxi做IO缓存用[顺带热量贼大,买了个带小风扇的M2PCIE卡才心安]

发表回复

您的电子邮箱地址不会被公开。