Truenas on ESXi踩坑记之nvme硬盘

Contents

0.1 前言
0.2 问题
0.3 尝试解决
0.4 结论

1 更新
- 1.1 附

前言

这段时间赋闲在家，借着剪视频的由头，买了个dell的r730，准备组个性能强劲的nas。

闲话少说，粗糙的搭好以后，架构大概是这样的。

直通了张h310m给freenas，下面挂着6块机械硬盘。

到目前为止机器运转良好，转移完数据，万兆网下smb能跑到600m的读速，基本满意。

机器上跑着MySQL之类的服务，平时有低频的写入，本着让硬盘休息下&增加下性能的心态，准备给机器加个SSD。没想到这里才是折腾的开始。

问题

前些天在贴吧里发现了pm983a这个东东，400块，900g，读3000，写1000不掉速，带掉电保护。美中不足尺寸是22110，不过这个问题不大，反正都要用转接卡，注意下尺寸就行了。

果断下单两块做mirror，外加一块32G傲腾做slog。

收获，装机，配置pcie拆分，非常顺利。

兴冲冲在ESXi里开机的时候，问题出现了。

“Nvme0: Missing interrupt”是什么鬼？

尝试解决

Optane

Google一翻，找到这位仁兄的帖子，看起来是vm配置问题。

解决方法如下：

Edit -> VM Options -> Advanced -> Edit Configuration

添加pciPassru{X}.msiEnabled，值为FALSE。其中X位第X个直通的pcie设备，从0起。

重新启动虚拟机，顺利开机。

Pm983a

兴冲冲建好SSD存储池，准备测试下效果。嗯？怎么掉速？pm983怎么也算是企业盘，不会写几个G就掉速了吧？

一通排查，发现了问题。

missing interrupt又是什么鬼？折腾了几天，没啥进展。

结论

修改vm配置后，Optane可以正常使用。
pm983仍然无法正常使用，症状为间歇性报错Nvme0: Missing interrupt，期间ssd失去响应。
根据网上的帖子，这个问题是FreeBSD对ESXi的nvme设备驱动存在bug，bug在FreeBSD 13已经被修复。但是，目前Freenas Core 12.0的FreeBSD版本为12.2，稳定版本暂时没有升级到freebsd13的计划。
准备迁移到Freenas scale折腾下了

更新

22.4.2更新，升级了truenas core 13.0beta以后，pm983a失灵的问题似乎消失了，不过smb速度巨慢。略期待正式版。

附

参考链接

https://blog.zczc.cz/2021/02/22/TrueNAS-over-ESXi-%E4%BD%BF%E7%94%A8%E5%82%B2%E8%85%BE-Optane-SSD/

https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=247944

——此处是内容的分割线——

除非注明，否则均为广陌原创文章，转载必须以链接形式标明本文链接

本文链接：https://www.utopiafar.com/2022/02/15/use_nvme_ssd_on_truenas_over_esxi/

码字不易，如果觉得内容有帮助，欢迎留言or点赞！

2月 15, 2022

utopiafar

Esxi, TrueNas, 踩坑

esxi, nas, truenas, 踩坑