2020年6月17日水曜日

ASRock Rack X470D4U購入

ESXiで利用しているPC(ASRock X570M Pro4)は、GPUパススルーのVMでwindows 10を使用してデスクトップPCのように使用しようと考えていたのですが、windowsの利用頻度に対して消費電力が高すぎることに気がつきました。 大体100W強なので省電力化したい。

BIOSやESXiの設定をいじってみたのですがイマイチ効果がでず、結局GPUを外すことにしました。 省電力GPUも検討しましたが、ASRock Rack X470D4Uを購入してしまいました。

マザーボードを入れ替えて大体70W程度、AMDのCPU特性なのか大して負荷をかけなくても消費電力が細かく変動するようです。 70Wから100W位を行き来して、大体70W中位という感じ、60W以下にしたかった。
あとは、VMがほぼアイドル状態でもデータストアには常に書き込みがあるようで、HDDがアイドルにならないことが消費電力に影響しているように思います。8台のHDDが常に書き込み状態となるので。
HDDはデータ置き場にして、データストアはSSDに置きたい気もしますが、安物のSSDだと耐久性が心配、エンタープライズ向けは高すぎて手が出ない。

ちなみに、X470D4Uは国内在庫がなく納期1.5ヶ月以上とのことだったので、amazon.comから買いました。 5日で届いたので国内通販とたいして変わりません。初期不良があると面倒ですが。

2020年6月12日金曜日

10Gbps Network

10GBASE-Tの2ポートスイッチGS110MX-100NASを使用していますが、10Gbps接続を増やしたくなり下記を購入しました。

ラトビアから
  • MikroTik CRS309-1G-8S+IN : Cloud Router Switch (SFP+ 8port)
  • MikroTik S+RJ10 : SFP+ RJ45 10Gbps Module
シンセンから
  • 10Gtek X520-10G-2S-X8 : SFP+ 2port, Intel X520-DA2 equivalent
  • 10Gtek XL710-10G-2S-X8 : SFP+ 2port, Intel X710-DA2 equivalent
  • 10Gtek ASF-10G-T : SFP+ RJ45 10Gbps Module
10GBASE-Tの多ポートスイッチはまだ高いので、今回はSFP+で揃えました。
MikroTikと10GtekのそれぞれからSFP+ DAC twinaxケーブルも買いましたが、どちらも問題なく利用できています。
また、10GtekのNICはどちらもESXi 6.7で問題なく認識したので、XL710-10G-2S-X8をESXiで、X520-10G-2S-X8はLinuxで利用予定です。

CRS309-1G-8S+INの電源ランプがすごく眩しいので、テープを貼って使用しています。
何でこんなに強烈な明るさにするのか不思議です。

raidz2のST4000DM004交換

raidz2(ST4000DM004の8台構成)で運用中のHDDが一台、I/Oエラー頻発ということなく突然死という感じで故障しました。
他HDDのSMART情報から大体17740時間で壊れたようです。

予備と交換してresilver中にもう一台壊れました...。
たまたま二台とも故障時にPCの近くにいましたが、どちらも突然カッコン、カッコンと嫌な音を立てたあと鳴り止み御臨終です。
どちらもSMART情報も取れない状態。

まだ、1台目のresilverが完了していない状況ですが、zpool statusで進捗を確認するとDEGRADED状態のHDDが1台発生。
こちらはSMART情報が取れたので確認するとエラーが記録されていました。
何とか完了まで持ち堪えて欲しい。

初ST4000DM004ですが、2年で二台故障、一台エラー発生と耐久性が低いような感じがします。

2020/6/20追記)
一台目のresilver中に全HDDがDEGRADEDステータスになりヒヤッとしましたが、リブート後無事再開することができました。
一台目のresilver完了後に、二台目のHDDを入れ替えresilverを開始しましたが何方も6日程度時間がかかり、およそ12日で復旧となりました。

処理時速度は、resilver開始後に暫くして3桁MB/sになるも、直ぐに70MB/s程度になり徐々に減速し終了間際は52MB/s程度になり非常に低速です。
SMRが原因と思われるので、次に入れ替える時はCMRを選んでみようと思います。 4TBのHDD入れ替えで6日は、厳しいかなと思います。
ちなみに、プールの使用率は90%程度で空きが1.5TB程度ある状態、正常時の書き込みが激遅になっていないので、空き容量としては許容範囲かなと考えています。

Seagate BarraCudaはコスパが良くて気に入っていたのですが、SMRとzfsの相性はやはり悪そうです。
普段利用している時は特に不都合は感じないのですが、resilverの長時間書き込みではデメリットが顕著になるように感じました。

最近組んだPCのHDDもBarraCudaなのでSMRなんですよね、しかも6TBにしてしまいました。