構築したばかりのRAID、HDD1台堂々退場す。ブログ版メニューHome/ネットワーク/構築したばかりのRAID、HDD1台堂々退場す。2024-06-18構築したばかりのRAID、HDD1台堂々退場す。目次RAIDリビルド原因調査2台目の離脱2度目の原因調査キャッシュSSDが悪い説メモリが悪い説HDDのどれか1台が悪い説HDDのロットが悪い説SynologyのNASが悪い説Synologyさんへの問い合わせなぜこうなったかを考える今後の対応そして訪れる4月21日80万円を掛けて投入した弊宅の旗艦ストレージであるDS1821+。そのRAID構築からわずか1ヶ月程度で、HDD1台が堂々退場となりました。いうわけで本記事はじゃじゃ馬だったNASを落ち着かせる努力をするお話です。最後まで読んでも解決していません。RAIDリビルド深夜、突如としてRAIDの警告音が鳴り響き1台のHDDがRAIDから離脱しました。ホットスペアを設定していたため自動的にリビルドが開始されました。夜中の近所迷惑となるため警告音を停止させます。コントロールパネルの「ハードウエアと電源」の中に消音ボタンがありますのでここで切れます。Dropboxとデータ同期していたCloudSyncを停止しリビルドに専念させます。リビルド時間に1ヶ月掛かるという表示がでており、さすがに1台20TBとはいえ掛かりすぎのため設定を見直しました。ここの設定でリビルドに割くリソースを設定できますので全力を出してもらいます。これでリビルド時間は1日になりました。原因調査リビルドと平行して離脱した原因を調査します。エラーログとしては「HDDアクセス時にエラーが発生しました」の重大な状態表示です。HDDの状態を確認するためにSMART情報を確認します。Synology上の簡易チェックは不良セクター等は0件でした。HDDを取り外しWindows機に繋いでCrystalDiskInfoでSMART情報を確認しますが怪しそうなところはありません。続いてWDが出している公式ツールでフルチェックを掛けます。フルチェックの場合丸一日かかりました。これでも問題は検出できませんでした。Goldを購入したため5年間保証がありますのでリビルドして落ち着いたらRMAしようかと考えていました。Scrubbingが走り正常状態に戻りました。正常状態になって2日後に別のHDDが同じエラーで離脱してしまいました。なると偶々製造ロットが悪かったという可能性もゼロではありませんがHDDの故障とは疑い辛いです。一次対応で前回離脱したHDDに再度リビルドを行いました。2度目の原因調査キャッシュSSDが悪い説まずキャッシュSSDの不良を疑いました。サポート外品ですので相性が悪い可能性が考えられます。今回キャッシュSSDは読込キャッシュのみで書込キャッシュには使っていないのでデータが悪くなってもHDD側に影響があるとは考えにくいのですが1度無効化してみました。キャッシュSSDを無効化するとレスポンスが非常に悪くなり常にHDDはアクセス音を響かせる騒音発生器になりました。この状態での常用は難しそうです......そして数日後にまたHDDが離脱しました。キャッシュSSDは犯人では無さそうです。キャッシュSSD設定は元に戻しました。メモリが悪い説Synology純正のメモリはECCの4GBだったのですが購入直後にNonECCの32GBに増設しています。メモリチェックもしてませんし、もしかすると我が家に宇宙線が降り注いでいる可能性があります。(宇推くりあは良いぞ!)そこでメモリを純正の4GBに戻してみましたがこちらも効果が無く、しばらくするとHDDのエラーが出ました。4GBで運用してみても不便は感じなかったため4GBのままで運用を続けています。コンテナやVMを起動しないのであれば4GBで十分だったと思います。RAMキャッシュが弱いのが難点かもしれませんが。今回離脱したHDD以外が悪いという可能性もあります。1台悪いHDDが居るためにシステム全体が不安定になっている説です。そのため全体のSMARTテストを回しました。これでも結果は正常でした。今回購入した20TB、8台のHDDすべてが不良ロットの可能性もゼロではないので別のHDDを付けてみます。リンクたまたま安く出ていたHITACHIのUltrastarがありましたのでこちらを購入しました。Ultrastarは現在ではWDブランドになっているため混ぜても使えるのではないか?というのも選定理由です。GoldのHDDは次々離脱します。してある日、Ultrastarもエラーが発生しました。これでHDD原因説はほぼ消えたのではと思います。SynologyのNASが悪い説SynologyのNASが不良品だったという可能性もあるかもしれませんが、2ヶ月は問題無く稼働しておりエラーが出るベイもまちまちなため可能性としては薄いかと思っています。薄いと思いたい、なぜならここがダメだった場合は交換調査が難しいからです。Synologyさんへの問い合わせ本来このような問題が発生した場合、Synologyさんに問い合わせれば内部ログとセットでサポートチケットを切っていただけます。公式HPにある互換性リストに乗っていない製品を使っていた場合はサポート外のため問い合わせできません。互換性リストは製品のファームウェアバージョンまで指定されており、同じ型番で購入してもサポート外の事が多いため純正パーツ以外でサポートを受けるのは厳しいと思います。現在の状況についてサポートチケットを切る事はできなくても、OS仕様の質問として現在のアクセスエラーがどういったときに起きる物なのかを質問することは可能なのではという希望で問い合わせしてみました。Scrubbingを1度実行してみたらどうだ?」という事でした。Scrubbing自体はRAIDリビルドしたときに自動で行われるため何度も実行している認識でした。Scrubbingが行われました。RAIDリビルド時の実行と内容が違っているような雰囲気がします。Scrubbingを行った後は2ヶ月ほど問題が起きませんでした。Scrubbingを行うと治るということはRAIDのデータの整合性がとれてない可能性があると考えました。整合性がとれてないのか初めて問題が発生した日、2回目以降問題が発生した日で共通点がないかと調べてみました。すると頭の中におぼろげながら浮かび上がってきたのが水道管工事です。ここ4-5ヶ月ほど掛けて自宅の周りの水道管を耐震水道管に置き換える工事が進んでいます。その工事の初日の夜がHDDエラーの初日でした。水道管の置き換え工事は毎回1-2日間行われそれが数ヶ月間5回ほど行われました。仮設水道管の工事などを行い水道利用者にサービスを止めない様にするためです。水道管を工事するためにはアスファルトを外すため工事中に震度1程度の揺れが継続的に発生しています。その小刻みな震動を受けてHDDとNAS側のSATA接続に不具合が生じてエラーが発生したという可能性が考えられます。震動が原因であれば工事最中にエラーが発生するはずで工事後の深夜に発生する理由が分かりません。問題が発生する日はなぜか水道管工事の後に起きる事が多いのも事実です。仮に原因が水道管工事だったとしても、震災時に水道管が壊れる事を思えばNASが壊れたくらい些細なことです。水道管の老朽化が叫ばれる昨今、自宅周りを優先的に工事して頂いたこととても有り難く思っています。Scrubbingも実行して安定感が出てきました。このまま現象は収束するのかもしれません。NAS自体の故障は天災等でいつでも起こりえる物です。前倒しでバックアップ戦略を実行することにしました。理想は3-2-1バックアップ。3つのバックアップを2つのメディアに保存し1つは別の場所に保存するというものです。現在のデータ容量を考えるとすぐに3-2-1バックアップを実践するのは厳しいです。そこで2-2-1バックアップということでクラウド上になんとかデータを保存することにしました。オンプレに回帰した理由がDropboxの容量無制限終了が理由なのでそのままクラウドに戻すことはできません。Archiveに保存しました。NASがクラッシュしてもすぐに取り出す必要はないのでなるべく値段の安さで選定しました。1TBを月1ドル程度で保存することが可能です。こちらに30TB預けました。Workspaceで分散保存にしました。各5TBありますので合わせて10TB確保できる計算です。VMのHDDやPCが利用するiSCSIに関してはソースコードさえあれば再構築可能なので古いNASを利用した2台NASのバックアップで対応しました。各種サーバー上に保存しておきたい需要データがある場合はちゃんとバックアップを実装するので問題もないでしょう。これでNASのクラッシュが起きても時間を掛ければ環境再構築が可能になりましたので枕を高くして寝られるようになりました。安心ですね!!そして訪れる4月21日2024年の4月21日、この日は新潟を旅行して程よい疲れとともに燕三条のホテルに辿り着きぐっすり夜を過ごしました。前回、新潟を旅行中に突如としてRAIDが崩壊しました。構築したばかりのRAID、HDD1台堂々退場す。80万円を掛けて投入した弊宅の旗艦ストレージであるDS1821+。そのRAID構築からわずか1ヶ月程度で、HDD1台が堂々退場となりました。いうわけで本記事はじゃじゃ馬だったNASを落ち着かせる努力をするお話です。80万円のNASを導入した。NASを導入しました。ついでに色々拡張しました。今回はこのNASの導入記事になります。こんな高額なNASを導入したのかというと、Dropboxの容量無制限プランの終了です。新設へ...構築したばかりのRAID、HDD1台堂々退場す。