最終バックアップのキーワード=ERASURE CODING
大容量ディスク時代の標準エンコード/デコード技術

(k)データデバイス内に当初定められたデータセットの値で(m)符号化を施します。 |
当初設定された値の制限内までデバイスの障害に耐え、最小限のパリティを使用し復元(Decod)が行われます。 |
---|
ハードディスクドライブの基本設計の見直しと進化
プラッターの振動を抑制しデバイスの寿命を飛躍的に向上


大容量の1台で数テラバイトのディスクを使用したRAIDシステムでは安全なストレージシステムを構成することは不可能になっています。
ディスク障害発生の最大の敵はプラッタ(磁性体)の損傷であり、振動の抑制は正常に長期間使用するためには必要な技術です。
壊れにくいディスクは年間で0.7%前後の故障率ですが同じメーカー製でも型式により大きなバラツキがあります。
エンタープライズ仕様だから壊れにくいということは有りません。
ヘリウム封入ドライブへの置き換えは急務です。
オブジェクト構造はVolume設計や複雑な管理を排除、スペアディスクも不要

オブジェクトはブロックやセクターと呼ばれる単位で保存され必要に応じた応答が成されます。
障害が発生する単位もオブジェクト単位で有り、復旧時も必要なメタデータを使用しオブジェクト単位のデコードが発生します。
ディスク単位では無いことから復旧の必要な時間が最少時間で済み不要な2次障害を防ぐことが可能になっています。
エアー封入ドライブ vs ヘリウム封入ドライブ
既に発売から数年を経過したヘリウム封入ドライブは10テラバイトモデルが出荷され広大なディスク空間を実現しました。エアー封入の前モデルや他社の製品は扱いにより障害の頻度が大きく異なり安定した性能の提供には至らないことがあります。さらに障害が発生した場合の復旧時間に必要な時間の見積もりと結果は大変な時間を要し現実的ではありません。以前から定評の高いHGST社製ドライブは他社のドライブとは大きく異なり障害の発生度合いが非常に少なくさらにヘリウム封入技術により大容量のディスクメディアであっても安心して使用できるドライブメディアとして認識されています。
ビッグデータ時代のヘリウム封入ドライブはActiveArchive Systemに無くてはならないドライブです。
HGST アクティブアーカイブシステム
(HIMARAYA)

アクティブアーカイブシステムは緊急なディスク交換の必要性を極力排除し運用を「テープドライブに変わるメディアに」の思想の元に設計されたシステムです。このオブジェクトで構成されるストレージの最大容量はラックキャビネット1台で4.9ペタバイトに達し最大で29ペタバイトの広大な空間をメンテナンスフリーでスケール可能です。
広大なディスク空間の冗長化にはイレイジャーコード技術が(消失符号訂正技術)が採用されています。イレイジャーコーディングの符号化技術は単体で10テラバイトのディスクドライブに障害が発生した場合でも従来のレイドコントローラでは全ての構造データを再定義しなければならなかったのですが符号化技術とオブジェクトストレージの恩恵で10テラバイト全てのアロケーションをスキャンせずオブジェクト単位のデータをチェックするのみで済むためRAID Controllerとは比較にならないほど短時間で復旧を完了させます。
弊社参考資料:RAID Controller vs Erasure Coding + Object Storage
A社 RAID Controller :運用時(4TB x 12本 = 48TB)の再構築時間 = 約40時間
B社 Erasure code機器 :運用時(4TB x 18本 = 72TB)の再構築時間 = 約4時間
また、データのディザスタリカバリーもオブジェクトデバイスを採用していることで夫々の設置場所を考えずに自由に配置することが可能です。これはオブジェクトストレージが持つ通常の機能で各々が接続されるネットワーク環境を整備することで容易にデータのレプリケーションや同期を成立させることが出来ます。
消失訂正符号

RAIDを使用したシステムでアレイを構築する際はカードベンダー毎に様々な制限が存在しておりこのアレイを構成するドライブは数十台の構成に留まります。これは32ビットコードが主体であることとXORの符号化技術を使用した誤り訂正が復元の時全ブロックのパリティをチェックし非常に多くの時間を必要とすることからです。このシステムは復元中に他のドライブでも障害が発生しデータ損失を伴う危険性を内包しています。
イレイジャーコーディング(Erasure Coding)は消失したビット列を復元するために使用される技術であり右図に示す通り3分割オブジェクト中1オブジェクトに損失が発生してもデコード可能です。この消失訂正符号技術を取り入れることでデータの保全製は飛躍的に高まりペタバイト、エクザバイトのシステムであってもデータ復元時の損失事故を未然に防ぎ最善のソリューションを提供することが出来ます。
現在は分散ファイルシステムやオブジェクト志向の大容量デバイスシステムに取って最適のソリューションであり数百台のドライブ集合体の広大なボリュームとして提供する場合は必須の技術です。