Long-Term Archive Solution
研究データは生成直後の高速アクセスだけでなく、数年から数十年にわたる保管を前提とした設計が必要です。
AIGFSではMaster Tier上のデータをArchive Tierへ複製し、さらに遠隔地や別サイトへ保管することで、災害対策と長期保全を実現します。
アーカイブ先は用途に応じて、大容量HDDストレージ、別拠点AIGFS、テープライブラリーなど複数の構成に対応可能です。
研究成果やAI学習データは、生成した時点ではなく、10年後・20年後に再利用できる状態で保管されていることが重要です。
AIGFS Long-Term Archiveは、大容量データの長期保管、遠隔地保管、監査証跡保全を実現し、研究資産の継続的な活用を支援します。
AI・HPC環境では日々膨大なデータが生成されています。研究成果を将来にわたって活用するためには、 容量確保だけでなく、保全性・可用性・監査対応まで考慮した長期保管基盤が必要です。
AI学習やシミュレーションによって生成される研究データは、年々増加しPB級に達することも珍しくありません。
研究終了後も再解析や再利用のため、長期間にわたり安全に保存する仕組みが求められます。
自然災害やシステム障害に備え、別拠点へのレプリケーションや遠隔地保管が重要です。
いつ・誰が・どのデータを扱ったかを追跡できる証跡管理と監査基盤が求められます。
研究データは生成直後の高速アクセスだけでなく、数年から数十年にわたる保管を前提とした設計が必要です。
AIGFSではMaster Tier上のデータをArchive Tierへ複製し、さらに遠隔地や別サイトへ保管することで、災害対策と長期保全を実現します。
アーカイブ先は用途に応じて、大容量HDDストレージ、別拠点AIGFS、テープライブラリーなど複数の構成に対応可能です。
AIGFSではデータの重要度や保存期間に応じて複数の保管階層を構成し、容量・コスト・可用性のバランスを最適化します。
Master Tierから複製されたデータを保管するアーカイブ専用領域です。高速アクセスを必要としないデータを効率的に管理できます。
別拠点へ定期的にデータを複製し、災害やシステム障害に備えます。研究資産を地理的に分散して保護します。
テープライブラリーや大容量ストレージへ保管し、10年以上の超長期保存にも対応します。低コストかつ高い保全性を実現します。
AIGFS Long-Term Archiveは、単なるデータ保管ではなく、整合性・可用性・運用効率を考慮した複数の技術によって構成されています。
ファイルシステムの状態を瞬時に保存し、世代管理や障害発生時の迅速な復旧を実現します。
Archive Tierや別サイトへデータを複製し、災害対策と長期保全を実現します。
チェックサムによる整合性検証を行い、長期保存時のデータ破損や改ざんを検知します。
大容量HDD環境に最適化されたZFSの保護機能です。長期保管領域の信頼性と再構築性能を向上します。
AIGFSではArchive Tierへの複製に加え、別サイトへのレプリケーションやテープライブラリーを利用した長期保管にも対応しています。
mtxコマンドによるライブラリー制御とtarを利用したアーカイブ保存例です。
ZFS SnapshotとZFS Sendを利用したアーカイブ運用例です。
エビデンス（証跡）とは、データアクセスや操作履歴を記録した情報を指します。監査データとは、その証跡を第三者が検証可能な形式で保存したものです。
事故が発生した場合でも、原因不明の状態は避けなければなりません。
これらの仕組みは、デジタルフォレンジックにおいて重要な基盤要素となります。原則として以下の４つが代表的なものです。
SHA256・SHA512・BLAKE3等による完全性検証
レプリケーション・冗長化・バックアップによる可用性確保
暗号化・ACL・RBACによるアクセス制御
電子署名・タイムスタンプ・WORM等によって実現される非否認性
証跡保全ではログサーバーによる集中管理が有効です。ネットワークスイッチやサーバーノードからログを収集し、 ハッシュ保存、WORM保管、タイムスタンプ付与を組み合わせることで長期間にわたり信頼できる監査基盤を構築できます。
また、スナップショットや世代管理は研究データの変更履歴を保持する手法として有効であり、データ再現性の向上にも寄与します。
AIGFSでは、既に以下の情報をDB化しており、 いつ・誰が・どのデータを・どこへ移動し・改変が行われていないかを追跡しています。