Reserch Data Platform

大容量・小ファイル管理

研究データ基盤に求められる新しいストレージ設計

AI学習、シミュレーション解析、ゲノム解析、センサーデータ収集などの研究分野では、100KB程度の小さなファイルが数千万から数億個単位で生成されることがあります。
このような環境では、データ容量そのものよりも「ファイル数」がシステム性能を左右します。保存自体は可能であっても、ファイル検索やディレクトリ参照、バックアップ処理などで膨大なメタデータアクセスが発生し、システム全体の応答性能が大きく低下する場合があります。
AIGFSを活用したResearch Data Platformでは、こうした研究データ特有の課題に対応するため、分散処理と階層型ストレージアーキテクチャを採用しています。

ストレージ性能の比較

メタデータ性能を左右するIOPSの重要性

大量の小ファイル環境では、実データの転送速度よりも、ファイル情報を管理するメタデータへのランダムアクセス性能（IOPS）が重要になります。

メタデータは数バイトから数キロバイト程度の小さな情報の集合体です。そのため、シーケンシャル性能よりもIOPS性能が大きく影響します。
HDDとNVMe SSDではランダムアクセス性能に数千倍以上の差が存在し、大規模な研究データ環境ではこの差がシステム全体の応答性能として現れます。

階層型ストレージアーキテクチャ

データ特性に応じた最適配置

現代の分散ファイルシステムでは、すべてのデータを同一デバイスへ保存するのではなく、用途に応じて適切なストレージ階層へ配置します。

コモディティ化によるブレイクスルー

エンタープライズ技術をOSSと汎用ハードウェアで実現

かつては専用ストレージ装置や高価なライセンスが必要だったメタデータ分離や自動階層化（Tiering）は、現在ではオープンソースソフトウェアと汎用サーバーの組み合わせで実現できるようになりました。
AIGFSでは最新のソフトウェア定義ストレージ技術を活用し、高性能かつ柔軟な研究データ基盤を構築します。

Research Data Platformが実現すること

大規模研究データを効率的に管理

AIGFSを活用したResearch Data Platformは、分散処理と階層型アーキテクチャを組み合わせることで、研究機関が抱える大規模データ管理の課題を解決します。

• 数億ファイル規模の研究データ管理
• 高速なファイル検索・探索性能
• AI・HPC環境との連携
• 研究データの長期保管とアーカイブ
• 将来的な容量拡張への柔軟な対応

採用技術

XFS v5 Formatによる高効率なメタデータ管理

AIGFSでは、大規模なメタデータ処理に適した XFS v5 Format を採用しています。
XFSはAllocation Group（AG）による分散管理とB+treeベースのメタデータ構造を採用しており、大量のファイルやディレクトリを効率的に処理できます。
また、AIGFSの設計・検証過程において主要なLinuxファイルシステムとの比較評価を実施し、安定性、障害耐性、メタデータ性能およびスループットを総合的に評価した結果、XFS v5 Formatを標準採用しています。

XFSは複数のAllocation Group（AG）へメタデータを分散することで、高い並列性と優れた探索性能を実現しています。