AIGFS

AIGFS Overview

AIGFSは、AI時代の分散ファイルシステムです。オープンソース技術をベースに、データセット単位で運用可能な標準仕様へ最適化された、高速かつPOSIX準拠のシステムインフラストラクチャーを提供します。

データセット単位での登録、公開、複製、世代管理、可視化をオペレーションとして実現し、クラウド、オンプレミス、リモート環境間においてもストレスなくデータへアクセスすることが可能です。

基盤となるOSには、多くのデベロッパーが採用しているDebianベースの環境に倣い、Debian 12以降を使用します。AIGFSインフラストラクチャーは、メモリデバイス主体のRAM Tier、高速なNVMe SSD主体のFAST Tier（従来のキャッシュサーバーに相当する高速アクセスレイヤー）を新たに設け、データの正本を保持するMASTER Tier、長期保管を担うARCHIVE Tierによる階層型ストレージを提供します。

ユーザーは元となるデータをMASTER Tierへ集約し、一つのデータセットとして登録します。登録されたデータセットは用途に応じてFAST TierやRAM TierへPromoteすることができ、高速なアクセス性能を実現します。データの更新時にはバージョン管理によって履歴を保持しながらMASTER Tierへ保存されます。

また、長期間アクセスされていないデータセットはARCHIVE Tierやリモートストレージへレプリケーションおよび移行され、ストレージリソースを効率的に活用します。

このようにAIGFSは単なるディレクトリの集合体ではなく、データの利用目的やアクセス頻度に応じて最適なレイヤーへ配置するデータセット指向のストレージ基盤です。AI学習、HPC、研究データ管理など、大規模データを扱う環境において高い性能と運用性を提供します。

AIGFSの基盤となるZFSストレージアーキテクチャーについては、「ZFS File System Architecture」をご参照ください。また、AIGFSの特徴やストレージ階層、データセット管理機能については、「AIGFS Technology Overview」にて詳しくご紹介しています。

AIGFS Tier Architecture

特徴

従来のディスクドライブの扱いを見直すことで、ネットワーク帯域を最大限に活用できる高速ストレージシステムを実現しました。

RAM Diskなどの高速デバイスは、従来のファイルシステムが介在することで本来の性能を十分に発揮できず、主にRAW Diskとしてデータベース用途に利用されてきました。しかしAIGFSでは、メタデータを分離したアーキテクチャーを採用することで、分散処理と高速アクセスを両立しています。

その恩恵はRAM TierおよびFAST Tierにおいて特に顕著であり、デバイス構成によっては100GB/秒に迫るI/O性能を発揮することも可能です。※

※ RDMA/RoCEv2およびNVIDIA® GPUDirect Storage（GDS）が必要となります。

AIGFSでは、各ディスクが独立した分散処理を実行するため、ネットワーク帯域の限界までスケールアップが可能です。また、ディスクやノードを追加することで、サービスを停止することなくスケールアウトを行うこともできます。

データの冗長性が求められる下位レイヤーには、堅牢なファイルシステムであるZFSを採用しています。ZFSはデータ保護の基盤として、データ耐久性とセキュリティを提供し、高度な消去符号化、エンドツーエンド暗号化、オブジェクトロック、バージョン管理、監視機能を備えています。さらに、アクティブデータおよびコールドデータの双方に対する修復機能をサポートし、高度なアクセス制御と長期的なデータ保持を実現します。

特に注目すべき点は、ディスク障害発生時の復旧性能です。ZFSは、単体ディスク容量が数十TB規模であっても、条件によっては数時間で復旧処理を完了することが可能です。これは従来のRAIDアレイでは実現が困難であり、長期間にわたるデータ保管において大きな差となります。

Dataset Management Platform

AIGFSはデータセットを中心とした管理基盤です。 Dataset Registryを通じて、データの登録、公開、複製、Tier制御、世代管理を実行できます。 以下は現在実装されている主な機能とコマンド体系です。

コマンド一覧

導入設計

AI/HPC市場では、ファイルをデータセット単位で管理・運用することが前提となりつつあり、その市場規模も拡大を続けています。一方、オンプレミス環境では依然としてファイル単位やユーザー単位での運用が一般的であるため、AIGFSではデータセット管理機能を利用しない従来型の運用モデルにも対応しています。

AIGFSは、CUDAを中心としたAIワークロードを利用するユーザーに対して、RDMA/RoCEv2およびNVIDIA® GPUDirect Storage（GDS）の導入を積極的に推奨しています。一方で、100Gbps〜200Gbpsクラスの環境では、高速ネットワークを活用しながらもユーザー要件に応じた最適な構成を提供します。

また、AIGFSはストレージサーバーだけでなく、クライアントを含めたシステム全体の設計およびカスタマイズを前提としています。運用方法やワークロードに応じて、最適なネットワーク構成、ストレージ階層、データ管理方式を選択できます。

100Gbps帯域のネットワーク環境であっても、シーケンシャルアクセスでは5～8GB/秒程度のI/O性能を実現可能です。ネットワーク上のパケット制御や通信最適化を考慮した設計により、ベンダーロックされた高価な専用ストレージ製品と同等の性能を、より柔軟でコスト効率の高い構成で実現します。

なお、この性能を実現するために、高価なInfiniBand環境やDPU機器の導入を必須としているわけではありません。ユーザーの要件と予算に応じて、最適な構成を選択することが可能です。

ハードウェア構成例

AIGFSは、研究データ基盤からAI学習環境、大規模アーカイブまで、用途に応じて柔軟な構成を選択できます。以下は代表的な構成例であり、必要な性能、容量、可用性、予算に応じてCPU、メモリ、ストレージ、ネットワークを最適化することが可能です。