AIGFS Technology Overview

AIGFS AI・HPC時代のための分散並列ファイルシステム

Performance Highlights

従来比I/O性能向上

80GB/s

FAST Tier最大スループット

PB+

ペタバイト級データ管理

AIGFSとは

AIGFS(AI Generation File System)は、 オープンソースの柔軟性と信頼性を活かして開発された AI・HPC環境向けの分散並列ファイルシステムです。

AI学習やシミュレーション環境では、 ペタバイト規模のデータセットを高速に処理できるストレージ基盤が求められます。 AIGFSは大容量データを効率的に管理し、 高いスループットと拡張性を提供します。

AIGFS

主要機能

高速I/O処理

NVMe SSDやメモリをRAWデバイスとして活用するFAST Tierにより、 最大80GB/sのI/Oスループットを実現します。

リニアスケールアウト

ノード追加によるスケールアウトに対応しており、 システム規模の拡大に合わせて性能向上を実現します。

高い互換性

NFS、SMB、POSIX準拠のアクセス方式をサポートし、 既存システムやアプリケーションとの高い親和性を維持します。

AIGFS Storage Hierarchy

AIGFSはFAST Tier、Master Tier、Archive Tierからなる3階層のストレージ階層を採用しています。
データのライフサイクルに応じて適切な階層で管理することで、高速アクセスと大容量アーカイブを両立します。

FAST Tier

High Performance SSD Storage

Master Tier

Primary Data Repository

Archive Tier

Long-Term Data Preservation

データ管理機能

AIGFSはデータセットインフラストラクチャーに対応しており、 長期保存とデータ保護を考慮した管理機能を提供します。

ネットワーク最適化

AIGFSはオープンソースベースであることを活かし、 ストレージだけでなくネットワーク全体の最適化に対応します。

RDMA / RoCEv2

低遅延・高スループット通信環境の構築を支援します。

PFC・ECN設計

Losslessネットワーク環境を実現するための設計・チューニングが可能です。

TCP最適化

TCP環境においてもECNを活用したパフォーマンス向上を実現します。