小規模オンプレAI基盤
オンプレミスとは
実務の能力が劇的に向上しているコード生成AIの影響が大きいだろう、データセンターのサーバーの一時停止事故が頻繁に発生しており、一時では無く数週間停止という事例も発生している。
組織が技術者不足や過度な効率追求からインフラの運用構築をデータセンターに依存した過度のクラウド活用結果だ。また、クラウドをバックアップサイトとして利用する方法も一歩進んだ賢い使い方に思えるが
重要データをクラウドのみに依存することは無いが、一般的に重要とされるデータや即応化が必要なデータは手元で管理するのが一般的だ。
それがオンプレミスのインフラを利用するということでありクラウドやインターネット回線で障害が発生しても影響は少ない。
データセットインフラストラクチャー
AIGFSのオンプレミス用AI基盤はネットワーク装置を含めたシステムであり、30TB～500TB程度のデータ総容量を提供した階層別のI/O性能を持つdataset Infrastructureです。
AI学習、シミュレーション、データ共有を一つのインフラストラクチャーで提供するシステムです。
- FAST Tierは読み出し専用の超高速データストレージエリアで、TCPプロトコルを使用する場合とRDMA / とRoCEv2を使用する場合の性能差は顕著で4割以上性能向上が見込めます。
- Master Tierは正本保管とバージョン管理がメインのデータストレージ機能を提供します。HDDを主としますが、Hybridなディスク構成のおかげで最大では10GiB/秒に迫る性能を提供します。
- Archive Tierは複写データを保持するエリアでディスク構成自体は一般的に想像できるzfsを持つストレージシステムです。長期間のデータ保存とMaster Tierの高速性能はArchive Tierが存在するからこそです。
- dataset コマンドセットはデータの完全性保持、バージョン管理、転送命令、読み出し専用命令、バックアップを専用コマンドで一貫したルールで使用できる様に実装しました。
- ViewerはAPI を使用して運用状況、障害検知をブラウザ上で確認可能なツールを提供します。
