AI Reserch Infrastructure

小規模オンプレAI基盤

オンプレミスとは

実務の能力が劇的に向上しているコード生成AIの影響が大きいだろう、データセンターのサーバーの一時停止事故が頻繁に発生しており、 一時では無く数週間停止という事例も発生している。
組織が技術者不足や過度な効率追求からインフラの運用構築をデータセンターに依存した過度のクラウド活用結果だ。 また、クラウドをバックアップサイトとして利用する方法も一歩進んだ賢い使い方に思えるが重要データをクラウドのみに依存することは無いが、 一般的に重要とされるデータや即応化が必要なデータは手元で管理するのが一般的だ。
それがオンプレミスのインフラを利用するということでありクラウドやインターネット回線で障害が発生しても影響は少ない。

データセットインフラストラクチャー

AIGFSのオンプレミス用AI基盤はネットワーク装置を含めたシステムであり、30TB~500TB程度のデータ総容量を提供した階層別のI/O性能を持つdataset Infrastructureです。
AI学習、シミュレーション、データ共有を一つのインフラストラクチャーで提供するシステムです。

FAST Tier

読み出し専用の超高速データストレージエリア。
TCPとRDMA / RoCEv2では顕著な性能差があり、4割以上の性能向上が見込めます。

Master Tier

正本保管とバージョン管理を担うデータストレージ。
HDDを主としながら、Hybridなディスク構成により最大10GiB/秒に迫る性能を提供します。

Archive Tier

複写データを保持する長期保存用エリア。
ZFSを採用し、Master Tierの高速性能を支える役割を担います。


dataset コマンドセット

データの完全性保持、バージョン管理、転送命令、読み出し専用命令、バックアップを、 専用コマンドで一貫したルールで使用できるように実装しました。

Viewer

APIを使用して、運用状況や障害検知をブラウザ上で確認可能なツールを提供します。