Broadcomに買収されてからもVMwareのPrivate AIを重視する姿勢は変わらないようです。
NVIDIA Private AIのドキュメントが公開されてました。
個人でも構築できるような環境なのか確認してみましょう。
NVIDIA A100
NVIDIA L40S
NVIDIA H100
価格ドットコムの最安値だとH100が5555000円、L40Sが1369000円となっていました（A100は旧製品ということで取り扱いがないショップが多いようでした）
この時点ですでに個人レベルでは構築が厳しいことがわかります。
L40Sであればまだ現実的な値段・・ですかね。
なお、GPUについては以下のサイトで見積もりがとれるようです。
今回のPrivate AIの要件となっているGPUはハイエンドの型ばかりであるのがわかりますね。
また、GPU共有モードは以下のいずれかが選択できます。
Time-slicing
・GPUをオーバーコミットし、GPUに対するアクセスを短いインターバルに分割して様々なタスクに割り当てる
・GPU を 複数のインスタンスに分割し、それぞれに高帯域幅のメモリ、キャッシュ、コンピューティング コアを割り当てたうえで完全に分離する
参考にしたAWSの記事曰くGPUの共有方法は複数あるようで、赤丸で囲った部分が今回の対象となっています。
次回はGPUソフトウェアの要件や、VCF側の要件について紹介します。
参考にした記事
GPU sharing on Amazon EKS with NVIDIA time-slicing and accelerated EC2 instances | Containers
