Developers have shown a lot of excitement for
NVIDIA NIM microservices
, a set of easy-to-use cloud-native microservices that shortens the time-to-market and simplifies the deployment of generative AI models anywhere, across cloud, data centers, cloud, and GPU-accelerated workstations.
To meet the demands of diverse use cases, NVIDIA is bringing to market a variety of different AI models packaged as NVIDIA NIM microservices, which enable key functionality in a
generative AI inference workflow
.
A typical generative AI application integrates multiple different NIM microservices. For instance,
multi-turn conversational AI in a RAG pipeline
uses the LLM, embedding, and re-ranking NIM microservices. The deployment and lifecycle management of these microservices and their dependencies for production generative AI pipelines can lead to additional toil for the MLOps and LLMOps engineers and Kubernetes cluster admins.
This is why NVIDIA is announcing the
NVIDIA NIM Operator
, a Kubernetes operator designed to facilitate the deployment, scaling, monitoring, and management of NVIDIA NIM microservices on Kubernetes clusters. With NIM Operator, you can deploy, auto-scale, and manage the lifecycle of NVIDIA NIM microservices with just a few clicks or commands.
Cluster admins and MLOps and LLMOps engineers don’t have to put effort into the manual deployment, scaling, and lifecycle management of AI inference pipelines. NIM Operator handles all of this and more.
Core capabilities and benefits
Developers are looking to reduce the effort of deploying AI inference pipelines at scale in local deployments. NIM Operator facilitates this with simplified, lightweight deployment and manages the lifecycle of AI NIM inference pipelines on Kubernetes. NIM Operator also supports pre-caching models to enable faster initial inference and autoscaling.
Figure 1. NIM Operator architecture
Figure 2. NIM Operator Helm deployment
Intelligent model pre-caching
NIM Operator offers
pre-caching of models
that reduces initial inference latency and enables faster autoscaling. It also enables model deployments in air-gapped environments.
Use NIM intelligent model pre-caching by specifying NIM profiles and tags, or let NIM Operator auto-detect the best model based on the GPUs available on the Kubernetes cluster. You can pre-cache models on any available node based on your requirements, either on CPU-only or on GPU-accelerated nodes.
When this option is selected, NIM Operator creates a persistent volume claim (PVC) in Kubernetes and then downloads and caches the NIM models in the cluster. Then, NIM Operator deploys and manages the lifecycle of this PVC using the
NIMCache
custom resource.
Figure 3. NIM microservice cache deployment
Automated AI NIM pipeline deployments
NVIDIA is introducing two Kubernetes custom resource definitions (CRDs) to deploy NVIDIA NIM microservices:
NIMService
and
NIMPipeline
.
NIMService
, when deployed, manages each NIM microservice as a standalone microservice.
NIMPipeline
enables the deployment and management of several NIM microservices collectively.
Figure 4 shows a RAG pipeline managed as a microservice pipeline. You can manage multiple pipelines as a collection instead of individual services.
Figure 4. NIM microservice pipeline deployment
Autoscaling
NIM Operator supports
auto-scaling the NIMService deployment
and its
ReplicaSet
using Kubernetes Horizontal Pod Autoscaler (HPA).
The
NIMService
and
NIMPipeline
CRDs support all the familiar HPA metrics and scaling behaviors, such as the following:
Specify minimum and maximum replica counts
Scale using the following metrics:
Per-pod resource metrics, such as CPU
Per-pod custom metrics, such as GPU memory usage
Object metrics, such as NIM max requests or
KVCache
External metrics
You can also specify any HPA scale-up and scale-down behavior, for example, a stabilization window to prevent flapping and scaling policies to control the rate of change of replicas while scaling.
For more information, see
GPU Metrics
.
Figure 5. NIM Auto-scaling
Day 2 operations
NIMService
and
NIMPipeline
support easy rolling upgrades of NIM with a customizable rolling strategy. Change the version number of the NIM in the
NIMService
or
NIMPipeline
CRD and NIM Operator updates the NIM deployments in the cluster.
Any changes in
NIMService
pods are reflected in the
NIMService
and
NIMPipeline
status. You can also add Kubernetes ingress for
NIMService
.
Support matrix
At launch, NIM Operator supports the reasoning LLM and the retrieval—embedding NIM microservice.
We are continuously expanding the list of supported NVIDIA NIM microservices. For more information about the full list of supported NIM microservices, see
Platform Support
.
Conclusion
By automating the deployment, scaling, and lifecycle management of NVIDIA NIM microservices, NIM Operator makes it easier for enterprise teams to adopt NIM microservices and accelerate AI adoption.
This effort aligns with our commitment to make NIM microservices easy to adopt, production-ready, and secure. NIM Operator will be part of future releases of NVIDIA AI Enterprise to provide enterprise support, API stability, and proactive security patching.
Get started with
NIM Operator through NGC today
, or get it from the
GitHub repo
. For technical questions on installation, usage, or issues, please file an issue on the repo.
Reading Time:
2
minutes
開発者は、これは、クラウド、データ センター、クラウド、GPU により高速化されたワークステーションなど、あらゆる場所で市場投入までの時間を短縮し、生成 AI モデルのデプロイを簡素化することができる、使いやすいクラウドネイティブのマイクロサービスである
NVIDIA NIM マイクロサービス
に大いに期待しています。
多様なユース ケースの要求に応えるため、NVIDIA は、NVIDIA NIM マイクロサービスとしてパッケージ化されたさまざまな AI モデルを市場に投入しており、
生成 AI 推論ワークフロー
の主要な機能を実現しています。
通常の生成 AI アプリケーションでは、複数の異なる NIM マイクロサービスを統合しています。例えば、
RAG パイプラインのマルチターン対話型 AI
では、LLM、埋め込み、リランキングなどの複数の NIM マイクロサービスを使用しています。これらのマイクロサービスのデプロイやライフサイクル管理、本番環境の生成 AI パイプラインへの依存関係により、MLOps および LLMOps のエンジニア、Kubernetes クラスターの管理者の労力がさらに増える場合があります。
このため、NVIDIA は、Kubernetes クラスターで NVIDIA NIM マイクロサービスのデプロイ、スケーリング、監視、管理を容易にするよう設計された Kubernetes オペレーターである
NVIDIA NIM Operator
を発表しました。NIM Operator を使用すれば、わずか数回のクリックまたはコマンドで、NVIDIA NIM マイクロサービスのデプロイ、オートスケーリング、ライフサイクルを管理することができます。
クラスター管理者や MLOps および LLLMOps のエンジニアが、AI 推論パイプラインの手作業によるデプロイ、スケーリング、ライフサイクル管理に労力を費やす必要はありません。NIM Operator がこれらすべてに対処します。
主な機能とメリット
開発者は、AI 推論パイプラインをローカルで大規模にデプロイする労力を軽減したいと考えています。NIM Operator は、簡素化された軽量なデプロイでこれを促進して、Kubernetes で AI NIM 推論パイプラインのライフサイクルを管理します。NIM Operator は、モデルの事前キャッシュもサポートしており、初期推論とオートスケーリングをより高速化することができます。
図 1. NIM Operator のアーキテクチャ
図 2. NIM Operator Helm のデプロイ
モデルのインテリジェント事前キャッシュ
NIM Operator は、
モデルの事前キャッシュ
を行い、初期推論の遅延を低減して、オートスケーリングをより高速化することができます。また、インターネット接続のない環境でもモデルのデプロイが可能です。
NIM プロファイルとタグを指定して、NIM モデルのインテリジェント事前キャッシュを使用するか、Kubernetes クラスターで利用可能な GPU に基づいて、NIM Operator に最適なモデルを自動検出させます。CPU のみが搭載されたノードでも、GPU により高速化されたノードでも、要件に応じて利用可能なノードにモデルを事前キャッシュすることができます。
このオプションを選択すると、NIM Operator は、Kubernetes にPersistent Volume Claim (PVC) を作成し、クラスターに NIM モデルをダウンロードしてキャッシュします。次に、NIM Operator が NIMCache カスタム リソースを使用して、この PVC のライフサイクルをデプロイして管理します。
図 3. NIM マイクロサービス キャッシュのデプロイ
自動 AI NIM パイプライン デプロイ
NVIDIA は、2 つの Kubernetes カスタム リソース定義 (CRD) を導入して、NVIDIA NIM マイクロサービスである
NIMService
と
NIMPipeline
をデプロイします。
NIMService
がデプロイされると、各 NIM マイクロサービスをスタンドアロンのマイクロサービスとして管理します。
NIMPipeline
は、複数の NIM マイクロサービスをまとめてデプロイし、管理することができます。
図 4 は、マイクロサービス パイプラインとして管理される RAG パイプラインを示しています。複数のパイプラインを個別のサービスではなく、一括して管理できます。
図 4. NIM マイクロサービス パイプラインのデプロイ
オートスケーリング
NIM Operator は、Kubernetes Horizontal Pod Autoscaler (HPA) を使用して、
NIMService のデプロイ
とその ReplicaSet のオートスケーリングに対応しています。
NIMService
と
NIMPipeline
の CRD は、以下のような HPA でおなじみのメトリクスとスケーリング動作をすべてサポートしています。
レプリカ数の最小値と最大値を指定する
以下のメトリクスを使用してスケーリングする
CPU など、ポッドごとのリソース メトリクス
GPU メモリの使用量など、ポッドごとのカスタム メトリクス
NIM 最大リクエストや KVCache などのオブジェクト メトリクス
外部メトリクス
また、フラップを防止する安定化ウィンドウや、スケーリング中にレプリカ数の変化を制御するスケーリング ポリシーなど、HPA のスケールアップ動作とスケールダウン動作を指定することもできます。
詳細については、
GPU メトリクス
をご覧ください。
図 5. NIM オートスケーリング
2 日目のオペレーション
NIMService
と
NIMPipeline
は、カスタマイズ可能なローリング戦略で NIM の簡単なローリング アップグレードをサポートしています。
NIMService
または
NIMPipeline
CRD で NIM のバージョン番号を変更すると、NIM Operator は、クラスターの NIM デプロイを更新します。
NIMService
ポッドの変更はすべて
NIMService
と
NIMPipeline
のステータスに反映されます。
NIMService
向けに Kubernetes Ingress を追加することもできます。
サポートされるモデルとプラットフォーム
リリース時点で、NIM Operator は、LLM やRetrieval（埋め込み） NIM マイクロサービスをサポートしています。
NVIDIA は、サポート対象の NVIDIA NIM マイクロサービスのリストを継続的に拡大しています。サポート対象の NIM マイクロサービスの全リストの詳細については、
プラットフォーム サポート
をご覧ください
。
まとめ
NVIDIA NIM マイクロサービスのデプロイ、スケーリング、ライフサイクル管理を自動化することで、NIM Operator は、エンタープライズ チームが NIM マイクロサービスを簡単に導入し、AI の導入を高速化できるようにします。
この取り組みは、NIM マイクロサービスを簡単に導入でき、本番環境に対応し、安全性を確保するという NVIDIA のコミットメントとも一致しています。NIM Operator は、NVIDIA AI Enterprise が今後リリースする機能の一部で、エンタープライズ サポート、API の安定性、プロアクティブなセキュリティ パッチを提供します。
今すぐ NGC で NIM Operator
を使い始めるか、
GitHub リポジトリ
から入手してください。インストール、使用方法、問題に関する技術的な質問については、リポジトリに Issue を提出してください。
関連情報
GTC セッション:
エンタープライズの加速: 次世代 AI デプロイのためのツールやテクニック
GTC セッション:
LLM 推論サイジング: エンドツーエンド推論システムのベンチマーク
NGC コンテナー:
NVIDIA NIM Operator
NGC コンテナー:
NVIDIA GPU Operator
NGC コンテナー:
NV-CLIP
ウェビナー:
本番環境対応の生成 AI で世界最高クラスのテキスト検索精度を実現