The exponential growth of visual data—ranging from images to PDFs to streaming videos—has made manual review and analysis virtually impossible. Organizations are struggling to transform this data into actionable insights at scale, leading to missed opportunities and increased risks.
To solve this challenge, vision-language models (VLMs) are emerging as powerful tools, combining visual perception of images and videos with text-based reasoning. Unlike traditional
large language models
(LLMs) that only process text, VLMs empower you to build
visual AI agents
that understand and act on complex multimodal data, enabling real-time decision-making and automation.
Imagine having an intelligent AI agent that can analyze remote camera footage to detect early signs of wildfires or scan business documents to extract critical information buried within charts, tables, and images—all autonomously.
With
NVIDIA NIM microservices
, building these advanced visual AI agents is easier and more efficient than ever. Offering flexible customization, streamlined API integration, and smooth deployment, NIM microservices enable you to create dynamic agents tailored to your unique business needs.
In this post, we guide you through the process of designing and building intelligent visual AI agents using NVIDIA NIM microservices. We introduce the different types of vision AI models available, share four sample applications—streaming video alerts, structured text extraction, multimodal search, and few-shot classification—and provide Jupyter notebooks to get you started. For more information about bringing these models to life, see the
/NVIDIA/metropolis-nim-workflows
GitHub repo.
Types of vision AI models
To build a robust visual AI agent, you have the following core types of vision models at your disposal:
VLMs
Embedding models
Computer vision (CV) models
These models serve as essential building blocks for developing intelligent visual AI agents. While the VLM functions as the core engine of each agent, CV and embedding models can enhance its capabilities, whether by improving accuracy for tasks like object detection or parsing complex documents.
In this post, we use
vision NIM microservices
to access these models. Each vision NIM microservice can be easily integrated into your workflows through simple REST APIs, allowing for efficient model inference on text, images, and videos. To get started, you can experiment with hosted preview APIs on
build.nvidia.com
, without needing a local GPU.
Figure 1.The llama-3.2-vision-90b model on build.nvidia.com
Vision language models
VLMs bring a new dimension to language models by adding vision capabilities, making them multimodal. These models can process images, videos, and text, enabling them to interpret visual data and generate text-based outputs. VLMs are versatile and can be fine-tuned for specific use cases or prompted for tasks such as Q&A based on visual inputs.
NVIDIA and its partners offer several VLMs as NIM microservices each differing in size, latency, and capabilities (Table 1).
Company
Model
Size
Description
NVIDIA
VILA
40B
A powerful general-purpose model built on SigLIP and Yi that is suitable for nearly any use case.
NVIDIA
Neva
22B
A medium-sized model combining NVGPT and CLIP and offering the functionality of much larger multimodal models.
Meta
Llama 3.2
90B/11B
The first vision-capable Llama model in two sizes, excelling in a range of vision-language tasks and supporting higher-resolution input.
Microsoft
phi-3.5-vision
4.2B
A small, fast model that excels at OCR and is capable of processing multiple images.
Microsoft
Florence-2
0.7B
A multi-task model capable of captioning, object detection, and segmentation using simple text prompts.
Table 1. VLM NIM microservices
Embedding models
Embedding models convert input data (such as images or text) into dense feature-rich vectors known as embeddings. These embeddings encapsulate the essential properties and relationships within the data, enabling tasks like similarity search or classification. Embeddings are typically stored in
vector databases
where GPU-accelerated search can quickly retrieve relevant data.
Embedding models play a crucial role in creating intelligent agents. For example, they support
retrieval-augmented generation
(RAG) workflows, enabling agents to pull relevant information from diverse data sources and improve accuracy through in-context learning.
Company
Model
Description
Use Cases
NVIDIA
NV-CLIP
Multimodal foundation model generating text and image embeddings
Multimodal search, Zero-shot classification
NVIDIA
NV-DINOv2
Vision foundation model generating high-resolution image embeddings
Similarity search, Few-shot classification
Table 2.
Embedding NIM microservices
Computer vision models
CV models focus on specialized tasks like image classification, object detection, and optical character recognition (OCR). These models can augment VLMs by adding detailed metadata, improving the overall intelligence of AI agents.
Company
Model
Description
Use Cases
NVIDIA
Grounding Dino
Open-vocabulary object detection
Detect anything
NVIDIA
OCDRNet
Optical character detection and recognition
Document parsing
NVIDIA
ChangeNet
Detects pixel-level changes between two images
Defect detection, satellite imagery analysis
NVIDIA
Retail Object Detection
Pretrained to detect common retail items
Loss prevention
Table 3.
Computer vision NIM microservices
Build visual AI agents with vision NIM microservices
Here are real-world examples of how the vision NIM microservices can be applied to create powerful visual AI agents.
To make application development with NVIDIA NIM microservices more accessible, we have published a collection of examples on GitHub. These examples demonstrate how to use NIM APIs to build or integrate them into your applications. Each example includes a Jupyter notebook tutorial and demo that can be easily launched, even without GPUs.
On the
NVIDIA API Catalog
, select a model page, such as
Llama 3.1 405B
. Choose
Get API Key
and
enter your business email
for a 90-day
NVIDIA AI Enterprise
license, or use your personal email to
access NIM
through the
NVIDIA Developer Program
.
On the
/NVIDIA/metropolis-nim-workflows
GitHub repo, explore the Jupyter notebook tutorials and demos. These workflows showcase how vision NIM microservices can be combined with other components, like vector databases and LLMs to build powerful AI agents that solve real-world problems. With your API key, you can easily recreate the workflows showcased in this post, giving you hands-on experience with Vision NIM microservices.
Here are a few example workflows:
VLM streaming video alerts agent
Structured text extraction agent
Few-shot classification with NV-DINOv2 agent
Multimodal search with NV-CLIP agent
VLM streaming video alerts agent
With vast amounts of video data generated every second, it’s impossible to manually review footage for key events like package deliveries, forest fires, or unauthorized access.
This workflow shows how to use VLMs, Python, and OpenCV to build an AI agent that
autonomously monitors live streams for user-defined events
. When an event is detected, an alert is generated, saving countless hours of manual video review. Thanks to the flexibility of VLMs, new events can be detected by changing the prompt—no need for custom CV models to be built and trained for each new scenario..
Video 1. Visual AI Agent Powered by NVIDIA NIM
In Figure 2, the VLM runs in the cloud while the video streaming pipeline operates locally. This setup enables the demo to run on almost any hardware, with the heavy computation offloaded to the cloud through NIM microservices.
Figure 2. Streaming video alert agent architecture
Here are the steps for building this agent:
Load and process the video stream
: Use OpenCV to load a video stream or file, decode it, and subsample frames.
Create REST API endpoints:
Use FastAPI to create control REST API endpoints where users can input custom prompts.
Integrate with the VLM API:
A wrapper class handles interactions with the VLM API by sending video frames and user prompts. It forms the NIM API requests and parses the response.
Overlay responses on video:
The VLM response is overlaid onto the input video, streamed out using OpenCV for real-time viewing.
Trigger alerts:
Send the parsed response over a WebSocket server to integrate with other services, triggering notifications based on detected events.
For more information about building a VLM-powered streaming video alert agent, see the
/NVIDIA/metropolis-nim-workflows
notebook tutorial and demo on GitHub. You can experiment with different VLM NIM microservices to find the best model for your use case.
For more information about how VLMs can transform edge applications with
NVIDIA Jetson
and
Jetson Platform Services
, see
Develop Generative AI-Powered Visual AI Agents for the Edge
and explore additional resources on the
Jetson Platform Services
page.
Structured text extraction agent
Many business documents are stored as images rather than searchable formats like PDFs. This presents a significant challenge when it comes to searching and processing these documents, often requiring manual review, tagging, and organizing.
While optical character detection and recognition (OCDR) models have been around for a while, they often return cluttered results that fail to retain the original formatting or interpret its visual data. This becomes especially challenging when working with documents in irregular formats, such as photo IDs, which come in various shapes and sizes.
Traditional CV models make processing such documents time-consuming and costly. However, by combining the flexibility of VLMs and LLMs with the precision of OCDR models, you can build a
powerful text-extraction pipeline to autonomously parse documents
and store user-defined fields in a database.
Figure 3. Structured text extraction agent architecture
Here are the structured text-extraction pipeline building steps:
Document input:
Provide an image of the document to an OCDR model, such as OCDRNet or Florence, which returns metadata for all the detected characters in the document.
VLM integration:
The VLM processes the user’s prompt specifying the desired fields and analyzes the document. It uses the detected characters from the OCDR model to generate a more accurate response.
LLM formatting:
The response of the VLM is passed to an LLM, which formats the data into JSON, presenting it as a table.
Output and storage:
The extracted fields are now in a structured format, ready to be inserted into a database or stored for future use.
Figure 4. Structured text extraction example with vision NIM microservices
The preview APIs make it easy to experiment by combining multiple models to build complex pipelines. From the demo UI, you can switch between different VLMs, OCDR, and LLM models available on
build.nvidia.com
for quick experimentation.
Few-shot classification with NV-DINOv2
NV-DINOv2 generates embeddings from high-resolution images, making it ideal for tasks requiring detailed analysis, such as defect detection with only a few sample images. This workflow demonstrates how to build a
scalable few-shot classification pipeline
using NV-DINOv2 and a Milvus vector database.
Figure 5. Few-shot classification with NV-DINOv2
Here is how the few-shot classification pipeline works:
Define classes and upload samples:
Users define classes and upload a few sample images for each. NV-DINOv2 generates embeddings from these images, which are then stored in a Milvus vector database along with the class labels.
Predict new classes:
When a new image is uploaded, NV-DINOv2 generates its embedding, which is compared with the stored embeddings in the vector database. The closest neighbors are identified using the k-nearest neighbors (k-NN) algorithm, and the majority class among them is predicted.
Multimodal search with NV-CLIP
NV-CLIP offers a unique advantage: the ability to embed both text and images, enabling
multimodal search
. By converting text and image inputs into embeddings within the same vector space, NV-CLIP facilitates the retrieval of images that match a given text query. This enables highly flexible and accurate search results.
Figure 6. Multimodal search (image and text) with NV-CLIP
In this workflow, users upload a folder of images, which are embedded and stored in a vector database. Using the UI, they can type a query, and NV-CLIP retrieves the most similar images based on the input text.
More advanced agents can be built using this approach with VLMs to create multimodal RAG workflows, enabling visual AI agents to build on past experiences and improve responses.
Get started with visual AI agents today
Ready to dive in and start building your own visual AI agents? Use the code provided in the
/NVIDIA/metropolis-nim-workflows
GitHub repo as a foundation to develop your own custom workflows and AI solutions powered by NIM microservices. Let the example inspire new applications that solve your specific challenges.
For any technical questions or support, join our community and engage with experts in the
NVIDIA Visual AI Agent forum
.
Reading Time:
3
minutes
画像から PDF、ストリーミング動画に至るまで、ビジュアル データが指数関数的に急増しているため、手動によるレビューと分析は事実上不可能になっています。企業は、このデータを大規模に実用的な洞察に変えるのに苦労しており、その結果、機会逸失やリスクの増大につながっています。
この課題を解決するために、画像や動画の視覚認識とテキストベースの推論を組み合わせた強力なツールとして、ビジョン言語モデル (VLM) が登場しています。テキストのみを処理する従来の
大規模言語モデル
(LLM) とは異なり、VLM は複雑なマルチモーダル データを理解し、それに基づいて行動する
ビジュアル AI エージェント
を構築できるため、リアルタイムの意思決定と自動化が可能になります。
リモート カメラの映像を解析して山火事の初期兆候を検出したり、ビジネス文書をスキャンして、図表、画像に埋もれている重要な情報を抽出したりするインテリジェントな AI エージェントを想像してみてください。そのすべてを自律的に行うのです。
NVIDIA NIM マイクロサービス
を使用すれば、これらの高度なビジュアル AI エージェントの構築がこれまで以上に簡単で効率的になります。柔軟なカスタマイズ、合理的な API 統合、スムーズなデプロイなどを可能にする NIM マイクロサービスにより、独自のビジネス ニーズに合わせた動的なエージェントを作成できます。
この記事では、NVIDIA NIM マイクロサービスを使用してインテリジェントなビジュアル AI エージェントを設計および構築するプロセスについて説明します。現在利用可能なさまざまな種類のビジョン AI モデルを紹介し、4 つのサンプル アプリケーション (ストリーミング動画アラート、構造化テキスト抽出、マルチモーダル検索、Few-shot 分類) を共有し、Jupyter ノートブックを提供して利用を開始するお手伝いをします。これらのモデルを実際に使用する方法の詳細については、GitHub リポジトリ
/NVIDIA/metropolis-nim-workflows
を参照してください。
ビジョン AI モデルの種類
堅牢なビジュアル AI エージェントを構築するには、以下の中核となるビジョン モデルを利用できます。
VLM
埋め込みモデル
コンピューター ビジョン (CV) モデル
これらのモデルは、インテリジェントなビジュアル AI エージェントを開発するための、重要な構成要素となります。VLM は各エージェントのコア エンジンとして機能しますが、CV と埋め込みモデルは、オブジェクト検出などのタスクの精度を向上させたり、複雑な文書を解析したりすることで、その機能を強化できます。
この記事では、
ビジョン NIM マイクロサービス
を使用して、これらのモデルにアクセスします。各ビジョン NIM マイクロサービスは、シンプルな REST API を通じて簡単にワークフローに統合できるため、テキスト、画像、動画における効率的なモデル推論が可能になります。まず、ローカルの GPU を必要としない、
build.nvidia.com
にホストされているプレビュー API を試してみることができます。
図 1. build.nvidia.com の llama-3.2-vision-90b モデル
ビジョン言語モデル
VLM は、ビジョン機能を追加してマルチモーダルにすることで、言語モデルに新たな次元をもたらします。こういったモデルは、画像、動画、テキストを処理できるため、ビジュアル データを解釈し、テキストベースの出力を生成できます。VLM は汎用性が高く、特定のユース ケースに合わせてファインチューニングしたり、ビジュアル入力に基づく Q&A などのタスクを実行するためにプロンプトを設定したりできます。
NVIDIA とそのパートナーは、サイズ、レイテンシ、機能がそれぞれ異なる複数の VLM を NIM マイクロサービスとして提供しています (表 1)。
企業名
モデル
サイズ
説明
NVIDIA
VILA
40B
SigLIP と Yi を基に構築された強力かつ汎用的なモデルで、ほぼあらゆるユース ケースに適しています。
NVIDIA
Neva
22B
NVGPT と CLIP を組み合わせた中規模モデルで、より大規模なマルチモーダル モデルと同等の機能を提供します。
Meta
Llama 3.2
90B/11B
初めてビジョン機能に対応した 2 つのサイズの Llama モデルで、さまざまなビジョン言語タスクに優れ、高解像度の入力に対応しています。
Microsoft
phi-3.5-vision
4.2B
OCR に優れ、複数の画像を処理できる小規模で高速なモデル。
Microsoft
Florence-2
0.7B
シンプルなテキスト プロンプトを使用して、キャプション作成、オブジェクト検出、セグメンテーションが可能なマルチタスク モデル。
表 1. VLM NIM マイクロサービス
埋め込みモデル
埋め込みモデルは、入力データ (画像やテキストなど) を埋め込みと呼ばれる高密度の特徴豊富なベクトルに変換します。このような埋め込みは、データの本質的な特徴関係性をまとめ、類似検索や分類などのタスクを可能にします。埋め込みは通常、
ベクトル データベース
に保存され、GPU アクセラレーションによる検索で関連データを迅速に取得できます。
埋め込みモデルは、インテリジェント エージェントを作成する際に重要な役割を果たします。たとえば、
検索拡張生成
(RAG) ワークフローをサポートし、エージェントがさまざまなデータ ソースから関連情報を引き出し、文脈内学習 (In-Context Learning) を通じて精度を向上させることを可能にします。
企業名
モデル
説明
事例
NVIDIA
NV-CLIP
テキストおよび画像の埋め込みを生成するマルチモーダルの基盤モデル
マルチモーダル検索、ゼロショット分類
NVIDIA
NV-DINOv2
高解像度の画像の埋め込みを生成するビジョン基盤モデル
類似検索、Few-shot 分類
表 2. 埋め込み NIM マイクロサービス
コンピューター ビジョン モデル
CV モデルは、画像分類、オブジェクト検出、光学文字認識 (OCR) などの専門的タスクに重点を置いています。これらのモデルは、詳細なメタデータを追加することで VLM を強化し、AI エージェントの全体的なインテリジェンスを改善することができます。
企業名
モデル
説明
事例
NVIDIA
Grounding Dino
オープン ボキャブラリ オブジェクト検出
あらゆるものを検出
NVIDIA
OCDRNet
光学文字検出と認識
文書解析
NVIDIA
ChangeNet
2 つの画像間のピクセル レベルの変化を検出
欠陥検出、衛星画像分析
NVIDIA
Retail Object Detection
一般的な小売商品を検出するために事前学習済み
損失防止
表 3. コンピューター ビジョン NIM マイクロサービス
ビジョン NIM マイクロサービスでビジュアル AI エージェントを構築
ビジョン NIM マイクロサービスを適用して強力なビジュアル AI エージェントを作成する方法の実例を示します。
NVIDIA NIM マイクロサービスを活用したアプリケーション開発をより身近なものにするために、NVIDIA は GitHub に一連の例を公開しています。これらの例では、NIM API を使用してアプリケーションを構築または統合する方法を紹介しています。個々の例には、GPU がなくても簡単に起動できる Jupyter ノートブックのチュートリアルとデモが含まれています。
NVIDIA API カタログ
で、
Llama3.1 405B
などのモデル ページを選択します。[
Get API Key
] (API キーを入手) を選択して 90 日間の
NVIDIA AI Enterprise
ライセンス用の
ビジネス用メールを入力
するか、
NVIDIA 開発者プログラム
を通じて
NIM にアクセス
する個人用メール アドレスを使用します。
GitHub リポジトリ
/NVIDIA/metropolis-nim-workflows
で、Jupyter ノートブックのチュートリアルとデモを参照します。これらのワークフローでは、ビジョン NIM マイクロサービスをベクトル データベースや LLM などの他のコンポーネントと組み合わせ、現実の問題を解決する強力な AI エージェントを構築する方法を紹介しています。API キーがあれば、この記事で紹介されているワークフローを簡単に再現でき、ビジョン NIM マイクロサービスを実際に体験できます。
以下にワークフローの例を示します。
VLM ストリーミング動画アラート エージェント
構造化テキスト抽出エージェント
NV-DINOv2 エージェントによる Few-shot 分類
NV-CLIP エージェントによるマルチモーダル検索
VLM ストリーミング動画アラート エージェント
毎秒膨大な量の動画データが生成される状況で、パッケージの配送、森林火災、不正アクセスなどの重要なイベントの映像を手動で確認することは不可能です。
このワークフローでは、VLM、Python、OpenCV を使用して、
ユーザー定義イベントのライブ ストリームを自律的に監視する
AI エージェントを構築する方法を示しています。イベントが検出されると、アラートが生成され、膨大な時間を要する手動での動画レビューにかかる時間を短縮できます。VLM の柔軟性のおかげで、プロンプトを変更することで新しいイベントを検出できます。そのため、新しいシナリオごとにカスタム CV モデルを構築およびトレーニングする必要がありません。
動画 1. NVIDIA NIM を活用したビジュアル AI エージェント
図 2 では、VLM はクラウドで実行され、動画ストリーミング パイプラインはローカルで動作します。このセットアップでは重い計算が NIM マイクロサービスを通じてクラウドにオフロードされ、ほぼすべてのハードウェア上でデモを実行できるようになります。
図 2. ストリーミング動画アラート エージェントのアーキテクチャ
このエージェントを構築する手順は以下のとおりです。
動画ストリームの読み込みと処理
: OpenCV を使用して、動画ストリームまたはファイルの読み込み、デコード、フレームのサブサンプルを実行します。
REST API エンドポイントの作成:
FastAPI を使用して、ユーザーがカスタム プロンプトを入力できる制御用の REST API エンドポイントを作成します。
VLM API との統合:
ラッパー クラスでは、動画フレームとユーザー プロンプトを送信することで、VLM API とのやりとりを処理します。NIM API リクエストを形成し、応答を解析します。
応答を動画上にオーバーレイ:
VLM 応答は入力動画にオーバーレイされ、OpenCV を使用してストリーミング配信され、リアルタイム表示されます。
アラートをトリガー:
解析された応答を WebSocket サーバーに送信して他のサービスと統合し、検出されたイベントに基づいて通知をトリガーします。
VLM を活用したストリーミング動画アラート エージェントの構築に関する詳細については、GitHub の
/NVIDIA/metropolis-nim-workflows
のノートブック チュートリアルとデモをご覧ください。さまざまな VLM NIM マイクロサービスを試し、ユース ケースに最適なモデルを見つけることができます。
NVIDIA Jetson
と
Jetson プラットフォーム サービス
を駆使して VLM がエッジ アプリケーションをどのように変革するかについては、「
Edge 向けの生成 AI を活用したビジュアル AI エージェントを開発する
」を参照してください。また、
Jetson プラットフォーム サービス
ページでは追加の関連情報もご覧いただけます。
構造化テキスト抽出エージェント
多くのビジネス文書は、PDF などの検索可能なフォーマットではなく、画像として保存されています。そのため、これらの文書の検索と処理を行う際には、手動によるレビュー、タグ付け、整理が必要になることが多くあり、これらが大きな課題となります。
光学文字検出と認識 (OCDR) モデルは、しばらく前から存在していましたが、元のフォーマットを保持できなかったり、ビジュアル データを解釈できなかったりして、雑然とした結果を返すことがよくありました。これは、さまざまな形やサイズがある写真付き ID などの不規則な形式の文書を扱う場合に特に困難になります。
従来の CV モデルは、そのような文書の処理に時間とコストがかかります。しかし、VLM と LLM の柔軟性と、OCDR モデルの精度を組み合わせることで、
強力なテキスト抽出パイプラインを構築して文書を自律的に解析し
、データベースにユーザー定義のフィールドを保存することができます。
図 3. 構造化テキスト抽出エージェントのアーキテクチャ
構造化テキスト抽出パイプラインの構築手順は次のとおりです。
文書入力:
OCDRNet や Florence などの OCDR モデルに文書の画像を提供すると、文書内の検出されたすべての文字のメタデータが返されます。
VLM の統合:
VLM は、希望するフィールドを指定するユーザーのプロンプトを処理し、文書を分析します。OCDR モデルで検出された文字を使用して、より正確な応答を生成します。
LLM のフォーマット:
VLM の応答は LLM に渡され、LLM はデータを JSON 形式に整形し、表として表示します。
出力と保存:
抽出されたフィールドは構造化されたフォーマットにまとめられ、データベースに挿入したり、将来の使用に備えて保存したりできます。
図 4. ビジョン NIM マイクロサービスによる構造化テキスト抽出の例
プレビュー API を使用すると、複数のモデルを組み合わせて複雑なパイプラインを構築し、簡単に実験をすることができます。デモ UI から、
build.nvidia.com
で利用可能な各種の VLM、OCDR、LLM モデルを切り替えることができ、素早く実験できます。
NV-DINOv2 による Few-shot 分類
NV-DINOv2 は、高解像度の画像から埋め込みを生成するため、少数のサンプル画像での欠陥検出など、詳細な分析を必要とする作業に理想的です。このワークフローは、NV-DINOv2 と Milvus ベクトル データベースを使用して、
スケーラブルな Few-shot 分類パイプライン
を構築する方法を示しています。
図 5. NV-DINOv2による Few-shot 分類
Few-shot 分類パイプラインの仕組みは次のとおりです。
クラスの定義と、サンプルのアップロード:
ユーザーはクラスを定義し、それぞれに少数のサンプル画像をアップロードします。NV-DINOv2 は、これらの画像から埋め込みを生成し、クラス ラベルとともに Milvus ベクトル データベースに保存します。
新しいクラスを予測:
新しい画像がアップロードされると、NV-DINOv2 はその埋め込みを生成し、ベクトル データベースに保存されている埋め込みと比較します。k近傍法 (k-NN) アルゴリズムを使用して最も近い隣接データを特定し、その中から多数派クラスのクラスが予測されます。
NV-CLIP によるマルチモーダル検索
NV-CLIP は、テキストと画像の両方を埋め込むことができ、
マルチモーダル検索
を可能にするという独自の利点があります。 テキストと画像の入力を同じベクトル空間内の埋め込みに変換することで、NV-CLIP は、指定されたテキスト クエリに一致する画像の検索を容易にします。これにより、柔軟性が高く正確な検索結果が得られます。
図 6. NV-CLIP によるマルチモーダル検索 (画像とテキスト)
このワークフローでは、ユーザーは画像フォルダをアップロードし、画像は埋め込みに変換され、ベクトル データベースに保存されます。UI を使用してクエリを入力すると、NV-CLIP は、入力テキストに基づいて最も類似した画像を検索します。
このアプローチを VLM と使用して、より高度なエージェントを構築し、マルチモーダル RAG ワークフローを作成することができます。これにより、ビジュアル AI エージェントが過去の経験を基に構築され、応答を改善できるようになります。
今すぐビジュアル AI エージェントを始めましょう
独自のビジュアル AI エージェントを構築する準備はできましたか? GitHub リポジトリ
/NVIDIA/metropolis-nim-workflows
で提供されているコードをベースとして、NIM マイクロサービスを利用した独自のカスタム ワークフローと AI ソリューションを開発してみてください。この例を参考に、あなたの組織固有の課題を解決する新しいアプリケーションを開発しましょう。
技術的な質問やサポートが必要な場合は、NVIDIA のコミュニティに参加し、
NVIDIA ビジュアル AI エージェント フォーラム
のエキスパートと交流してください。
関連情報
GTC セッション:
Create purpose-built AI using vision and language With multi-modal Foundation Models (マルチモーダルの基盤モデルを活用したビジョンと言語による目的別 AI の作成)
NGC コンテナー:
Llama-3.2-90B-Vision-Instruct
NGC コンテナー:
Llama-3.2-11B-Vision-Instruct
NGC コンテナー:
rag-application-multimodal-chatbot
SDK:
Llama3 70B Instruct NIM
SDK:
BioNeMo Service