Expanding the open-source Meta Llama collection of models, the Llama 3.2 collection includes vision language models (VLMs), small language models (SLMs), and an updated Llama Guard model with support for vision. When paired with the NVIDIA accelerated computing platform, Llama 3.2 offers developers, researchers, and enterprises valuable new capabilities and optimizations to realize their generative AI use cases.
Trained on
NVIDIA H100 Tensor Core GPUs
, the SLMs in 1B and 3B sizes are ideal for deploying Llama-based AI assistants across edge devices. The VLMs in 11B and 90B sizes support text and image inputs and output text. With multimodal support, the VLMs help developers build powerful applications requiring visual grounding, reasoning, and understanding. For example, they can build AI agents for image captioning, image-text retrieval, visual Q&A, and document Q&A, among others. The Llama Guard models now also support image input guardrails in addition to text input.
Llama 3.2 model architecture is an auto-regressive language model that uses an optimized transformer architecture. The instruction tuned versions use supervised fine-tuning (SFT) and reinforcement learning with human feedback (RLHF) to align with human preferences for helpfulness and safety. All models support a long context length of 128K tokens and are optimized for inference with support for grouped query attention (GQA).
NVIDIA is optimizing the Llama 3.2 collection of models to deliver high throughput and low latency across millions of GPUs worldwide—from data centers to local workstations with
NVIDIA RTX
, and at the edge with
NVIDIA Jetson
. This post describes the hardware and software optimizations, customizations, and ease-of-deployment capabilities.
Accelerating Llama 3.2 performance with NVIDIA TensorRT
NVIDIA is accelerating the Llama 3.2 model collection to reduce cost and latency while delivering unparalleled throughput and providing an optimal end-user experience.
NVIDIA TensorRT
includes
TensorRT
and
TensorRT-LLM
libraries for high-performance deep learning inference.
The Llama 3.2 1B and Llama 3.2 3B models are being accelerated for long-context support in TensorRT-LLM using the
scaled rotary position embedding (RoPE)
technique and several other
optimizations
, including KV caching and in-flight batching.
The Llama 3.2 11B and Llama 3.2 90B models are multimodal and include a vision encoder with a text decoder. The vision encoder is being accelerated by exporting the model into an ONNX graph and building the TensorRT engine.
ONNX
export creates a standard model definition with built-in operators and standard data types, focused on inferencing. TensorRT uses the ONNX graph to optimize the model for target GPUs by building the
TensorRT engine
. These engines offer a variety of hardware-level optimizations to maximize NVIDIA GPU utilization through layer and tensor fusion in conjunction with kernel auto-tuning.
The visual information from the vision encoder is fused into the Llama text decoder with a cross-attention mechanism that is supported in TensorRT-LLM. This enables the VLMs to efficiently generate text by taking into account visual reasoning and understanding in context with text input.
Easily deploy generative AI solutions using NVIDIA NIM
The TensorRT optimizations are available through production-ready deployments using
NVIDIA NIM
microservices. NIM microservices accelerate the deployment of generative AI models across NVIDIA-accelerated infrastructure anywhere, including cloud, data center, and workstations.
Llama 3.2 90B Vision Instruct
,
Llama 3.2 11B Vision Instruct
,
Llama 3.2 3B Instruct
, and
Llama 3.2 1B Instruct
are supported through NIM microservices for production deployments. NIM provides simplified management and orchestration of generative AI workloads, standard application programming interface (APIs), and enterprise support with production-ready containers. Offering strong and growing ecosystem support with over 175 partners integrating their solutions with NVIDIA NIM microservices, developers, researchers and enterprises around the world can maximize their return on investment for generative AI applications.
Customize and evaluate Llama 3.2 models with NVIDIA AI Foundry and NVIDIA NeMo
NVIDIA AI Foundry
provides an end-to-end platform for Llama 3.2 model customizations with access to advanced AI tools, computing resources, and AI expertise. Fine-tuned on proprietary data, the custom models enable enterprises to achieve better performance and accuracy in domain-specific tasks, gaining a competitive edge.
With
NVIDIA NeMo
, developers can curate their training data, leverage advanced tuning techniques including LoRA, SFT, DPO, and RLHF to customize the Llama 3.2 models, evaluate for accuracy, and add guardrails to ensure appropriate responses from the models. AI Foundry provides dedicated capacity on
NVIDIA DGX Cloud
, and is supported by NVIDIA AI experts. The output is a custom Llama 3.2 model packaged as an NVIDIA NIM inference microservice, which can be deployed anywhere.
Scale local inference with NVIDIA RTX and NVIDIA Jetson
Today, Llama 3.2 models are optimized on the 100M+ NVIDIA RTX PCs and workstations worldwide. For Windows deployments, NVIDIA has optimized this suite of models to work efficiently using the ONNX-GenAI runtime, with a DirectML backend. Get started with the
Llama 3.2 3B model on NVIDIA RTX
.
The new VLM and SLM models unlock new capabilities on NVIDIA RTX systems. To demonstrate, we created an example of a multimodal
retrieval-augmented generation (RAG)
pipeline that combines text and visual data processing (for images, plots, and charts, for example) for enhanced information retrieval and generation.
Learn how to run this pipeline on NVIDIA RTX Linux systems using the Llama 3.2 SLM and VLM
. Note that you’ll need a Linux workstation with an NVIDIA RTX professional GPU with 30+ GB of memory.
SLMs are tailored for local deployment on edge devices using techniques like distillation, pruning, and quantization to reduce memory, latency, and computational requirements while retaining accuracy for application-focused domains. To download and deploy the Llama 3.2 1B and 3B SLMs onboard your Jetson with optimized GPU inference and INT4/FP8 quantization, see the
SLM Tutorial on NVIDIA Jetson AI Lab
.
Multimodal models are increasingly useful in edge applications for their unique vision capabilities in video analytics and robotics. The
Llama 3.2 11B VLM is supported on embedded Jetson AGX Orin 64 GB
.
Advancing community AI models
An active open-source contributor, NVIDIA is committed to optimizing community software that helps users address their toughest challenges. Open-source AI models also promote transparency and enable users to broadly share work on AI safety and resilience.
The
Hugging Face inference-as-a-service
capabilities enable developers to rapidly deploy leading
large language models (LLMs)
such as the Llama 3 collection with optimization from NVIDIA NIM microservices running on
NVIDIA DGX Cloud
.
Get free access to NIM for research, development, and testing through the
NVIDIA Developer Program
.
Explore the NVIDIA AI inference platform further, including how
NVIDIA NIM
,
NVIDIA TensorRT-LLM
,
NVIDIA TensorRT,
and
NVIDIA Triton
use state-of-the-art techniques such as
LoRA
to accelerate the latest LLMs.
Reading Time:
2
minutes
オープンソースの Meta Llama モデルのコレクションを拡張した Llama 3.2 コレクションには、視覚言語モデル (VLM)、小規模言語モデル (SLM)、ビジョンのサポートが追加された Llama Guard モデルが含まれています。NVIDIA のアクセラレーテッド コンピューティング プラットフォームと組み合わせることで、Llama 3.2 は開発者、研究者、企業に、生成 AI のユース ケースを実現するための有益な新機能と最適化を提供します。
NVIDIA H100 Tensor コア GPU
でトレーニングされた 1B および 3B サイズの SLM は、エッジ デバイスに Llama ベースの AI アシスタントを展開するのに最適です。11B および 90B サイズの VLM は、テキストと画像の入力とテキストの出力をサポートします。マルチモーダルをサポートする VLM は、グラウンディング (Visual grounding)、推論 (Reasoning)、理解を必要とする強力なアプリケーションを開発するのに役立ちます。例えば、画像キャプショニング、画像テキスト検索、ビジュアル Q&A、文書 Q&A などを担当する AI エージェントを構築することができます。Llama Guard モデルは、テキスト入力に加えて、画像入力のガードレールもサポートするようになりました。
Llama 3.2 モデル アーキテクチャは、最適化された Transformer アーキテクチャを使用する自己回帰言語モデルです。指示チューニング版では、教師ありファインチューニング (SFT) と、人間のフィードバックによる強化学習 (RLHF) を使用して、人間の好みに合わせた有用性と安全性を実現しています。すべてのモデルは 128K トークンの長いコンテキスト長をサポートし、グループ化されたクエリ アテンション (GQA) のサポートと共に推論に最適化されています。
NVIDIA は、Llama 3.2 のモデル コレクションを最適化しており、データ センターから
NVIDIA RTX
搭載のローカル ワークステーション、そして
NVIDIA Jetson
搭載のエッジに至るまで、世界中の数百万の GPU で高スループットと低遅延を実現しています。この記事では、ハードウェアとソフトウェアの最適化、カスタマイズ、デプロイを容易にする機能について説明します。
NVIDIA TensorRT による Llama 3.2 のパフォーマンスの高速化
NVIDIA は、Llama 3.2 モデル コレクションを高速化し、コストとレイテンシを低減しながら、比類のないスループットと最適なエンド ユーザー体験を提供しています。
NVIDIA TensorRT
には、高性能なディープラーニング推論用の
TensorRT
および
TensorRT-LLM
ライブラリが含まれています。
Llama 3.2 1B および Llama 3.2 3B モデルは、TensorRT-LLM の長コンテキスト サポートのために、
Scaled Rotary Position Embedding (RoPE)
技術と KV キャッシュおよびインフライト バッチングなど、その他、
複数の最適化手法
を使用して高速化されています。
Llama 3.2 11B と Llama 3.2 90B はマルチモーダルで、テキスト デコーダーを備えたビジョン エンコーダーが搭載されています。ビジョン エンコーダーは、モデルを ONNX グラフにエクスポートし、TensorRT エンジンを構築することで加速されています。
ONNX
のエクスポートでは、推論に重点を置いた組み込みの演算子と標準データ型を用いた標準モデル定義が作成されます。TensorRT は ONNX グラフを使用し、
TensorRT エンジン
を構築することで、ターゲット GPU にモデルを最適化します。これらのエンジンは、カーネル自動チューニングとレイヤー、テンソルの融合を通じて、NVIDIA GPU の利用を最大限に高めるために、ハードウェア レベルで多様な最適化を提供します。
ビジョン エンコーダーから取得した視覚情報は、TensorRT-LLM でサポートされているクロス アテンションのメカニズムを使用して Llama テキスト デコーダーに融合されます。これにより VLM は、テキスト入力のコンテキストにおける理解と視覚的な推論 (Reasoning) を考慮に入れて、効率的にテキストを生成できるようになります。
NVIDIA NIM を使用して生成 AI ソリューションを容易にデプロイ
TensorRT の最適化は、
NVIDIA NIM
マイクロサービスを使用した本番環境へのデプロイを通じて利用できます。NIM マイクロサービスは、クラウド、データ センター、ワークステーションなど、NVIDIA がアクセラレートするインフラ全体で生成 AI モデルのデプロイを加速します。
Llama 3.2 90B Vision Instruct
、
Llama 3.2 11B Vision Instruct
、
Llama 3.2 3B Instruct
および
Llama 3.2 1B Instruct
は、NIM マイクロサービスを通じた本番環境へのデプロイに対応しています。NIM は、生成 AI ワークロードの簡素化された管理とオーケストレーション、標準的なアプリケーション プログラミング インターフェイス (API) および本番環境に対応したコンテナーによるエンタープライズ サポートを提供します。175 社を超えるパートナーが自社のソリューションを NVIDIA NIM マイクロサービスと統合し、強力で拡大を続けるエコシステム サポートを提供することで、世界中の開発者、研究者、企業は、生成 AI アプリケーションに対する投資収益率を最大化できます。
NVIDIA AI Foundry と NVIDIA NeMo による Llama 3.2 モデルのカスタマイズと評価
NVIDIA AI Foundry
は、高度な AI ツール、コンピューティング リソース、AI の専門知識にアクセスできる、Llama 3.2 モデルのカスタマイズに適したエンドツーエンドのプラットフォームを提供します。独自のデータに基づいてファインチューニングしたカスタム モデルにより、企業は特定ドメインにおける業務でより優れたパフォーマンスと精度を達成し、競争力を高めることができます。
NVIDIA NeMo
を使用することで、開発者はトレーニング データをキュレーションして LoRA、SFT、DPO、RLHF などの高度なチューニング技術を活用して、Llama 3.2 モデルをカスタマイズし、精度を評価し、ガードレールを追加して、モデルから適切な応答が得られるようになります。AI Foundry は、
NVIDIA DGX Cloud
上で専用のリソースを提供し、そして NVIDIA AI の専門家によってサポートされています。出力は、NVIDIA NIM 推論マイクロサービスとしてパッケージ化されたカスタム Llama 3.2 モデルで、どこにでもデプロイすることができます。
NVIDIA RTX および NVIDIA Jetson によるローカル推論のスケーリング
現在、Llama 3.2 モデルは、世界中の 1 億台を超える NVIDIA RTX 搭載 PC およびワークステーションで最適化されています。Windows でのデプロイ用に NVIDIA はこのモデル スイートを最適化し、DirectML バックエンドで ONNX-GenAI ランタイムを使用して効率的に動作するようにしました。
NVIDIA RTX で Llama 3.2 3B モデル
を使用してみましょう。
新しい VLM と SLM モデルは、NVIDIA RTX システムに新たな可能性をもたらします。実証するために、テキストと視覚データ処理 (例えば画像、グラフ、表など) を組み合わせ、情報検索と生成を強化するマルチモーダル
検索拡張生成 (RAG)
パイプラインの例を作成しました。
Llama 3.2 SLM と VLM を使用して NVIDIA RTX Linux システム上でこのパイプラインを実行する方法についてご覧ください
。30 GB 以上のメモリを搭載する NVIDIA RTX プロフェッショナル GPU を搭載した Linux ワークステーションが必要となります。
SLM は、アプリケーションに特化したドメインの精度を確保しながらメモリ、レイテンシおよび演算要件を削減するために、蒸留、プルーニング、量子化などの技術を使用して、エッジ デバイスへのローカル デプロイに合わせてカスタマイズされています。最適化された GPU の推論と INT4/FP8 量子化を備えた Jetson に、Llama 3.2 1B および 3B SLM をダウンロードしてデプロイするには、
NVIDIA Jetson AI Lab の SLM チュートリアル
を参照してください。
マルチモーダル モデルは、ビデオ分析やロボティクスにおける独自のビジョン機能により、エッジ アプリケーションで有用性が高まってきています。
Llama 3.2 11B VLM は、組み込みの Jetson AGX Orin 64 GB でサポートされています
。
コミュニティ AI モデルの進化
オープンソースに積極的に貢献している NVIDIA では、ユーザーが直面する最も困難な課題で支援できるように、コミュニティ ソフトウェアの最適化に取り組んでいます。オープンソースの AI モデルは透明性を促進し、ユーザーは AI の安全性とレジリエンスに関する作業を広く共有することが可能になります。
Hugging Face の推論サービス (Inference-as-a-Service)
機能により、開発者は
NVIDIA DGX Cloud
上で動作する NVIDIA NIM マイクロサービスで最適化された Llama 3 コレクションなどの
大規模言語モデル (LLM)
を迅速にデプロイすることができます。
NVIDIA 開発者プログラム
を通じて、研究、開発、テスト用の NIM への無料アクセスを利用できます。
NVIDIA NIM
、
NVIDIA TensorRT-LLM
、
NVIDIA TensorRT
、
NVIDIA Triton
などのNVIDIA AI 推論プラットフォームが、
LoRA
でチューニングした最新の LLM の高速化など、どのように最先端の技術を使用しているのかについては詳細を是非調べてみてください。
関連情報
GTC セッション:
LLM クラスター アーキテクチャの青写真: 世界最大規模のデプロイに向けたスケーリング (Supermicro による講演)
NGC コンテナー:
Llama-3-Swallow-70B-Instruct-v0.1
NGC コンテナー:
Llama-3.1-405b-instruct
SDK:
Llama3 8B Instruct NIM