Inferencing for generative AI and AI agents will drive the need for AI compute infrastructure to be distributed from edge to central clouds.
IDC predicts
that “Business AI (consumer excluded) will contribute $19.9 trillion to the global economy and account for 3.5% of GDP by 2030.”
5G networks must also evolve to serve this new incoming AI traffic. At the same time, there is an opportunity for telcos to become the local AI compute infrastructure for hosting enterprise AI workloads, independent of network connectivity while meeting their data privacy and sovereignty requirements. This is where an accelerated computing infrastructure shines – with the ability to accelerate both Radio signal processing and AI workloads. And most importantly, the same compute infrastructure can be used to process AI and radio access network (RAN) services. This combination has been called
AI-RAN by the telecoms industry
.
NVIDIA is introducing Aerial RAN Computer-1, the world’s first AI-RAN deployment platform, that can serve AI and RAN workloads concurrently, on a common accelerated infrastructure.
Following the launch of the
AI-RAN Innovation Center by T-Mobile
, the Aerial RAN Computer-1 turns AI-RAN into reality with a deployable platform that telcos can adopt globally. It can be used in small, medium, or large configurations for deployment at cell sites, distributed or centralized sites, effectively turning the network into a multi-purpose infrastructure that serves voice, video, data, and AI traffic.
This is a transformative solution that reimagines wireless networks for AI, with AI. It is also a huge opportunity for telcos to fuel the AI flywheel, leveraging their distributed network infrastructure, low latency, guaranteed quality of service, massive scale, and ability to preserve data privacy, security, and localization – all key requirements for AI inferencing and agentic AI applications.
AI-RAN, AI Aerial, and Aerial RAN Computer-1
AI-RAN is the technology framework to build multipurpose networks that are also AI-native. As telcos embrace AI-RAN, and move from the traditional single-purpose ASIC-based computing networks for RAN to new multi-purpose accelerated computing-based networks serving RAN and AI together, telcos can now participate in the new AI economy and can leverage AI to improve the efficiency of their networks.
NVIDIA AI Aerial
includes three computer systems to design, simulate, train, and deploy AI-RAN-based 5G and 6G wireless networks. Aerial RAN Computer-1 is the base foundation of NVIDIA AI Aerial and provides a commercial-grade deployment platform for AI-RAN.
Aerial RAN Computer-1 (Figure 1) offers a common scalable hardware foundation to run RAN and AI workloads including – software-defined 5G, Private 5G RAN from NVIDIA or other RAN software providers, containerized network functions, AI microservices from NVIDIA or partners or host internal and third-party generative AI applications. Aerial RAN Computer-1 is modular by design, enabling it to scale from D-RAN to C-RAN architectures covering rural to dense urban use cases.
NVIDIA CUDA-X Libraries are central to accelerated computing, providing speed, accuracy, and reliability in addition to improved efficiency. That means more work is done in the same power envelope. Most importantly, domain-specific libraries, including telecom-specific adaptations, are key to making Aerial RAN Computer-1 suited for telecom deployments.
NVIDIA DOCA
offers a suite of tools and libraries that can significantly boost the performance enhancements for telco workloads, including RDMA, PTP/timing synchronization, and Ethernet-based fronthaul (eCPRI), as well as AI workloads that are crucial for modern network infrastructure.
Collectively, the full stack enables scalable hardware, common software, and an open architecture to deliver a high-performance AI-RAN together with ecosystem partners.
Figure 1. NVIDIA Aerial RAN Computer-1, as a part of the NVIDIA AI Aerial platform
Benefits of Aerial RAN Computer-1
With Aerial RAN Computer-1, wireless networks can turn into a massively distributed grid of AI and RAN data centers, unleashing new monetization avenues for telcos while paving the way for 6G with a software upgrade.
Benefits of Aerial RAN Computer-1 for telecom service providers include the following:
Monetize with AI and generative AI applications, AI inferencing at the edge, or with GPU-as-a-Service.
Increase utilization of infrastructure by 2-3x compared to single-purpose base stations that are typically only 30% utilized today. Use the same infrastructure to host internal generative AI workloads and other containerized network functions such as UPF and RIC.
Improve radio network performance through site-specific AI learning, with up to 2x gains possible in spectral efficiency. This means direct cost savings per Mhz of the acquired spectrum.
Deliver high-performance RAN and AI experiences for next-gen applications that intertwine AI into every interaction. Aerial RAN Computer-1 can service up to 170 Gb/s throughput in RAN-only mode and 25K tokens/sec in AI-only mode, or a combination of both with superior performance compared to traditional networks.
Building blocks of Aerial RAN Computer-1
The key hardware components of Aerial RAN Computer-1 include the following:
NVIDIA GB200 NVL2
NVIDIA Blackwell GPU
NVIDIA Grace CPU
NVLink2 C2C
Fifth-generation NVIDIA NVLink
Key-value caching
MGX reference architecture
Real-time mainstream LLM inference
NVIDIA GB200 NVL2
The NVIDIA GB200 NVL2 platform (Figure 2) used in Aerial RAN Computer-1 revolutionizes data center and edge computing, offering unmatched performance for mainstream large language models (LLMs), vRAN, vector database searches, and data processing.
Powered by two NVIDIA Blackwell GPUs and two NVIDIA Grace CPUs, the scale-out single-node architecture seamlessly integrates accelerated computing into existing infrastructure.
This versatility enables a wide range of system designs and networking options, making the GB200 NVL2 platform an ideal choice for data centers, edge, and cell site locations seeking to harness the power of AI as well as wireless 5G connectivity.
For instance, half of a GB200 server could be allocated to RAN tasks and the other half to AI processing through
Multi-instance GPU (MIG)
technology at a single cell site. For aggregated sites, a full GB200 server could be dedicated to RAN, with another used exclusively for AI. In a centralized deployment, a cluster of GB200 servers could be shared between RAN and AI workloads
NVIDIA Blackwell GPU
NVIDIA Blackwell is a revolutionary architecture that delivers improved performance, efficiency, and scale. NVIDIA Blackwell GPUs pack 208B transistors and are manufactured using a custom-built TSMC 4NP process. All NVIDIA Blackwell products feature two reticle-limited dies connected by a 10-TB/s chip-to-chip interconnect in a unified single GPU.
NVIDIA Grace CPU
The NVIDIA Grace CPU is a breakthrough processor designed for modern data centers running AI, vRAN, cloud, and high-performance computing (HPC) applications. It provides outstanding performance and memory bandwidth with 2x the energy efficiency of today’s leading server processors.
NVLink2 C2C
The GB200 NVL2 platform uses NVLink-C2C for a groundbreaking 900 GB/s interconnect between each NVIDIA Grace CPU and NVIDIA Blackwell GPU. Combined with fifth-generation NVLink, this delivers a massive 1.4-TB coherent memory model, fueling accelerated AI and vRAN performance.
Fifth-generation NVIDIA NVLink
To fully harness the power of exascale computing and trillion-parameter AI models, every GPU in a server cluster must communicate seamlessly and swiftly.
Fifth-generation NVLink is a high-performance interconnect to deliver accelerated performance from the GB200 NVL2 platform.
Key-value caching
Key-value (KV) caching
improves LLM response speeds by storing conversation context and history.
GB200 NVL2 optimizes KV caching through its fully coherent NVIDIA Grace GPU and NVIDIA Blackwell GPU memory connected by NVLink-C2C, 7x faster than PCIe. This enables LLMs to predict words faster than x86-based GPU implementations.
MGX reference architecture
MGX GB200 NVL2 is a 2:2 configuration with CPU C-Links and GPU NVLinks connected​.
HPM contains the following components:
NVIDIA Grace CPUs (2)
Connectors for GPU pucks and I/O cards
GPU modules populated in 2U AC Server (2)
Each pluggable GPU module contains the GPU, B2B connection, and NVLink connectors.
Figure 2. NVIDIA GB200 NVL2 platform layout
GPU Compute
40 PFLOPS FP4 | 20 PFLOPS FP8/FP6
10x GH200
GPU Memory
Up to 384 GB
CPU
144 Core ARMv9,
960 GB LPDDR5,
1.4x perf & 30% lower power than 2x SPR
CPU to GPU
NVLink C2C
Per GPU 900 GB/s bi-dir. & cache-coherent
GPU to GPU
NVLink
1,800 GB/s bi-dir., NVLink
Scale-Out
Spectrum-X Ethernet or InfiniBand Connect-X or BlueField
OS
Single OS with unified address space covering 2 CPU + 2 GPU
System Power
Full System ~3,500W, configurable
Schedule
Sample: Q4 2024
MP: Q1 2025
Table 1. GB200 NVL2 platform features
Real-time mainstream LLM inference
The GB200 NVL2 platform introduces massive coherent memory up to 1.3 TB shared between two NVIDIA Grace CPUs and two NVIDIA Blackwell GPUs. This shared memory is coupled with fifth-generation NVIDIA NVLink and high-speed, chip-to-chip (C2C) connections to deliver 5x faster real-time LLM inference performance for mainstream language models, such as Llama3-70B.
With an input sequence length of 256, an output sequence length of 8000, FP4 precision, the GB200 NVL2 platform can produce up to 25K tokens/sec, which is 2.16B tokens/day.
Figure 3 shows how GB200 NVL2 performs when supporting AI and RAN workloads.
Figure 3. Compute utilization for RAN and AI in GB200 NVL2
Here’s what platform tenancy looks like for RAN and AI on the GB200 NVL2 platform:
Workload at 100% utilization
RAN:
~36x 100 MHz 64T64R
*Tokens:
25K tokens/sec
AI:
~$10/hr. | ~$90K/year
Workload at 50:50 split utilization
RAN:
~18x 100 MHz 64T64R
*Tokens:
12.5K tokens/sec
AI:
~$5/hr. | ~$45K/year
*Token AI workload: Llama-3-70B FP4 | Sequence lengths input 256 / output 8K
Supporting hardware for Aerial RAN Computer-1
NVIDIA BlueField-3 and NVIDIA networking Spectrum-X are the supporting hardware for Aerial RAN Computer-1.
NVIDIA BlueField-3
NVIDIA BlueField-3
DPUs enable real-time data transmission with precision 5G timing required for fronthaul eCPRI traffic.
NVIDIA offers a full IEEE 1588v2 Precision Time Protocol (PTP) software solution. NVIDIA PTP software solutions are designed to meet the most demanding PTP profiles. NVIDIA BlueField-3 incorporates an integrated PTP hardware clock (PHC) that enables the device to achieve sub-20 nanosecond accuracy while offering timing-related functions, including time-triggered scheduling and time-based, software-defined networking (SDN) accelerations.
This technology also enables software applications to transmit fronthaul, RAN-compatible data in high bandwidth.
NVIDIA networking Spectrum-X
The edge and data center networks play a crucial role in driving AI and wireless advancements and performance, serving as the backbone for distributed AI model inference, generative AI, and world-class vRAN performance.
NVIDIA BlueField-3 DPUs enable efficient scalability across hundreds and thousands of NVIDIA Blackwell GPUs for optimal application performance.
The
NVIDIA Spectrum-X
Ethernet platform is designed specifically to improve the performance and efficiency of Ethernet-based AI clouds and includes all the required functionality for 5G timing synchronization. It delivers 1.6x better AI networking performance compared to traditional Ethernet, along with consistent, predictable performance in multi-tenant environments.
When Aerial RAN Computer-1 is deployed in a rack configuration, the Spectrum-X Ethernet switch serves as a dual-purpose fabric. It handles both fronthaul and AI (east-west) traffic on the compute fabric, while also carrying backhaul or midhaul and AI (north-south) traffic on the converged fabric. The remote radio units terminate at the switch in compliance with the eCPRI protocol.
Software stacks on Aerial RAN Computer-1
The key software stacks on Aerial RAN Computer-1 include the following:
NVIDIA Aerial CUDA-Accelerated RAN
NVIDIA AI Enterprise and NVIDIA NIM
NVIDIA Cloud Functions
NVIDIA Aerial CUDA-Accelerated RAN
NVIDIA Aerial CUDA-Accelerated RAN
is the primary NVIDIA-built RAN software for 5G and private 5G running on Aerial RAN Computer-1.
It includes NVIDIA GPU-accelerated interoperable PHY and MAC layer libraries that can be easily modified and seamlessly extended with AI components. These hardened RAN software libraries can also be used by other software providers, telcos, cloud service providers (CSPs), and enterprises for building custom commercial-grade, software-defined 5G and future 6G radio access networks (RANs).
Aerial CUDA-Accelerated RAN is integrated with
NVIDIA Aerial AI Radio Frameworks
, which provides a package of AI enhancements to enable training and inference in the RAN using the framework tools—pyAerial, NVIDIA Aerial Data Lake, and
NVIDIA Sionna
.
It is also complemented by
NVIDIA Aerial Omniverse Digital Twin
, a system-level network digital twin development platform that enables physically accurate simulations of wireless systems.
NVIDIA AI Enterprise and NVIDIA NIM
NVIDIA AI Enterprise
is the software platform for enterprise generative AI.
NVIDIA NIM
is a collection of microservices that simplify the deployment of foundation models for generative AI applications.
Collectively, they provide easy-to-use microservices and blueprints that accelerate data science pipelines and streamline the development and deployment of production-grade co-pilots and other generative AI applications for enterprises.
Enterprises and telcos can either subscribe to the managed NVIDIA Elastic NIM service or deploy and manage NIM themselves. Aerial RAN Computer-1 can host NVIDIA AI Enterprise and NIM-based AI and generative AI workloads.
NVIDIA Cloud Functions
NVIDIA Cloud Functions
offers a serverless platform for GPU-accelerated AI workloads, ensuring security, scalability, and reliability. It supports various communication protocols:
HTTP polling
Streaming
gRPC
Cloud Functions is primarily suited for shorter running, preemptable workloads, such as inferencing and fine-tuning. This is well-suited for the Aerial RAN Computer-1 platform as the RAN workload resource utilization varies over time of the day.
The AI workloads that are ephemeral and preemptable can usually fill up those under-used hours of the day, which maintains high utilization of the Aerial RAN Computer-1 platform.
Deployment options and performance
Aerial RAN Computer-1 has multiple deployment options that include all points in the radio access network:
Radio base station cell site
Point of presence locations
Mobile switching offices
Baseband hotels
For private 5G, it can be located on the enterprise premises.
Aerial RAN Computer-1 can support various configurations and locations, including private, public, or hybrid cloud environments while using the same software regardless of location or interface standard. This ability offers unprecedented flexibility compared to traditional single-purpose RAN computers.
The solution also supports a wide range of network technologies:
Open Radio Access Network (Open-RAN) architectures
AI-RAN
3GPP standards
Other industry-leading specifications
Aerial RAN Computer-1, based on GB200, delivers continued performance improvements in RAN processing, AI processing, and energy efficiency compared to the earlier NVIDIA H100 and NVIDIA H200 GPUs (Figure 4).
The GB200 NVL2 platform provides a single MGX server for existing infrastructure, which is easy to deploy and scale out. You get mainstream LLM inference and data processing with high-end RAN compute.
Figure 4. GB200 NVL2 performance compared to previous generations
Conclusion
AI-RAN will revolutionize the telecom industry, enabling telcos to unlock new revenue streams and deliver enhanced experiences through generative AI, robotics, and autonomous technologies. The NVIDIA AI Aerial platform implements AI-RAN, aligning it with NVIDIA’s broader vision to make wireless networks AI-native.
With Aerial RAN Computer-1, telcos can deploy AI-RAN on a common infrastructure today. You can maximize the utilization by running RAN and AI workloads concurrently and improve RAN performance with AI algorithms.
Most importantly, with this common computer, you can tap into a completely new opportunity to become the AI fabric of choice for enterprises that need local computing and data sovereignty for their AI workloads. You can start with an AI-first approach and RAN next, with a software upgrade, starting the clock on maximizing ROI from day one.
T-Mobile and SoftBank have already announced their plans to commercialize AI-RAN together with leading RAN software providers, using hardware and software components of NVIDIA AI Aerial.
At Mobile World Congress, Americas, Vapor IO and the City of Las Vegas announced the
world’s first private 5G AI-RAN deployment
using NVIDIA AI Aerial.
We are at a turning point in transforming wireless networks for AI, with AI. Join us at the
NVIDIA AI Summit
in Washington, D.C. and at the
NVIDIA 6G Developer Day
to learn more about NVIDIA Aerial AI and NVIDIA Aerial RAN Computer-1.
Reading Time:
5
minutes
生成 AI と AI エージェントの推論により、エッジからセントラル クラウドまで AI コンピューティング インフラストラクチャを分散する必要性が高まります。
IDC は
、「ビジネス AI (消費者を除く) は、2030 年までに世界経済に 19.9 兆ドルの貢献をし、GDP の 3.5% を占めるようになる」と予測しています。
5G ネットワークも、この新しい AI トラフィックに対応するために進化しなければなりません。 同時に、通信事業者には、データのプライバシーと主権の要件を満たしながら、ネットワーク接続に依存せずにエンタープライズ AI ワークロードをホストするためのローカル AI コンピューティング インフラストラクチャになる機会があります。 ここで、無線信号処理と AI ワークロードの両方を高速化する機能を備えた高速コンピューティング インフラストラクチャが活躍します。 そして最も重要なのは、同じコンピューティング インフラストラクチャを使用して AI サービスと無線アクセス ネットワーク (RAN) サービスの処理が可能であることです。 この組み合わせは、
通信業界では AI-RAN
と呼ばれています。
NVIDIA は、世界初の AI-RAN 展開プラットフォームである Aerial RAN Computer-1 を導入し、共通のアクセラレーテッド インフラストラクチャで AI と RAN のワークロードを同時にサービスできます。
また、
T-Mobile による AI-RANイノベーション センター
の立ち上げに続き、Aerial RAN Computer-1 は、通信会社が世界中で採用できるプラットフォームで AI-RAN を現実のものにします。 小規模、中規模、大規模の構成で使用でき、セルサイト、分散型または集中型のサイトで展開して、ネットワークを音声、ビデオ、データ、AIトラフィックに対応する多目的インフラストラクチャに効果的に変えることができます。
これは、AI を活用した AI のためのワイヤレス ネットワークの概念を再構築する変革的なソリューションです。 また、通信事業者にとっては、分散ネットワーク インフラストラクチャ、低遅延、保証されたサービス品質、大規模なスケール、データのプライバシー、セキュリティ、ローカリゼーションの維持能力など、AI 推論とエージェント AI アプリケーションの重要な要件を活用して、AI フライホイールを活性化する大きなチャンスでもあります。
AI-RAN、AI Aerial、および Aerial RAN Computer-1
AI-RAN は、AI ネイティブな多目的ネットワークを構築するためのテクノロジ フレームワークです。 通信会社が AI-RAN を採用し、従来の単一 ASIC ベースの RAN コンピューティング ネットワークから、RAN と AI の両方に対応する新しい多目的アクセラレーテッド コンピューティング ベースのネットワークに移行するにつれて、通信会社は新しい AI エコノミーに参加し、AI を活用してネットワークの効率を向上できます。
NVIDIA AI Aerial
には、AI-RAN ベースの 5G および 6G ワイヤレス ネットワークを設計、シミュレーション、トレーニング、展開する 3 つのコンピューター システムが含まれています。 Aerial RAN Computer-1 は、NVIDIA AI Aerial の基盤であり、AI-RAN の商業グレードのプラットフォームを提供します。
Aerial RAN Computer-1 (図 1) は、ソフトウェア デファインド 5G、NVIDIA またはその他の RAN ソフトウェア プロバイダーのプライベート 5G RAN、コンテナー化されたネットワーク機能、NVIDIA またはパートナーのAI マイクロサービス、内部およびサードパーティの生成 AI アプリケーションをホストするなど、RAN と AI ワークロードを実行するための共通の拡張可能なハードウェア基盤を提供します。 Aerial RAN Computer-1 はモジュール式の設計であり、D-RAN から C-RAN アーキテクチャまで拡張でき、郊外から密集した都市部まで幅広いユース ケースに対応します。
NVIDIA CUDA-X ライブラリは、アクセラレーテッド コンピューティングの中心であり、効率の向上に加え、速度、精度、信頼性を提供します。 つまり、同じパワー エンベロープでより多くの作業が行われるということです。 最も重要なのは、通信通信事業固有の適応を含むドメイン固有のライブラリが、Aerial RAN Computer-1 を通信事業の展開に適したものにする上で重要です。
NVIDIA DOCA
は、RDMA、PTP/タイミング同期、イーサネットベースのフロントホール (eCPRI) などの通信ワークロードや、最新のネットワーク インフラストラクチャに不可欠な AI ワークロードのパフォーマンスを大幅に向上できるツールとライブラリのスイートを提供します。
総合的に、フルスタックにより、スケーラブルなハードウェア、共通ソフトウェア、オープン アーキテクチャが実現し、エコシステムパートナーと協力して高性能な AI-RAN を提供できます。
図 1. NVIDIA AI Aerial プラットフォームの一部としての NVIDIA Aerial RAN Computer-1
Aerial RAN Computer-1 の利点
Aerial RAN Computer-1 により、ワイヤレス ネットワークは、AI と RAN データ センターの大規模な分散グリッドに変身し、ソフトウェアのアップグレードにより 6G の道を開きつ、通信会社にとって新しい収益化の道を開きます。
通信サービス プロバイダー向け Aerial RAN Computer-1 の利点には、次のものがあります。
AI および生成 AI アプリケーション、エッジでの AI 推論、または GPU-as-a-Service を使用して収益化します。
現在は通常 30% しか利用されていない単目的基地局と比較して、インフラストラクチャの使用率を 2 ～ 3 倍に向上します。 同じインフラストラクチャを使用して、内部生成 AI ワークロードや、UPF や RIC などのコンテナー化されたネットワーク機能をホストできます。
サイト固有の AI 学習を通じて無線ネットワークのパフォーマンスを向上させ、スペクトル効率を最大 2 倍向上できます。 これは、取得スペクトラムの Mhz あたりの直接コストを削減することを意味します。
あらゆるインタラクションに AI を組み込む次世代アプリケーションに、高性能 RAN と AI 体験を提供します。 Aerial RAN Computer-1 は、RAN のみモードで最大 170 Gb/s のスループットと、AI のみモードで 25K トークン/秒、または両方の組み合わせてサービスを提供でき、従来のネットワークと比較して優れたパフォーマンスを発揮できます。
Aerial RAN Computer-1 の構成要素
Aerial RAN Computer-1 の主要なハードウェア コンポーネントには、以下が含まれます。
NVIDIA GB200 NVL2
NVIDIA Blackwell GPU
NVIDIA Grace CPU
NVLink2 C2C
第 5 世代 NVIDIA NVLink
Key-value caching
MGX リファレンス アーキテクチャ
リアルタイム 主流 LLM 推論
NVIDIA GB200 NVL2
Aerial RAN Computer-1 で使用される NVIDIA GB200 NVL2 プラットフォーム (図 2) は、データ センターとエッジ コンピューティングに革命をもたらし、主流の大規模言語モデル (LLM)、vRAN、ベクター データベース検索、データ処理で比類のないパフォーマンスを提供します。
2 つの NVIDIA Blackwell GPU との NVIDIA Grace CPU を搭載したこのスケールアウトのシングルノード アーキテクチャは、アクセラレーテッド コンピューティングを既存のインフラストラクチャにシームレスに統合します。
この汎用性により、広範囲のシステム設計とネットワーキング オプションが可能になり、GB200 NVL2 プラットフォームは、AI の力を活用したいデータ センター、エッジ、セルサイトの場所に理想的な選択肢となります。
たとえば、GB200 サーバーの半分を RAN タスクに割り当てられ、残りの半分は単一セルサイトで
マルチインスタンス GPU (MIG)
テクノロジを通じて AI 処理に割り当てることができます。 集約サイトでは、完全な GB200 サーバーを RAN に専用し、もう 1 つを AI 専用に使用できます。 集中型の展開では、GB200サーバーのクラスターをRANとAIワークロード間で共有できます。
NVIDIA Blackwell GPU
NVIDIA Blackwell は、パフォーマンス、効率、拡張性の向上を実現する革命的なアーキテクチャです。 NVIDIA Blackwell GPU は 208Bトランジスタをパックし、カスタム構築されたTSMC 4NP プロセスを使用して製造されています。 すべての NVIDIA Blackwell 製品には、統一された単一 GPU で 10 TB/s のチップ間相互接続により接続された 2 つのレチクル制限付きダイが特徴です。
NVIDIA Grace CPU
NVIDIA Grace CPU は、AI、vRAN、クラウド、ハイパフォーマンス コンピューティング (HPC) アプリケーションを実行する最新のデータ センター向けに設計された画期的なプロセッサです。 優れたパフォーマンスとメモリ帯域幅を提供し、現在の主要なサーバー プロセッサの 2 倍のエネルギー効率で、優れたパフォーマンスとメモリ帯域幅を提供します。
NVLink2 C2C
GB200 NVL2 プラットフォームは、NVLink-C2C を使用して、各 NVIDIA Grace CPU と NVIDIA Blackwell GPU の間で 900 GB/s の相互接続を実現します。 第5世代 NVLink と組み合わせると、1.4 TB の巨大なコヒーレント メモリ モデルが提供され、AI と vRAN のパフォーマンスを加速します。
第 5 世代 NVIDIA NVLink
エクサスケール コンピューティングと 1 兆パラメーターの AI モデルのパワーを最大限に活用するには、サーバー クラスター内のすべての GPU がシームレスかつ迅速に通信する必要があります。
第5世代 NVLink は、GB200 NVL2 プラットフォームから高速なパフォーマンスを実現する高性能相互接続です。
Key-value caching
キー値 (KV) キャッシュは、
会話のコンテキストと履歴を保存することで、LLM の応答速度を向上します。
GB200 NVL2 は、NVLink-C2C で接続された完全にコヒーレントな NVIDIA Grace GPU と NVIDIA Blackwell GPU メモリを通じて KV キャッシュを最適化し、PCIe よりも 7 倍高速です。 これにより、LLM は、x86 ベースの GPU 実装よりも速く単語を予測できます。
MGX リファレンス アーキテクチャ
MGX GB200 NVL2 は、CPU C-Link と GPU NVLink が接続された 2:2 構成です。
HPM には、次のコンポーネントが含まれています。
NVIDIA Grace CPU (2)
GPU パックと I/O カード用のコネクター
2U AC Server に搭載された GPU モジュール (2)
各プラグ可能な GPU モジュールには、GPU、B2B 接続、NVLink コネクターが含まれています。
図 2. NVIDIA GB200 NVL2 プラットフォーム レイアウト
GPU コンピューティング
40 PFLOPS FP4 | 20 PFLOPS FP8/FP6
10x GH200
GPU メモリ
最大 384 GB
CPU
144 コア ARMv9、
960 GB LPDDR5、
2x SPR と比較して 1.4 倍のパフォーマンスと 30% の電力削減
CPU から GPU
NVLink C2C
GPU あたりの900 GB/s bi-dir.とキャッシュコヒーレント
GPU から GPU
NVLink
1,800 GB/s bi-dir.、NVLink
スケールアウト
Spectrum-X イーサネット、InfiniBand Connect-X、BlueField
OS
2 CPU + 2 GPU をカバーする統一アドレス空間を持つ単一 OS
システム パワー
フル システム ~3,500W、構成可能
スケジュール
サンプル: Q4 2024 四半期
MP: 第1 Q1 2025
表 1. GB200 NVL2 プラットフォーム機能
リアルタイム 主流 LLM 推論
GB200 NVL2 プラットフォームは、2 つの NVIDIA Grace CPU と 2 つの NVIDIA Blackwell GPU で共有される最大 1.3 TB の巨大な整合メモリを導入します。 この共有メモリは、第 5 世代 NVIDIA NVLink と高速チップ間 (C2C) 接続と組み合わせて、Llama3-70B などの主流言語モデルで 5 倍高速なリアルタイム LLM 推論パフォーマンスを実現します。
入力シーケンス長 256 、出力シーケンス長 8000 の出力シーケンス長、FP4 の精度により、GB200 NVL2 プラットフォームは最大 25K トークン/秒（2.16B トークン/日）を生成できます。
図 3 は、AI と RAN ワークロードをサポートする場合に GB200 NVL2 のパフォーマンスを示します。
図 3. GB200 NVL2 における RAN と AI のコンピューティング使用率
GB200 NVL2 プラットフォームで RAN と AI のプラットフォーム テナンスの様子は、次のとおりです。
100% 使用率のワークロード
RAN:
~36x 100 MHz 64T64R
*トークン:
25K トークン/秒
AI:
~10ドル/時 | ~9 万ドル/年
50:50 分割使用率でのワークロード
RAN:
~18x 100 MHz 64T64R
*トークン:
12.5K トークン/秒
AI:
~5ドル/時間。 | ~45,000 ドル/年
*トークン AI ワークロード: Llama-3-70B FP4 | シーケンス長入力 256 / 出力 8K
Aerial RAN Computer-1 のサポート ハードウェア
NVIDIA BlueField-3 と NVIDIAネットワーキング Spectrum-X は、Aerial RAN Computer-1 のサポートハードウェアです。
NVIDIA BlueField-3
NVIDIA BlueField-3 DPU
は、フロントホール eCPRI トラフィックに必要な正確な 5G タイミングでリアルタイム データ伝送を可能にします。
NVIDIA は、完全な IEEE 1588v2 Precision Time Protocol (PTP) ソフトウェア ソリューションを提供します。 NVIDIA PTP ソフトウェア ソリューションは、最も要求の厳しい PTP プロファイルに対応するように設計されています。 NVIDIA BlueField-3 には統合 PTP ハードウェア クロック (PHC) が組み込まれており、時間トリガーのスケジューリングや時間ベースのソフトウェア デファインド ネットワーキング (SDN) 加速などのタイミング関連機能を提供しながら、デバイスが 20 ナノ秒未満の精度を実現できます。
このテクノロジは、ソフトウェア アプリケーションがフロントホール、RAN 互換性のデータを高帯域幅で送信することを可能にします。
NVIDIA ネットワーキング Spectrum-X
エッジおよびデータセンター ネットワークは、AI とワイヤレスの進歩とパフォーマンスを推進する上で重要な役割を果たし、分散 AI モデル推論、生成 AI、世界クラスの vRAN パフォーマンスのバックボーンとして機能します。
NVIDIA BlueField-3 DPUは、数百万台の NVIDIA Blackwell GPU で効率的な拡張性を実現し、最適なアプリケーション パフォーマンスを実現します。
NVIDIA Spectrum-X
イーサネット プラットフォームは、イーサネット ベースの AI クラウドのパフォーマンスと効率を向上させるために特別に設計されており、5G タイミング同期に必要なすべての機能が含まれています。 従来のイーサネットと比較して 1.6 倍の AI ネットワーキング パフォーマンスを実現し、マルチテナント環境で一貫した予測可能なパフォーマンスを実現します。
Aerial RAN Computer-1 がラック構成で展開される場合、Spectrum-X イーサネット スイッチは 2 つの目的を持つファブリックとして機能します。 コンピューティング ファブリックでフロントホールと AI (イーストウエスト) トラフィックの両方を処理し、コンバージ ファブリックでバックホールまたはミッドホールと AI (ノースサウス) トラフィックも搬送します。 リモート 無線ユニットは、eCPRI プロトコルに準拠してスイッチで終了します。
Aerial RAN Computer-1 上のソフトウェア スタック
Aerial RAN Computer-1 の主要なソフトウェア スタックには、以下が含まれます。
NVIDIA Aerial CUDA-Accelerated RAN
NVIDIA AI Enterprise と NVIDIA NIM
NVIDIA Cloud Functions
NVIDIA Aerial CUDA-Accelerated RAN
NVIDIA Aerial CUDA-Accelerated RAN
は、Aerial RAN Computer-1 上で実行される 5G とプライベート 5G 向けに NVIDIA が構築した主要 RAN ソフトウェアです。
これには、AI コンポーネントを使用して簡単に変更し、シームレスに拡張できる、NVIDIA GPU アクセラレーションの相互運用可能な PHY および MAC レイヤー ライブラリが含まれています。 これらの強化された RAN ソフトウェア ライブラリは、他のソフトウェア プロバイダー、通信会社、クラウド サービス プロバイダー (CSP)、カスタムの商用グレードのソフトウェア デファインド 5G および将来の 6G 無線アクセス ネットワーク (RAN) を構築するために企業でも使用できます。
Aerial CUDA-Accelerated RA は、
NVIDIA Aerial AI Radio Frameworks
と統合され、フレームワーク ツールである pyAerial、NVIDIA Aerial Data Lake、
NVIDIA Sionna
を使用して RAN のトレーニングと推論を可能に AI 強化パッケージを提供します。
また、ワイヤレス システムの物理的に正確なシミュレーションを可能にするシステム レベルのネットワーク デジタル ツイン開発プラットフォームである
NVIDIA Aerial Omniverse Digital Twin
が補完されています。
NVIDIA AI Enterprise と NVIDIA NIM
NVIDIA AI Enterprise
は、エンタープライズ生成 AI のためのソフトウェア プラットフォームです。
NVIDIA NIM
は、生成 AI アプリケーションのための基盤モデルの展開を簡素化するマイクロサービスのコレクションです。
全体的に、これらの製品は、データ サイエンスのパイプラインを高速化し、企業向けの本番環境グレードのコ パイロットやその他の生成 AI アプリケーションの開発とデプロイを合理化する使いやすいマイクロサービスとブループリントを提供します。
企業と通信会社は、マネージド NVIDIA Elastic NIM サービスに登録するか、NIM を自ら展開し管理できます。 Aerial RAN Computer-1 は、NVIDIA AI Enterprise、NIM ベースの AI および生成 AI ワークロードをホストできます。
NVIDIA Cloud Functions
NVIDIA Cloud Functions
は、GPU アクセラレーテッド AI ワークロードのためのサーバーレス プラットフォームを提供し、セキュリティ、拡張性、信頼性を確保します。. さまざまな通信プロトコルをサポートします。
HTTP polling
ストリーミング
gRPC
Cloud Functions は、主に推論やファインチューニングなど、実行時間が短い、事前処理可能なワークロードに適しています。 RAN ワークロード リソース使用率が 1 日の時間とともに変化するため、Aerial RAN Computer-1 プラットフォームに最適です。
一時的に先占可能な AI ワークロードは、通常、1 日の使用されていない時間を埋めることができ、Aerial RAN Computer-1 プラットフォームの高使用率を維持します。
展開のオプションとパフォーマンス
Aerial RAN Computer-1 には、無線アクセス ネットワークのすべてのポイントを含む複数の展開のオプションがあります。
無線基地局セルサイト
拠点の場所
移動式スイッチング オフィス
ベースバンド ホテル
プライベート 5G の場合は、企業の敷地内に設置できます。
Aerial RAN Computer-1 は、場所やインターフェイス標準に関係なく同じソフトウェアを使用しながら、プライベート、パブリック、ハイブリッド クラウド環境など、さまざまな構成と場所をサポートできます。 この機能は、従来の単一目的 RAN コンピューターと比較して前例のない柔軟性を提供します。
このソリューションは、広範囲のネットワーク テクノロジもサポートしています。
オープン無線アクセス ネットワーク (Open-RAN) アーキテクチャ
AI-RAN
3GPP 標準
その他の業界をリードする仕様
GB200 をベースとする Aerial RAN Computer-1 は、以前の NVIDIA H100 と NVIDIA H200 GPU と比較して、RAN 処理、AI 処理、エネルギー効率のパフォーマンスが継続的に向上します (図 4)。
GB200 NVL2 プラットフォームは、既存のインフラストラクチャに 1 つの MGX サーバーを提供し、展開と拡張が容易です。 ハイエンド RAN コンピューティングで主流の LLM 推論とデータ処理を実現します。
図 4. GB200 NVL2 パフォーマンスと従来世代比較
まとめ
AI-RAN は、通信業界に革命をもたらし、通信会社が新しい収益源を獲得し、生成 AI、ロボティクス、自律テクノロジを通じて強化された体験を提供することを可能にします。 NVIDIA AI Aerial プラットフォームは、AI-RAN を実装し、ワイヤレス ネットワークを AI ネイティブにすることという NVIDIA の広範なビジョンと一致しています。
Aerial RAN Computer-1 により、通信会社は今日、共通のインフラストラクチャに AI-RAN を展開できます。 RAN と AI ワークロードを同時に実行することで使用率を最大化し、AI アルゴリズムで RAN のパフォーマンスを向上できます。
最も重要なのは、この共通コンピューターを使用すると、AI ワークロードにローカル コンピューティングとデータ主権を必要とする企業にとって最適な AI ファブリックになるというまったく新しい機会を活用できることです。 AI ファーストのアプローチから始めて、次にソフトウェア アップグレードで RAN を実施すれば、初日から ROI を最大化するための取り組みを開始できます。
T-Mobile とソフトバンクは、NVIDIA AI Aerial のハードウェアとソフトウェア コンポーネントを使用して、主要な RAN ソフトウェア プロバイダーと AI-RAN を商業化する計画を発表しました。
Mobile World Congress で、アメリカ、Vapor IO とラスベガス市は、NVIDIA AI Aerial を使用した
世界初のプライベート 5GAI-RAN デプロイ
を発表しました。
私たちは、AI による AI のためのワイヤレス ネットワークの変革の転換点にいます。 ワシントンD.C. で開催される
NVIDIA AI Summit
と
NVIDIA 6G Developer Day
にぜひ参加して、NVIDIA Aerial AI と NVIDIA Aerial RAN Computer-1 について詳しく学んでください。
関連情報
GTC セッション:
通信会社が国家 AI インフラストラクチャとプラットフォームをどのように実現するか
GTC セッション:
AI-RAN と 6G 研究の民主化
GTC セッション:
現代の通信会社 Blueprint: AI を使用して変革と再発明
SDK:
Aerial Omniverse デジタル ツイン
ウェビナー:
How Telcos Transform Customer Experiences with Conversational AI
ウェビナー:
多言語音声 AI カスタマイズされたエージェント アシストで通信会社 コンタクト センター エージェントの強化