Unboxing the Performance of Ultra-High-End NVIDIA RTX 6000 Ada Professional Graphics Card

Advantech offers a diverse range of Industrial GPU Solutions, especially featuring NVIDIA's complete series of enterprise-grade professional graphics cards. As an elite partner of NVIDIA, Advantech has priority access to the latest generation of GPU cards and exclusive support from the NVIDIA technical team, providing professional consulting services to Advantech customers.

Advantech's Edge AI solutions are widely applied in various industries, accumulating rich experience in industrial and enterprise-level user collaborations. This article is a comparative evaluation of the popular professional-grade NVIDIA RTX GPU card series, helping customers assess suitable deployments for industrial IoT and various vertical applications such as manufacturing, transportation, medical, and gaming industries.

Highlights of this article:

• Comparison of specifications between NVIDIA RTX 6000 Ada and RTX A6000 
• Feature highlights of the ultra-high-end professional graphics card NVIDIA RTX 6000 Ada
• Four professional performance evaluations:

1. Professional modeling and drawing software SPECviewperf 2020 performance test.
2. AI image generation model and Stable Diffusion computational speed test.
3. Deep learning, AI model training Lambda Labs PyTorch GPU Training benchmark.
4. 3D performance 3DMark Time Spy test.

Comparison of NVIDIA RTX 6000 Ada and RTX A6000 specifications:

The latest NVIDIA® RTX™ 6000 GPU card uses the new Ada Lovelace architecture, providing much higher CUDA cores, third-generation RT cores, and fourth-generation Tensor cores. Compared to the previous generation RTX A6000, it has an approximately 70% increase in core numbers and performance, offering impressive FP32 single-precision floating-point computing power.   

The NVIDIA RTX 6000 Ada is equipped with 48GB of ECC video memory but has a maximum power consumption of only 300 watts, about two-thirds of the flagship gaming player GPU card. This is crucial for deployment in edge AI applications and high-end image processing, helping customers build more efficient and stable AI acceleration and graphic workstations.

Specification Comparison:

In terms of power connectors, NVIDIA RTX 6000 Ada introduces a new 12VHPWR 16-pin interface.

During the transition period, NVIDIA thoughtfully provides customers with a PCIe 8-pin x 2 to 16-pin adapter cable, allowing continued use of existing power supply.

Aesthetically, the RTX 6000 Ada maintains the same piano paint mirror design as the RTX A6000 and the "reflective" RTX GPU card is a symbol of its top-tier status.

It’s important to note that the upper side connection ports of NVIDIA RTX 6000 Ada are mainly for use with Quadro Sync multi-screen synchronous display function, no longer offering NVLink connectivity. Customers requiring NVLink functionality are advised to use previous generation NVIDIA RTX A4500 / A5000 / A5500 / A6000 GPU cards.

The latest flagship NVIDIA RTX 6000 Ada has a significant upgrade in specifications compared to the previous generation RTX A6000, with substantial increases in all aspects of theoretical peak performance. We will detail these characteristics for enterprise users.

Feature highlights of the ultra-high-end professional graphics card NVIDIA RTX 6000 Ada:

• Large Capacity, High-Speed 48GB GDDR6 Memory

Utilizing 48GB GDDR6 memory, RTX 6000 achieves a 25% increase in throughput for ray tracing, rendering, and AI workloads compared to the previous generation. RTX 6000 Ada offers the largest graphic memory in the industry, capable of handling the largest datasets and models for latency-sensitive professional applications. 

• Memory with Error Correcting Code (ECC)

RTX 6000 automatically detects and corrects errors, enhancing data integrity and maintaining the accuracy and stability of model computations, providing unparalleled reliability for critical tasks. This prevents data access or transmission errors from abruptly interrupting long computational processes in workstations, offering unmatched accuracy and reliability.

• NVIDIA Virtual GPU Software

NVIDIA Virtual GPU (vGPU) software allows personal workstations to be reconfigured into multiple high-performance virtual workstations, enabling remote users to share resources for driving high-end design, AI, and computational workloads.

NVIDIA® RTX™ Experience

NVIDIA RTX Experience provides a suite of productivity tools for your desktop workstation, including up to 8K desktop recording, active notifications for the latest NVIDIA RTX Enterprise driver updates, and access to gaming features.

Four professional performance evaluations:

Following the unboxing, we now arrive at the highlight of this article – performance evaluation. In this test, we include four NVIDIA RTX 6000 Ada, RTX A6000, RTX A4500, and RTX A4000 cards, representing professional and enterprise-level GPU products.      

The testing tools include SPECviewperf 2020 software for professional modeling and drawing, the popular AI image generation model Stable Diffusion computational speed test, Lambda Labs PyTorch GPU Training Benchmark for deep learning and AI model training, and the 3DMark Time Spy for 3D performance testing.   

Overall, NVIDIA RTX 6000 Ada shows significant performance growth in all tests compared to the previous generation RTX A6000 GPUs. This is primarily due to the new ADA Lovelace architecture, upgraded CUDA cores, third-generation RT Core, and fourth-generation Tensor Core. The core number has increased by 69% compared to the previous generation, with rendering performance tripled and AI inference performance doubled.   

This article will focus on reviewing NVIDIA RTX 6000 Ada, looking at its advantages in performance, power consumption, and system integration.

1. Professional Modeling and Drawing Software SPECviewperf 2020 Performance Test

SPECviewperf 2020 tests the drawing performance of various industry professional software, including 3ds Max, Catia, Creo, Energy, Maya, Medical, SNX, SolidWorks, and other drawing and engineering simulation software.

The test results show that RTX 6000 Ada dominates in performance across all software compared to other RTX GPU cards. Taking the commonly used modeling software in the manufacturing industry, SNX, as an example, at 1080p resolution, the performance of RTX 6000 Ada is almost double that of RTX A6000 (1080p). For medical and energy domain applications, RTX 6000 Ada provides double or more performance than the other GPU cards tested. This shows that NVIDIA RTX 6000 Ada is highly suitable for professional drawing and modeling software.

2. AI Image Generation Model Stable Diffusion Computational Speed Test

Generative AI is currently one of the hottest AI applications. Stable Diffusion is a deep-learning model capable of generating detailed images from text descriptions. More and more enterprise-level customers need to generate AI images in a local environment to avoid concerns about data leakage. This requires Advantech's GPU Edge Computer paired with NVIDIA GPU cards to build a private graphics processing workstation to run Stable Diffusion. 

テストの結果、RTX 6000 Adaはテストしたすべてのカードの中で最も速く画像をレンダリングできることがわかりました。一度に8枚の画像を生成し（バッチサイズ＝8）、1枚の画像あたり生成に必要な時間が、わずか1秒未満で済みました。RTX A6000と比較して、同じ消費電力を維持しながら1秒あたりにより多くの画像を生成し（0.66画像→1.06画像）、計算時間を短縮した画像生成プロセスの効率を最適化しています。

3. ディープラーニング AIモデルトレーニング Lambda Labs PyTorch GPUトレーニングベンチマーク

PyTorchは深層学習モデルを構築するためのフレームワークで、コンピュータ・ビジョンや自然言語処理、さらにはTeslaの自律走行用AIモデル・トレーニングでも一般的に使用されています。このテストでも、RTX 6000 Adaは、さまざまなAIモデルのトレーニングデータの処理において、すべてのRTX GPUカードを圧倒しています。

ただし、高度に分割可能なAIモデルのトレーニングでは、システムに挿入するGPUカードの枚数が増えれば増えるほど、トレーニングの速度もそれに比例して速くなるため、GPUカードとシステムの相性は非常に重要であることは注目に値します。

RTX 6000 Adaの利点は、デュアルスロットのフォームファクタと低消費電力設計にあり、顧客はより多くのGPUカードをサーバへと統合でき、それによりAIトレーニング性能を向上させることができます。例えば、2UサーバSKY-6200では、最大4枚のRTX 6000 Adaカードを挿入できます。しかし、3.5スロットのフォームファクタを必要とするGPUカードを使用する場合、その設計が異なるため、2Uサーバに統合できないリスクがしばしば発生します。   

例えば、一般的に使用されている4UサーバのSKY-640 V3は、3.5スロットのGPUカードを搭載した場合、2枚のGPUカードしか統合できません。しかし、RTX 6000 Adaを搭載した場合、4枚のGPUカードを統合することができ、2枚搭載のシステムと比較して2倍のモデルトレーニング性能を提供することができます。さらに、必要なTGP（グラフィックスカードの最大電源）はわずか1200Wで、一般的な2000Wサーバでの電源不足の懸念を完全に払拭できます。

特に冷却設計の面では、RTX 6000 Adaはデュアル吸気ブロワー設計と組み合わされています。

したがって、複数のRTX 6000 Ada GPUカードを並列かつ密接にフィットする構成でシステムに統合することで、効率的な吸気量を達成しながら動作の安定性を確保することができます。この構成が、スケーラビリティの実現と長期安定稼働の鍵を握っています。

4.  3Dパフォーマンス 3DMarkタイムスパイテスト

最後に、3DMark Time Spyテストでは、RTX 6000 Adaの性能は前世代のA6000と比較して76％向上しており（18,514 → 32,659）、主にコア数のアップグレードの恩恵を受けています。

次の図は、RTX 6000 AdaのTGPが演算処理中にも関わらずほぼ300Wへと保たれ、GPUクロックが1,900MHzから2,500MHzの間で変動していることを示しています。

RTX 6000 Adaは、より多くのCUDAコア、Tensorコア、RTコアを使用しています。そのため、GPUクロックが低く変動していても低消費電力という利点をもたらしながら高い効率を維持することにつながります。これがワークステーションの長期安定稼働の秘訣です。

• 結論：世界をリードする産業用コンピューターとトップクラスのGPUを組み合わせ、最も効率的で信頼性の高いAIワークステーションを実現

最上位のNVIDIA RTX 6000 Adaは、テストされた4つのGPUカードの中で、最高の性能、優れた双方向冷却設計、低消費電力の利点を誇り、最適なシステム統合、拡張性、ソフトウェア互換性をもたらします。プロフェッショナルのニーズを満たす幅広いアプリケーションに対応し、企業顧客に2倍以上の集中的なコンピューティング性能を提供すると同時に、24時間体制でワークステーションの安定稼働した動作効率を保証します。

エッジコンピューティング、AIアクセラレーション、GPUコンピューティング、および5Gの広範囲な普及に伴い、リアルタイムAI推論コンピューティングの提供、およびレイテンシを削減するため広範囲なAIアプリケーションをエッジ側へと展開させる必要性が高まっています。アドバンテックは、NVIDIA Elite Partnerであり、Professional RTX GPUカードを含むNVIDIA Enterprise PCIe GPUカードのフルレンジを提供できるとともに、データセンターやAIトレーニングアプリケーション向けのGPUカードも提供しています。また、最新の製品ライセンスへの優先アクセスや、ハードウェア、ソフトウェア、ドライバに関するエヌビディア社のテクニカルチームによる独占サポートも受けることができます。

さらに、アドバンテックは、エッジコンピューティングとAIソリューションにおける長年の経験を持つ産業用コンピュータの世界No.1ブランドであり、統合された技術とサービスだけでなく、お客様が選択できる幅広いシステムも提供しております。 アドバンテックは、NVIDIAの厳格なシステム認証（NVIDIA-Certified and Qualified）に合格し、安定したシステム運用とソフトウェアの互換性を保証することで、お客様の幅広いアプリケーションプロジェクトを最短時間で展開かつ立ち上げさせることで、このAIとアクセラレーテッド・コンピューティングの時代に最高の価値を創造して参ります。