NVIDIA Developer ★ 95 2 min

NVIDIA Vera CPU Boosts AI Factory Throughput to Accelerate Agentic Workloads

Agentic AI / Generative AITop StoriesAI AgentAI FactoryVera CPU

🔗 https://developer.nvidia.com/blog/nvidia-vera-cpu-boosts-ai-factory-throughput-to-accelerate-agentic-workloads/

標題: NVIDIA Vera CPU Boosts AI Factory Throughput to Accelerate Agentic Workloads

來源: NVIDIA Developer
機構/作者: Michelle Horton
連結: https://developer.nvidia.com/blog/nvidia-vera-cpu-boosts-ai-factory-throughput-to-accelerate-agentic-workloads/

NVIDIA 推出的 Vera CPU 採用單片計算晶片,擁有 88 個 Olympus 核心、統一快取與 Scalable Coherency Fabric。在全槽負載下,單核心持續效能較傳統 x86 資料中心 CPU 提升 1.8 倍;峰值載入延遲降低 40%;每核記憶體頻寬提升超過 3 倍,且功耗僅為傳統 CPU 的一半以下。這些特徵直接提升強化學習(RL)訓練吞吐量、政策梯度品質與環境展開完成率,同時減少 CPU 端停頓與 KV-cache 驅逐導致的內容重建,使得密集型 Agentic AI 工廠中的 GPU 利用率與系統效率提升,進而提升整體產能與 SLA 遵從度。

📊 Vera CPU 效能提升

  • 持續單核效能提升 1.8 倍(全槽負載下)
  • 峰值載入延遲降低 40%
  • 每核記憶體頻寬提升超過 3 倍
  • 功耗僅為傳統 x86 資料中心 CPU 的一半以下
  • 強化學習訓練吞吐量、政策梯度品質、環境展開完成率皆顯著提升

🎯 對 Agentic AI 工廠的影響
透過降低 CPU 端停頓、減少 KV-cache 驅逐導致的內容重建、最大化吞吐量,Vera CPU 能提升 GPU 利用率與系統效率,提升整體產能與 SLA 遵從度。

🔗 來源

#NVIDIA #VeraCPU #AgenticAI #AIFactory #ReinforcementLearning #GPUUtilization #DataCenter #HPC #AIInfrastructure #NVIDIADeveloper

google/gemma-4-31b-it:free 自動生成