NVIDIA Hopper 與 Ampere GPU 在人工智慧訓練基準測試中創下世界紀錄

在人工智慧訓練的產業標準測試中，NVIDIA H100 Tensor 核心 GPU

在處理企業作業負載創下世界紀錄，而 A100 則提高了高效能運算的標準

NVIDIA H100 Tensor 核心 GPU 在初登場刷新 MLPerf 推論基準測試紀錄的兩個月後，又在產業組織的人工智慧 (AI) 訓練最新測試中，創下處理企業 AI 作業負載的全新世界紀錄。這些測試結果顯示，對於建立與部署最先進 AI 模型以要求最高表現的用戶來說，H100 是最佳選擇。

MLPerf 是產業用於衡量 AI 效能的標準。包括亞馬遜 (Amazon)、Arm、百度 (Baidu)、Google、哈佛大學 (Harvard University)、英特爾 (Intel)、Meta、微軟 (Microsoft)、史丹佛大學 (Stanford University) 和多倫多大學 (the University of Toronto) 在內的眾多業者與學術單位皆對這項標準表達支持。

在今天發布的 MLPerf 相關基準測試中，NVIDIA A100 Tensor 核心 GPU 提高了去年在高效能運算 (HPC) 立下的標準。

圖一_NVIDIA H100 GPU 首次提交 MLPerf 訓練成績時，速度比 A100 GPU 快 6.7 倍

H100 GPU (採用 Hopper 架構) 提高了 MLPerf 訓練中單一加速器的效能標準。在首次將 H100 GPU 用於 MLPerf 訓練時，表現比前一代 GPU 高出 6.7 倍；而以同樣的比較基礎來看，由於軟體的進步，目前 A100 GPU 的處理能力又高出 2.5 倍。

有部分原因出自於它的 Transformer 引擎，Hopper 架構在訓練用於自然語言處理的熱門 BERT 模型時有極為出色的表現。BERT 是 MLPerf AI 模型中規模最大、對處理效能要求最嚴苛的模型之一。

由於這些基準涵蓋當今最受歡迎的 AI 作業負載，像是電腦視覺、自然語言處理、推薦系統、強化學習等，MLPerf 的測試結果讓用戶有信心做出明智的購買決定。這些測試經過業界審核，值得用戶信任。

A100 GPU 在高效能運算達到新高峰

在獨立的 MLPerf HPC 基準測試，在超級電腦上運行嚴苛的科學作業負載時，A100 GPU 在 AI 訓練模型所有測試項目中的表現橫掃千軍。這些結果顯示 NVIDIA AI 平台有能力攻克世界上最艱難的技術挑戰。

像是 A100 GPU 在 CosmoFlow 測試中訓練 AI 模型，比兩年前第一輪 MLPerf HPC 測試的最佳結果還要快 9 倍。在同樣的作業負載中，A100 的每塊晶片處理量亦驚人地比其他產品高出 66 倍。

HPC 基準是用於天體物理學、天氣預測及分子動力學的工作訓練模型，藥物開發等許多技術領域同樣採用 AI 來推動科學發展。

圖二_在全球的測試中，A100 GPU 在訓練速度與處理量都處於領先地位

亞洲、歐洲及美國的超級電腦中心參加最新一輪的 MLPerf HPC 測試。在首次參加 DeepCAM 基準測試時，戴爾科技 (Dell Technologies) 使用 NVIDIA A100 GPU 拿下亮眼成績。

無與倫比的生態系

在企業 AI 訓練基準測試方面，包括Microsoft Azure 雲端服務在內的 11 家公司使用 NVIDIA A100、A30 和 A40 GPU 提交測試結果。華碩 (ASUS)、戴爾科技、富士通 (Fujitsu)、技嘉 (GIGABYTE)、慧與科技 (Hewlett Packard Enterprise)、聯想 (Lenovo) 及美超微 (Supermicro) 等系統製造商，共使用九套 NVIDIA 認證系統提交測試結果。

在最新一輪的測試中，至少有三家公司與 NVIDIA 一樣提交所有 MLPerf 訓練作業負載的八項測試結果。真實環境中的應用程式往往需要一套涵蓋多種 AI 模型的方案，因此通用性非常重要。

NVIDIA 的合作夥伴認知到客戶會使用 MLPerf 這項寶貴工具來評估 AI 平台和供應商，因此參與 MLPerf 基準測試。

背後的秘密

NVIDIA AI 平台提供一個從晶片到系統、軟體與服務的完整堆疊，可持續不斷地提升運作表現。例如在最新的 HPC 測試中，參與者提出的結果使用了一篇技術文章中描述的一套軟體最佳化項目和技術。這些因素加起來將一個基準測試的執行時間縮短 5 倍，從原本的 101 分鐘縮短至 22 分鐘。

第二篇文章介紹 NVIDIA 如何針對企業 AI 基準測試最佳化其平台。例如，我們使用 NVIDIA DALI 為運算視覺基準有效地載入與預處理資料。

用於測試的所有軟體可在 MLPerf 資源庫中取得，任何人都能取得這些世界級的測試結果。NVIDIA 不斷將這些最佳化項目納入可在 GPU 應用程式軟體中心 NGC 取得的容器內。