揭示新一代AMD Instinct加速器與軟體推動生成式AI的發展
AMD為雲端原生與技術運算推出全新AMD EPYC處理器，釋放專為資料中心打造的頂尖運算力
AMD揭示用於生成式AI的新一代AMD Instinct產品，並分享與Hugging Face和PyTorch的合作細節，打造AI軟體產業體系
AMD為雲端原生與技術運算推出全新AMD EPYC處理器，釋放專為資料中心打造的頂尖運算力
AMD揭示用於生成式AI的新一代AMD Instinct產品，並分享與Hugging Face和PyTorch的合作細節，打造AI軟體產業體系
AMD（NASDAQ: AMD）在「資料中心與人工智慧技術發表會」上揭示將塑造運算未來面貌的產品、策略以及產業體系合作夥伴，推動新一波資料中心創新。AMD與Amazon Web Services (AWS)、Citadel、Hugging Face、Meta、Microsoft Azure和PyTorch共同展示與各產業領導者的技術合作細節，為市場帶來新一代高效能CPU與AI加速器解決方案。
AMD董事長暨執行長蘇姿丰博士表示，AMD在實現資料中心策略上再度向前邁出重要一步，擴大的第4代EPYC™處理器產品陣容為雲端和技術運算工作負載提供領先業界的全新解決方案，而我們也與最大的雲端供應商發表全新公有實例和內部部署。AI是塑造新一代運算的決定性技術，也是AMD最大的策略性成長機會。我們專注於加速AMD AI平台在資料中心的大規模部署，計劃於今年稍後推出Instinct MI300加速器，同時，為AMD硬體作出最佳化的企業級AI軟體產業體系將持續壯大。
為現代資料中心進行最佳化的運算基礎架構
AMD揭示第4代EPYC處理器產品線的一系列更新資訊，為客戶提供滿足企業獨特需求所需的專業化工作負載。
· 進一步提升全球最頂尖資料中心CPU的效能－第4代AMD EPYC處理器持續擴大效能與能源效率的領先優勢。AMD與AWS展示新一代Amazon Elastic Compute Cloud (Amazon EC2) M7a實例的預覽，搭載第4代AMD EPYC處理器（代號為“Genoa”）。此外，Oracle宣布計劃推出搭載第4代AMD EPYC處理器的新款Oracle Computing Infrastructure (OCI) E5實例。
· 為雲端原生運算帶來頂尖效能－AMD推出先前代號為“Bergamo”的第4代AMD EPYC 97X4處理器。憑藉每插槽128個“Zen 4c”核心，新款處理器為在雲端運行的應用提供最高的vCPU密度註1與領先業界的效能註2，同時帶來能源效率的領先優勢。Meta指出第4代AMD EPYC 97X4處理器為Instagram、WhatsApp等Meta主流應用程式提供卓越效能；與第3代AMD EPYC處理器相比，第4代AMD EPYC 97x4處理器為Meta各種工作負載帶來顯著的效能提升，同時大幅度的減少TCO，AMD與Meta對EPYC CPU進行最佳化，以滿足Meta對功耗效率與運算密度的要求。
· 為技術運算打造更卓越產品－AMD推出搭載AMD 3D V-Cache™技術的第4代AMD EPYC處理器，是用於技術運算的全球最高效能x86伺服器CPU註3。微軟宣布全面推出Azure HBv4和HX實例，採用搭載AMD 3D V-Cache技術的第4代AMD EPYC處理器。
如欲了解更多有關第4代AMD EPYC處理器的最新資訊，請參閱AMD官網，AMD客戶證言請參閱此連結。
AMD Al平台－The Pervasive Al Vision
AMD發表一系列產品訊息，展現如何推展AI平台策略，提供客戶涵蓋雲端、邊緣、終端的硬體產品，結合與業界進行的深度軟體合作，發展可擴充與全方位的AI解決方案。
· 為生成式AI推出全球最先進的加速器註4－AMD揭示AMD Instinct™ MI300系列加速器產品線的最新細節，包括推出AMD Instinct MI300X加速器，為全球最先進的生成式AI加速器。MI300X採用新一代AMD CDNA™ 3加速器架構，支援高達192 GB的HBM3記憶體，提供大型語言模型推導與生成式AI工作負載所需的運算力與記憶體效率。憑藉AMD Instinct MI300X的大容量記憶體，客戶可處理Falcon-40B等大型語言模型，僅需使用一個MI300X GPU加速器就能處理400億個參數的模型註5。此外，AMD推出AMD Infinity架構平台，將8個MI300X加速器整合至業界標準設計，打造極致的生成式AI推論與訓練環境。MI300X將從第3季開始向各大客戶送樣。AMD同時發表AMD Instinct MI300A，為針對HPC與AI工作負載所開發的全球首款APU加速器，現已開始向客戶送樣。
· 向市場推出開放、經過驗證、可立即運行的AI軟體平台－AMD展示為資料中心加速器所打造的ROCm™軟體產業體系，展現其就緒性以及與產業領導者合作，聯手推動開放AI軟體生態系的發展。PyTorch分享AMD與PyTorch基金會之間的合作，從上游全面提供ROCm軟體堆疊，透過ROCm 5.4.2版本在所有AMD Instinct加速器上為PyTorch 2.0提供即時的Day-0支援。這樣的整合為開發人員提供廣泛的PyTorch AI模型，可在AMD加速器上「開箱即用」。面向AI開發者的領先開放平台Hugging Face宣布將在AMD Instinct加速器、AMD Ryzen™和AMD EPYC處理器、AMD Radeon™ GPU、Versal™及Alveo™自行調適處理器等AMD平台上最佳化數千個Hugging Face模型。
瞄準雲端與企業的強大網路產品陣容
AMD展示陣容強大的網路產品線，包括AMD Pensando™ DPU、AMD超低延遲NIC與AMD自行調適NIC。AMD Pensando DPU結合軟體堆疊與「零信任安全性」以及領先業界的可程式化封包處理器，打造全球最智慧與最高效能的DPU。AMD Pensando DPU在IBM Cloud、Microsoft Azure和 Oracle Compute Infrastructure等雲端合作夥伴大規模部署。在企業中，AMD Pensando DPU部署在 HPE Aruba CX 10000 Smart Switch中，並與領先的IT服務公司DXC等客戶合作，並透過VMware vSphere® Distributed Services Engine™分散式服務引擎為客戶加速應用程式效能。
AMD發表代號為“Giglio”的新一代DPU，目標為客戶提供更強效能與能源效率，預計在2023年底上市。
此外，AMD發表AMD Pensando Software-in-Silicon開發套件（SSDK），讓客戶能快速開發或遷移各項服務，在AMD Pensando P4可程式化DPU上進行部署，並與建置在AMD Pensando平台上豐富的現有功能並存運行。AMD Pensando SSDK讓客戶能夠使用AMD Pensando DPU領先業界的效能，在其基礎架構上運行並打造客製化的虛擬化與安全功能，配合已建置在Pensando平台上的現有功能並存運行。
註1：EPYC-049：AMD EPYC 9754處理器是一款128核心的雙執行緒處理器，安裝在2路插槽的伺服器，每個vCPU處理1個執行緒，每部搭載EPYC的伺服器可容納512個vCPU，超過任何Ampere或4路插槽的Intel 處理器伺服器。截至2023年5月23日的資料。
註2：SP5-143A：根據2023年6月13日www.spec.org官網SPECrate®2017_int_base跑分數據。2P組態的AMD EPYC 9754測得推估跑分為1950。
SPECrate®2Q17_int_base CPU2017 Integer Rate Result: ASUSTeK Computer Inc. ASUS RS720A-E12-RS12 (2.25 GHz, AMD EPYC 9754)此跑分數據超越所有其他2P伺服器。
1P組態的AMD EPYC 9754測得推估跑分為981 SPECrate®2017_lnt_base score（981.4 score/socket）
http://www.spec,org/cpu2017/results/res2023q2/cpu2017-20230522-36613.html 此跑分數據超越所有其他伺服器。SPEC®、SPEC CPU®、以及SPECrate®係Standard Performance Evaluation Corporation的註冊商標。如欲瞭解詳細資訊，敬請參閱www.spec.org。
註3：SP5-165：EPYC 9684X處理器是全球效能最高的技術運算x86伺服器處理器，此比較結果是根據2023年6月13日SPEC.org官網的量測跑分、評級、或每日完成任務的數據，包括SPECrate®2G17_fp_base（SP5-009E），Altair AcuSoive（https://www.amd.com/en/processors/server-tech-docs/amd- epyc-9004x-pb-altair-acusolve.pdf）；Ansys Fluent（https://www.amd.com/en/processors/server -fech-docs/amd-epyc- 9004x-pb-ansys-fluent,pdf）；OpenFOAM（https://www.amd.com/en/processors/server-tech-docs/amd-epyc-9004x-pb- openfoam.pdf）；Ansys LS-Dyna（https://www.amd.com/en/processors/server-tech-docs/amd-epyc-9004x-pb-ansys-ls- dyna.pdf）；以及Altair Radioes（https://www.amd.com/en/proce$sor$/$erver-tech-doc$/amd-epyc-9QQ4x-pb-attairradioss.pdf）應用測試案例模擬平均加速效果，在2P伺服器上執行96核心的EPYC 9684X，對比頂尖2P效能型通用56核心Intel Xeon Platinum 8480+或60核心Xeon 8490H打造的技術運算專用伺服器。AMD定義的技術運算或技術運算工作負載包括電子設計自動化、運算流體力學、有限元素分析、地震層析成像、氣象預測、量子力學、氣候研究、分子建模、或類似的工作負載。實際結果可能受許多因素影響有差異，其中包括晶片版本、硬體與軟體組態以及驅動程式版本。SPEC®、SPECrate®以及SPEC CPU®是Standard Performance Evaluation Corporation的註冊商標。如欲瞭解詳細資訊，敬請參閱www.spec.org。
註4：MI300-09：AMD Instinct™ MI300X加速器採用AMD CDNA 3 5奈米FinFet製程技術，以3D小晶片堆疊技術打造，運用AMD Infinity Fabric高速傳輸技術，擁有192 GB HBM3記憶體容量（對比80GB NVIDIA Hopper H100），達到5.218 TFLOPS的持續峰值記憶體頻寬效能，超越最高頻寬的NVIDIA Hopper H100 GPU。
SP5-149：容器密度吞吐量是根據可持續的25k電子商務Java營運/安全/容器負載，直到超過服務水準協議（SLA），使用合併伺服器上超過90%的核心執行伺服器端的Java負載，於2023年6月13日由AMD進行量測。共用的容器設定：配置40GB記憶體、相近的磁碟與網卡。2P伺服器組態：2P EPYC 9754 128C/256T SMT ON；記憶體：1.5TB=24 x 64 GB DDR5 4800記憶體；作業系統Ubuntu 22.04版；NPS設置：L3以NUMA模式執行16個vCPU，對比2P Xeon Platinum 8490H 60C/120T HT ON；記憶體：2TB=32 x 64 GB DDR5 4800記憶體；作業系統Ubuntu 22.04版；NPS設置：NPS 2執行16個vCPUs對比2P Ampere Aitra Max 128 30；記憶體：1TB=16 x 64GB DDR3200記憶體；作業系統Ubuntu 22.04版；NPS設置：NPS 1執行25C，實際結果可能受許多因素影響而有差異，其中包括系統組態、軟體版本、以及BIOS設定。
註5：MI300-07K：由AMD效能實驗室於2023年6月2日進行量測，根據現有規格與/或內部工程運算。大型語言模型（LLM）或FP16精準度的運算，判斷執行Falcon模型（400億參數）所需的最少GPU數量。測試結果配置：AMD實驗室系統由1個EPYC 9654（96核心）處理器和1個AMD Instinct™ MI300X（192GB HBM3，OAM模組）750W加速器組成，以FP16精準度測試。各家製造商產品組態各異，故測得結果也可能不同。
