mlperf inference

使用 NVIDIA Blackwell GPU 進行的首次測試結果，在 Llama 2 70B 上將推論效能提高四倍，而 NVIDIA Hopper 架構也在各產業 AI 基準測試中有著更為優異的表現 在企業爭相採用生成式人工智慧（AI）與陸續推出各項新服務的情況下，對資料中心基礎設施的需求也創下新高。訓練大型語言模型（LLM）是個難題，不過即時提供由 LLM 支援的服務同樣不易。 在最新一輪的MLPerf 產業基準：Inference v4.1中，NVIDIA 平台在各項資料中心測試項目裡皆寫下領先成績。即將推出的 NVIDIA Blackwell 平台由於使用第二代...