對於 AI PC 來說,AMD 其實是要比 Intel 更早入場的,去年推出採用 Phoenix 核心的 Ryzen 7040 系列處理器就配備了 Ryzen AI 單元,而今年推出採用 Hawk Point 核心的 Ryzen 8040 系列處理器把 AI 單元正式改名為 NPU,同樣採用 XDNA 架構,但算力從 10 TOPS 提升到 16 TOPS,而在應用方面,AMD 這段時間在客戶端和本地 AI 工作的軟體優化方面投入了大量工作,在最新發布的官方測試表明配備 Ryzen AI 的 AMD 處理器在新的 AI 測試中超越了 Intel Core Ultra。
AMD 對比了 15W 的 Ryzen 7 7840U 和 28W 的 Core Ultra 7 155H ,兩款對比用的筆電均搭配了 16GB LPDDR5-6400 記憶體,並更新到了最新的驅動。
測試在本地運行 LLM,包括 LLama 2、Mistral AI_、code llama 和 RAG 等一系列模型,本地端運行人工智慧模型在私密性方面會比在雲端更有保障,而且可以節省訂閱費用。AMD 正在進一步進入這一領域,並發布了本地運行大語言模型的指南,詳細介紹如何在本地部署屬於自己的 AI 聊天機器人。
Mistral Instruct 7B LLM 項目 ,與 Core Ultra 7 155H 相比,Ryzen 7 7840U 僅花了 61% 的時間就完成了 AI 處理。
而 Ryzen 7 7840U 在 Llama 2 7B 聊天速度也比 Ultra 7 155H 要快許多。
Ryzen 7 7840U 在 LLama v2 Chat 7B (Q4 KM) 中表現比對手快了14%,在 Mistral Instruct 7b (Q4 KM) 中表現則快17%。
LLama v2 Chat 的首次令牌速度快了79%,在 Mistral Instruct 7B LLM 中的 First token 速度快了41%。
注意的是,Ryzen 7 7840U 的功耗限制是要比 Core Ultra 7 155H 要低的,而且 NPU 速度也稍慢一些,Ryzen 7 7840U 的 NPU 是1 0 TOP,而 Core Ultra 7 155H 則是 11 TOP。如此採用同樣 28W 功耗而且 NPU 提速到 16 TOP 的 Ryzen 8040 處理器的話優勢會更明顯。
由於 AMD 的 Ryzen AI 上市更早,這能讓 AMD 收到更多的市場回饋,能讓他們對下一代 CPU 的 AI 效能進行最佳化,下一代採用 Zen 5 核心的 Strix Point 系列會把 NPU 升級到 XDNA 2 架構,算力會進一步提升,以適應日漸成熟的 AI 應用。
來源
AMD 對比了 15W 的 Ryzen 7 7840U 和 28W 的 Core Ultra 7 155H ,兩款對比用的筆電均搭配了 16GB LPDDR5-6400 記憶體,並更新到了最新的驅動。
測試在本地運行 LLM,包括 LLama 2、Mistral AI_、code llama 和 RAG 等一系列模型,本地端運行人工智慧模型在私密性方面會比在雲端更有保障,而且可以節省訂閱費用。AMD 正在進一步進入這一領域,並發布了本地運行大語言模型的指南,詳細介紹如何在本地部署屬於自己的 AI 聊天機器人。
Mistral Instruct 7B LLM 項目 ,與 Core Ultra 7 155H 相比,Ryzen 7 7840U 僅花了 61% 的時間就完成了 AI 處理。
而 Ryzen 7 7840U 在 Llama 2 7B 聊天速度也比 Ultra 7 155H 要快許多。
Ryzen 7 7840U 在 LLama v2 Chat 7B (Q4 KM) 中表現比對手快了14%,在 Mistral Instruct 7b (Q4 KM) 中表現則快17%。
LLama v2 Chat 的首次令牌速度快了79%,在 Mistral Instruct 7B LLM 中的 First token 速度快了41%。
注意的是,Ryzen 7 7840U 的功耗限制是要比 Core Ultra 7 155H 要低的,而且 NPU 速度也稍慢一些,Ryzen 7 7840U 的 NPU 是1 0 TOP,而 Core Ultra 7 155H 則是 11 TOP。如此採用同樣 28W 功耗而且 NPU 提速到 16 TOP 的 Ryzen 8040 處理器的話優勢會更明顯。
由於 AMD 的 Ryzen AI 上市更早,這能讓 AMD 收到更多的市場回饋,能讓他們對下一代 CPU 的 AI 效能進行最佳化,下一代採用 Zen 5 核心的 Strix Point 系列會把 NPU 升級到 XDNA 2 架構,算力會進一步提升,以適應日漸成熟的 AI 應用。
來源