NVIDIA NIM微服務與 AI Blueprints可協助開發者與愛好者在PC上建立AI代理及創意工作流程
NVIDIA於今日在CES上宣布推出可在NVIDIA RTX™ AI PC 本機端運行的基礎模型，為數位人、內容創作、生產力和開發工作增添更強大的能力。
這些以NVIDIA NIM™ 微服務形式提供的模型，由全新的GeForce RTX™ 50系列GPU加速，GPU具備每秒高達3,352兆次（TOPS）的AI運算效能及32GB的VRAM。採用NVIDIA Blackwell架構的RTX 50系列，是首款加入支援FP4運算能力的消費性GPU，可將AI推論效能提升兩倍，且與前一代硬體相比，能夠以更小的記憶體用量在本機端執行生成式AI模型。
GeForce™一直以來都是AI開發者所使用的重要平台。2012 年，開發者即使用GeForce GTX™ 580訓練第一個GPU加速的深度學習網路AlexNet，而去年已有超過三成發表的 AI 研究論文引用其使用GeForce RTX。
現在，有了生成式AI和RTX AI PC，任何人都可以成為開發者。愛好者使用AnythingLLM、ComfyUI與LM Studio等新一波的低程式碼與無程式碼工具，透過簡單的圖形使用者介面在複雜的工作流程中使用AI模型。
使用者透過連接到這些圖形使用者介面（GUI）的NIM微服務，便能輕鬆存取與部署最新的生成式 AI 模型。建構在 NIM 微服務上的NVIDIA AI Blueprints，為數位人、內容創作等領域提供預先設定好又易用的參考工作流程。
為了滿足AI開發者與愛好者層出不窮的需求，每一家頂級PC製造商與系統建置商皆會推出搭載 GeForce RTX 50 Series GPU的NIM-ready RTX AI PC。
NVIDIA創辦人暨執行長黃仁勳表示：「AI正以光速發展，從感知式 AI到生成式AI，再到現在的代理型AI。NIM微服務及AI Blueprints為PC開發者和愛好者提供了探索AI魔法的基礎。」
將 AI 變成 NIM微服務
基礎模型，也就是使用大量原始資料訓練的神經網路，可以說是生成式 AI 的基礎。
NVIDIA將推出一系列適用於RTX AI PC，來自Black Forest Labs、Meta、Mistral和 Stability.AI等頂尖模型開發商的NIM微服務。使用案例涵蓋大型語言模型（LLM）、視覺語言模型、圖像生成、語音，以及用於檢索增強生成（RAG）、PDF擷取和電腦視覺的嵌入模型。
Black Forest Labs執行長Robin Rombach表示：「具備FP4運算功能的GeForce RTX 50系列GPU將開啟大量可以在PC上運行的模型，而這些模型過去只能在大型資料中心運行。讓FLUX變成NVIDIA NIM微服務，可以提高部署AI的速度，讓更多使用者體驗到AI的魅力，同時提供驚人出色的效能。」
NVIDIA 今日還發表了Llama Nemotron 開放模型系列，能夠以高準確度執行多樣化的代理型任務。Llama Nemotron Nano模型將以一項NIM微服務提供給RTX AI PC和工作站使用，在處理指令追蹤、函式呼叫、聊天、編碼和數學這一類代理型AI任務方面帶來精湛的表現。
NIM微服務包含在PC上執行AI所有必要元件，且無論是在RTX PC與工作站還是在雲端，皆可針對跨NVIDIA GPU的部署進行最佳化 。
開發者與愛好者將可透過 Windows Subsystem for Linux （WSL），在 Windows 11 PC 上快速下載、設定和執行這些 NIM 微服務。
微軟 Windows 業務部門副總裁 Pavan Davuluri 表示：「AI 正在快速推動 Windows 11 PC 創新，Windows Subsystem for Linux （WSL）與 Windows Copilot Runtime 為 在Windows 11上的AI開發工作 ，提供了絕佳的跨平台環境。針對 Windows PC 最佳化的NVIDIA NIM 微服務，讓開發者與愛好者可以隨時為他們的 Windows 應用程式整合 AI 模型，進一步為 Windows 使用者加速 AI 功能的部署。」
在RTX AI PC上運行的NIM微服務將相容於頂級的AI開發和代理框架，包括AI Toolkit for VSCode、AnythingLLM、ComfyUI、CrewAI、Flowise AI、LangChain、Langflow及LM Studio。開發者可以透過業界標準端點，將建立在這些框架上的應用程式和工作流程，連接到運行NIM微服務的AI模型，讓他們可以在雲端、資料中心、工作站和PC上，以統一介面使用最新技術。
愛好者也可以使用即將推出的NVIDIA ChatRTX 技術示範內容，體驗一系列NIM微服務。
為代理型 AI帶來全新面貌
NVIDIA 今日發表支援視覺的 PC 數位化身 Project R2X，展示愛好者與開發者如何使用 NIM 微服務來建立 AI 代理與助理。R2X 可以讓使用者輕鬆掌握資訊、協助桌面應用程式和視訊電話會議，以及進行閱讀和摘要文件等工作。
Project R2X數位化身以全新的生成式 AI 演算法 NVIDIA RTX Neural Faces 渲染而成，利用完全生成的像素來增強傳統的柵格化技術。接著使用全新的擴散式NVIDIA Audio2Face™-3D 模型來製作臉部動畫，並加強唇部和舌頭動作。可以透過 CrewAI、Flowise AI 和 Langflow 等開發者框架，將 R2X連接至 OpenAI 的 GPT4o 和 xAI 的 Grok 等雲端 AI 服務，以及 NIM 微服務和 AI Blueprints，例如 PDF 檢索器或替代 LLM。
AI Blueprints 即將登陸 PC
NIM微服務也將透過AI Blueprints提供給PC使用者 。AI Blueprints是可以在RTX PC上本機端運行的參考AI工作流程。開發者使用這些藍圖，可以執行從PDF文件建立Podcast、在3D場景的引導下產生精美的影像等作業。
PDF to podcast的藍圖能夠從PDF中提取文字、影像和表格，以建立可供使用者編輯的 Podcast 腳本。它還可以使用藍圖所得到的語音，或是根據使用者的語音樣本從腳本中產生完整的錄音內容。此外，使用者也能即時與 AI Podcast 主播對話，進一步了解特定主題。
這個藍圖使用Mistral-Nemo-12B-Instruct等NIM微服務來處理語言，使用NVIDIA Riva來處理文字轉語音和自動語音辨識，並使用一系列NeMo Retriever微服務來擷取PDF檔案。
用於3D引導生成式AI的AI Blueprint 可以讓藝術家更精細地控制圖像生成。AI可以從簡單的文字提示產生精美影圖像，不過單純使用文字來控制影像構圖卻非易事。創作者藉由這個藍圖，便能使用在Blender等3D渲染器中佈局出的簡單3D物件來引導產生 AI 圖像。藝術家可以手動建立3D資產或使用 AI 產生資產，將它們放在場景裡及設定3D視埠相機。接著由 FLUX NIM 微服務支援預先打包好的工作流程，就會用當前的構圖產生符合3D場景的高品質圖像。
NVIDIA NIM微服務與AI Blueprints將於二月推出，初步支援的硬體包括GeForce RTX 50系列、GeForce RTX 4090 與 4080，以及NVIDIA RTX 6000 與 5000專業級GPU。其他 GPU將陸續加入支援系列。NIM-ready的RTX AI PC將透過Acer、ASUS、 Dell、GIGABYTE、HP、Lenovo、MSI、Razer和Samsung，以及各地系統製作商陸續推出。
參加NVIDIA在CES大會的活動，進一步瞭解NIM微服務、AI Blueprints與NIM-ready RTX AI PC如何加速推動生成式AI的發展。
