顯示卡 Chat With RTX 在本地端與 AI 聊天

soothepain

full loading
已加入
9/17/03
訊息
20,718
互動分數
1,914
點數
113
網站
www.coolaler.com
NVIDIA 最近發布了 Chat with RTX 的應用程式,讓 RTX 顯卡用戶可以直接與 AI 進行聊天、快速查詢,且不需要連上網,在本地端就可以完成。

chat_with_rtx.jpg


Chat with RTX 只支援 RTX 30 、40 系列顯卡,至少需要 8GB 記憶體,利用檢索增強生成(Retrieval-Augmented Generation,RAG)、TensorRT-LLM 和 RTX 加速等技術,快速自訂生成式人工智慧聊天機器人。


使用者可以將個人電腦本地端文件作為資料庫,透過 Chat With RTX 連接到自己的內容,如文件、筆記、影片或其他數據檔案,支援文字、pdf、doc / docx 、xml 等格式,利用 Mistral 或 Llama 2 等大型語言模型功能來產生回應,文件中如有包含 Youtube 影片或播放列表等資訊,應用程式會載入這些影片,使用戶可查詢涵蓋的內容。你可以透過 Chat With RTX 聊天機器人來進行相關知識的上下文查詢。

Chat With RTX 官方下載頁面
 
▌延伸閱讀