破紀錄在53分鐘內完成 BERT模型訓練並大幅縮短推論時間至 2 毫秒，協助 Microsoft 等客戶將頂尖語言理解技術導入超大規模應用
NVIDIA (輝達) 今日宣布在語言理解領域獲得多項突破，讓企業透過即時對話式 AI 能更自然地與顧客互動。
NVIDIA 的 AI 平台率先訓練當今最先進的 AI 語言模型之一 BERT (Bidirectional Encoder Representations from Transformers)，用不到一小時就完成訓練，並在 2 毫秒內完成 AI 推論。突破性的效能協助開發者將頂尖語言理解技術導入在各種提供給全球數百萬消費者的超大規模應用。
率先採納 NVIDIA 先進效能成果的業者包括 Microsoft 與許多全球最具創新力的新創公司，透過 NVIDIA 平台著手為其客戶開發能即時反應的高度直覺化語言服務。
雖然有限度的對話式 AI 服務已存在多年，然而發展至今，包括聊天機器人、智慧個人助理與搜尋引擎等服務想要以人類理解力的水準運作仍極為困難，主要原因是無法即時部署超大規模的 AI 模型。NVIDIA 透過在其 AI 平台導入多項關鍵的優化技術藉以解決這項問題，不僅在 AI 訓練與推論方面刷新速度紀錄，同時也建構出至今最大的語言模型。
NVIDIA 深度學習應用研究部門副總裁 Bryan Catanzaro 表示：「超大語言模型徹底顛覆自然語言 AI。因為它解決許多極為困難的語意問題，往真正的對話式 AI 邁進一步。NVIDIA 的突破性成果除了加快這些模型，還讓組織建構新型頂尖服務，以未曾想像的方式協助與滿足客戶。」
最快訓練、最快推論與最大模型
以自然語言理解技術運行的AI服務預計在未來幾年呈現指數成長。根據 Juniper Research 的報告，光是數位語音助理市場規模預計在未來 5 年內將從 25 億美元成長到 80 億美元。此外， Gartner 也預測 2021 年，15% 的客服互動將完全由 AI 執行，與 2017年相比增加400%。1
NVIDIA 力助邁入新時代，藉由多項關鍵優化微調其 AI 平台，創下三項新的自然語言理解效能紀錄：
● 最快訓練：採用內建由 1,472 個 NVIDIA V100 GPU 組成 92 個 NVIDIA DGX-2HTM系統的 NVIDIA DGX SuperPODTM，執行全球最先進的 AI 語言模型之一 BERT 的大型版本，成功把 BERT-Large 的訓練時間從先前的數日大幅縮短至僅 53 分鐘。此外，NVIDIA 也能透過僅一台 NVIDIA DGX-2 系統在 2.8 天內就完成 BERT-Large 的訓練，展現 NVIDIA GPU 在對話式 AI 領域的擴充性。
● 最快推論：NVIDIA 以 NVIDIA T4 GPU 運行 NVIDIA TensorRT™，在 BERT-Base SQuAD 資料集上僅用 2.2 毫秒就完成推論，不僅遠低於許多即時應用要求的 10 毫秒的處理門檻，也大幅領先以高度優化 CPU 程式碼執行的 40 毫秒。
● 最大模型：針對開發者對於更大模型永無止境的需求，NVIDIA Research 在 Transformers 的基礎上著手建構與訓練全球最大的語言模型，並導入 BERT 採用的技術元件，以及許多其他自然語言的 AI 模型。NVIDIA的客製化模型擁有 83 億個參數，數量足足比 BERT-Large 多出 24 倍。
產業生態系的廣泛支持
全球數百名開發者正運用 NVIDIA AI 平台推動語言理解的研究並開發新服務。
Microsoft Bing 正運用其 Azure AI 平台與 NVIDIA 技術執行 BERT，藉以獲得更精準的研究成果。
Microsoft Bing 小組計畫經理 Rangan Majumder 表示：「Microsoft Bing 仰賴最先進的 AI 模型與運算平台，為顧客提供最好的全球搜尋體驗。我們與 NVIDIA 緊密合作，透過 Azure AI 內建的 NVIDIA GPU，針對熱門的自然語言模型 BERT 進一步優化推論作業，在排名搜尋品質方面，獲得從去年部署以來最大幅度的改善。在 Azure 環境中執行推論，NVIDIA GPU 相比 CPU平台在延遲縮短幅度超過 2 倍，吞吐量更提高 5 倍，讓 Bing 為全球顧客提供更具相關性、低成本與即時的搜尋體驗。」
多家參與 NVIDIA Inception 計畫的新創公司包括 Clinc、Passage AI 與 Recordsure，也正運用 NVIDIA AI 平台為包括銀行、汽車製造商、零售商、醫療機構、旅遊住宿等業者提供頂尖對話式 AI 服務。
Clinc 透過 NVIDIA GPU 建構多款對話式 AI 解決方案，提供給全球超過 3,000 萬名客戶，其中包括頂尖車廠、醫療機構與全球領導金融機構包括 Barclays、USAA、以及土耳其最大銀行 Isbank。
Clinc 執行長 Jason Mars 表示：「Clinc 頂尖 AI 平台能瞭解複雜的問題並將其轉化為有利的情資，提供給全球頂尖品牌進行行銷。NVIDIA AI 平台的突破性效能讓我們突破對話式 AI 的疆界，提供各種革命性服務，協助顧客運用科技，以更有意義的有效方式和顧客進行互動。」
優化方案即日釋出
NVIDIA即日起將用來達成對話式 AI 突破成就的軟體優化方案全面釋出給開發者：
● NVIDIA GitHub BERT 模型的訓練程式碼與 PyTorch 學習框架*
● NGC 模型 Scripts與 TensorFlow 的 check-points
● GitHub 上針對 TensorRT 優化的BERT 範例
● Faster Transformer： C++ 語言 API、TensorRT 外掛與 TensorFlow OP
● MXNet Gluon-NLP 包含 AMP 對 BERT 的支援方案(訓練與推論)
● AI Hub 上針對 TensorRT 優化的BERT Jupyter 軟體說明註記
● Megatron-LM：用來訓練超大型 Transformer 模型的 PyTorch 程式碼。
*NVIDIA BERT建置方案是熱門 Hugging Face repo程式庫的優化版本
NVIDIA (輝達) 今日宣布在語言理解領域獲得多項突破，讓企業透過即時對話式 AI 能更自然地與顧客互動。
NVIDIA 的 AI 平台率先訓練當今最先進的 AI 語言模型之一 BERT (Bidirectional Encoder Representations from Transformers)，用不到一小時就完成訓練，並在 2 毫秒內完成 AI 推論。突破性的效能協助開發者將頂尖語言理解技術導入在各種提供給全球數百萬消費者的超大規模應用。
率先採納 NVIDIA 先進效能成果的業者包括 Microsoft 與許多全球最具創新力的新創公司，透過 NVIDIA 平台著手為其客戶開發能即時反應的高度直覺化語言服務。
雖然有限度的對話式 AI 服務已存在多年，然而發展至今，包括聊天機器人、智慧個人助理與搜尋引擎等服務想要以人類理解力的水準運作仍極為困難，主要原因是無法即時部署超大規模的 AI 模型。NVIDIA 透過在其 AI 平台導入多項關鍵的優化技術藉以解決這項問題，不僅在 AI 訓練與推論方面刷新速度紀錄，同時也建構出至今最大的語言模型。
NVIDIA 深度學習應用研究部門副總裁 Bryan Catanzaro 表示：「超大語言模型徹底顛覆自然語言 AI。因為它解決許多極為困難的語意問題，往真正的對話式 AI 邁進一步。NVIDIA 的突破性成果除了加快這些模型，還讓組織建構新型頂尖服務，以未曾想像的方式協助與滿足客戶。」
最快訓練、最快推論與最大模型
以自然語言理解技術運行的AI服務預計在未來幾年呈現指數成長。根據 Juniper Research 的報告，光是數位語音助理市場規模預計在未來 5 年內將從 25 億美元成長到 80 億美元。此外， Gartner 也預測 2021 年，15% 的客服互動將完全由 AI 執行，與 2017年相比增加400%。1
NVIDIA 力助邁入新時代，藉由多項關鍵優化微調其 AI 平台，創下三項新的自然語言理解效能紀錄：
● 最快訓練：採用內建由 1,472 個 NVIDIA V100 GPU 組成 92 個 NVIDIA DGX-2HTM系統的 NVIDIA DGX SuperPODTM，執行全球最先進的 AI 語言模型之一 BERT 的大型版本，成功把 BERT-Large 的訓練時間從先前的數日大幅縮短至僅 53 分鐘。此外，NVIDIA 也能透過僅一台 NVIDIA DGX-2 系統在 2.8 天內就完成 BERT-Large 的訓練，展現 NVIDIA GPU 在對話式 AI 領域的擴充性。
● 最快推論：NVIDIA 以 NVIDIA T4 GPU 運行 NVIDIA TensorRT™，在 BERT-Base SQuAD 資料集上僅用 2.2 毫秒就完成推論，不僅遠低於許多即時應用要求的 10 毫秒的處理門檻，也大幅領先以高度優化 CPU 程式碼執行的 40 毫秒。
● 最大模型：針對開發者對於更大模型永無止境的需求，NVIDIA Research 在 Transformers 的基礎上著手建構與訓練全球最大的語言模型，並導入 BERT 採用的技術元件，以及許多其他自然語言的 AI 模型。NVIDIA的客製化模型擁有 83 億個參數，數量足足比 BERT-Large 多出 24 倍。
產業生態系的廣泛支持
全球數百名開發者正運用 NVIDIA AI 平台推動語言理解的研究並開發新服務。
Microsoft Bing 正運用其 Azure AI 平台與 NVIDIA 技術執行 BERT，藉以獲得更精準的研究成果。
Microsoft Bing 小組計畫經理 Rangan Majumder 表示：「Microsoft Bing 仰賴最先進的 AI 模型與運算平台，為顧客提供最好的全球搜尋體驗。我們與 NVIDIA 緊密合作，透過 Azure AI 內建的 NVIDIA GPU，針對熱門的自然語言模型 BERT 進一步優化推論作業，在排名搜尋品質方面，獲得從去年部署以來最大幅度的改善。在 Azure 環境中執行推論，NVIDIA GPU 相比 CPU平台在延遲縮短幅度超過 2 倍，吞吐量更提高 5 倍，讓 Bing 為全球顧客提供更具相關性、低成本與即時的搜尋體驗。」
多家參與 NVIDIA Inception 計畫的新創公司包括 Clinc、Passage AI 與 Recordsure，也正運用 NVIDIA AI 平台為包括銀行、汽車製造商、零售商、醫療機構、旅遊住宿等業者提供頂尖對話式 AI 服務。
Clinc 透過 NVIDIA GPU 建構多款對話式 AI 解決方案，提供給全球超過 3,000 萬名客戶，其中包括頂尖車廠、醫療機構與全球領導金融機構包括 Barclays、USAA、以及土耳其最大銀行 Isbank。
Clinc 執行長 Jason Mars 表示：「Clinc 頂尖 AI 平台能瞭解複雜的問題並將其轉化為有利的情資，提供給全球頂尖品牌進行行銷。NVIDIA AI 平台的突破性效能讓我們突破對話式 AI 的疆界，提供各種革命性服務，協助顧客運用科技，以更有意義的有效方式和顧客進行互動。」
優化方案即日釋出
NVIDIA即日起將用來達成對話式 AI 突破成就的軟體優化方案全面釋出給開發者：
● NVIDIA GitHub BERT 模型的訓練程式碼與 PyTorch 學習框架*
● NGC 模型 Scripts與 TensorFlow 的 check-points
● GitHub 上針對 TensorRT 優化的BERT 範例
● Faster Transformer： C++ 語言 API、TensorRT 外掛與 TensorFlow OP
● MXNet Gluon-NLP 包含 AMP 對 BERT 的支援方案(訓練與推論)
● AI Hub 上針對 TensorRT 優化的BERT Jupyter 軟體說明註記
● Megatron-LM：用來訓練超大型 Transformer 模型的 PyTorch 程式碼。
*NVIDIA BERT建置方案是熱門 Hugging Face repo程式庫的優化版本
