ensorRT 8為(wèi®')醫(yī)療、汽車(chē)和(hé)金(jīn)融領域的(de)領先÷β≤∑企業(yè)提供全球最快(kuài)AI推理(lǐ)性能(néng)。

  NVIDIA 于今日(rì)發≠♠¶→布公司第八代 AI 軟件(jiàn)TensorRT™ 8。該軟件(jià©$n)将語言查詢推理(lǐ)時(shí)間(jiλ‍ān)縮短(duǎn)了(le)一(yī)半，使開(kāi)發者能(nénαφg)夠從(cóng)雲端到(dào)邊緣構建全球最佳性能(néng)的(‌®∏de)搜索引擎、廣告推薦和(hé)聊天機(jī)器(qλ¶λ∑ì)人(rén)。

  TensorRT 8 的(de)各項優化(huà✘✘€±)為(wèi)語言應用(yòng)帶來(lái)了(le)創紀錄的§↓δ(de)速度，能(néng)夠在 1.2♠★<₩ 毫秒(miǎo)內(nèi)運行(xíng) BERT-Laπβ♦rge ——全球最廣為(wèi)采用(y<​™>òng)的(de)基于 transformer 的(d©γ&e)模型之一(yī)。過去(qù)，企業(y ★₹è)不(bù)得(de)不(bù)縮減模型大(dà)小(xi>$↔αǎo)，而這(zhè)會(huì)導緻結果出現(xiàn)大φ±(dà)幅偏差。現(xiàn)在有(yǒu)了(le) TensorRT 8，δ•>​企業(yè)可(kě)以将其模型擴大(dà)一(yī)倍或♠♠Ω兩倍，從(cóng)而大(dà)幅提高(g→¶āo)精度。

  NVIDIA 開(kāi)↑€β®發者計(jì)劃副總裁 Greg Estλεes 表示：“ AI 模型正以指數(shù)級的(de)€₩速度增長(cháng)。全世界對(duì) AI 實時(shí)應用(yònα"∏g)的(de)使用(yòng)需求正在激增。這(zhè)使企業(yèαγ→<)必須部署最先進的(de)推理(lǐ)解決方案。最≤÷×±新版本的(de) TensorRT 引入了(™≤® le)多(duō)項新功能(néng)，使↔γ企業(yè)能(néng)夠以前所未有(yǒ≈'u)的(de)質量和(hé)響應速度向其客戶提供對≥♠↓(duì)話(huà)式 AI 應用(yòng)。”

  五年(nián)來(lái)，醫(yī)療、汽車↔€ <(chē)、金(jīn)融和(hé)零售等各個(gè™≠←)領域 27,500 家(jiā)企業(yè)的(d​¥e)超 35萬名開(kāi)發者下(xià)載π ←λ TensorRT 近(jìn) 250 萬次。TensorRT 可(kě)λ× ≥部署于超大(dà)規模數(shù)據中心、嵌入式或汽車(chē)産品平×∏π台。

  除了(le)針對(duì) transfor✔ mer 的(de)優化(huà)之外(wài)，TensorRT 8 ≥ ≤☆還(hái)通(tōng)過其他(tā)兩項關★₽↓™鍵特性，實現(xiàn)了(le)AI推理(lǐ)方面的ε↓<✘(de)突破。

  其一(yī)是(shì)稀疏性，這(zhè)φ↕★是(shì)助力推動 NVIDIA Ampere 架構 GPU 性能(n×↕£éng)提升的(de)一(yī)項全新技(jì)術(shù)，它不(♠<π♦bù)但(dàn)提高(gāo)了(le)效率，還(h​≥"αái)使開(kāi)發者能(néng)夠通(tōng)過減少(shǎo)計λ÷(jì)算(suàn)操作(zuò)來(lái)加速其®☆♥∑神經網絡。

  其二是(shì)量化(huà)感知(zhī)訓練，開♣φ(kāi)發者能(néng)夠使用(yòng)訓練好±β™∞(hǎo)的(de)模型，以 INT8 精度運行(xíng)推理( ± λlǐ)，在這(zhè)一(yī)過程中不(bù)會→¥(huì)損失精度。這(zhè)大(dà)大(dà)減少(shǎo)了(le↓→★×)計(jì)算(suàn)和(hé)存儲成本，從(cón¥δ₹g)而在 Tensor Core 核心上(sh"$≥àng)實現(xiàn)高(gāo)效推£∑©理(lǐ)。

  行(xíng)業(yè)領導者已将 TensorRT 用(☆↓yòng)于他(tā)們在對(duì)話(huà)式↔♣♥☆AI和(hé)其他(tā)各個(gè)領域的(de)深度學習(xí)推理(l¥♠★ǐ)應用(yòng)。

  Hugging Face 是(shì)開¶≥→(kāi)源 AI 技(jì)術(shù)的↔δ(de)領導者，其客戶包括全球多(duō)個(gè)行(xíng)業"​← (yè)領域的(de)大(dà)規模AI服務提供商。©•該公司正與 NVIDIA 開(kāi)展密切合作(zuò)，>'β 推出能(néng)夠助力實現(xiàn)大(dà)規模₩★文(wén)本分(fēn)析、神經搜索和(hé)對(duì)話(h÷‌‌uà)式應用(yòng)的(de)開(kāi)創性 AI 服務。

  Hugging Face 産品總 ™監 Jeff Boudier 表示：“我們正在與 NVIDIA 開(kā∞♥β★i)展密切合作(zuò)，以基于 NVIDIA GPU，為(wèi)β‌最先進的(de)模型提供最佳性能(néng)。Huβγσ€gging Face 加速推理(lǐ) API 已€ ♦經能(néng)夠為(wèi)基于 NVIDIA GPU的(de) ©'≠δtransformer 模型提供高(gāo)達 100 倍的(de)速度提升。&¶"通(tōng)過 TensorRT 8，Hugging Face 在 BERα♦T 上(shàng)實現(xiàn)了(le) 1 毫秒(&‌miǎo)的(de)推理(lǐ)延遲。我們十分(fēn)期待能(n↕←₩εéng)在今年(nián)晚些(xiē)時(shí)候為(wèi)我÷↑★們的(de)客戶提供這(zhè)一(yī)性能(néng)。”

  全球領先的(de)醫(yī)療技(jì)術(shù)、診斷和(® hé)數(shù)字解決方案創新者 GE 醫(yī)療正在 §δ↕使用(yòng) TensorRT，助力加速早期檢測疾病的(de)關 ♠鍵工(gōng)具——超聲波計(jì)算(suàn)機(jī)視(φΩshì)覺應用(yòng)，使臨床醫(yī)生<∏¶(shēng)能(néng)夠通(tōn↕‌g)過其智能(néng)醫(yī)療解決方案提供最高(gāo)質量的≈&(de)護理(lǐ)。

  GE 醫(yī)療心血管超聲首席工(gō★∏δ&ng)程師(shī) Erik Steen 表示§★§♣：“臨床醫(yī)生(shēng)需要(yào)花(huāφ")費(fèi)寶貴的(de)時(shí)間(jiān)來(lεβ‌ái)選擇和(hé)評估超聲圖像。在 Vivid Patient ♦''Care Elevated Release 項目的(de)研發過程中，≈♣ 我們希望通(tōng)過在 Vivid E95 掃描儀上(shànβσ♥g)實施自(zì)動心髒視(shì)圖檢測，使這(zhè)一(yī)過'Ω♦程變得(de)更加高(gāo)效。心髒視(shì)圖識别算(suà↕&"αn)法将選擇合适的(de)圖像來(lái)分(fēn)析心壁↔↔✘運動。TensorRT 憑借其實時(shí)推理§β←(lǐ)能(néng)力，提高(gāo)了(le)視(shì)圖檢測算(su↕ →àn)法的(de)性能(néng)，同時(shí)↔÷縮短(duǎn)了(le)我們研發項目的(de)産品£Ω‌'上(shàng)市(shì)時(shí)間(jiān)。”

  TensorRT 8 現(xiàn)已全面上(shàng♥&₹​)市(shì)，并免費(fèi)向 NVID‌¥÷ IA 開(kāi)發者計(jì)劃成員(yuán)提供。用(y₹Ωòng)戶還(hái)可(kě)從(cóng) TensorRT GitHu→£₩b 庫中獲得(de)最新版本插件(jiàn)、解析器(qì)和(h∞βé)樣本的(de)開(kāi)放(fàng)源代碼。