激情六月丁香婷婷|亚洲色图AV二区|丝袜AV日韩AV|久草视频在线分类|伊人九九精品视频|国产精品一级电影|久草视频在线99|在线看的av网址|伊人99精品无码|午夜无码视频在线

高校合作1：010-59833514 ?咨詢電話：400-810-1418 服務(wù)與監(jiān)督電話：400-810-1418轉(zhuǎn)接2

點(diǎn)亮未來：TensorRT-LLM 更新加速 AI 推理性能，支持在 RTX 驅(qū)動的 Windows PC 上運(yùn)行新模型

發(fā)布時間：2023-11-16 00:00:00 瀏覽量：120次

微軟Ignite全球技術(shù)大會發(fā)布的新工具和資源包括OpenAIChatAPI的TensorRT-LLM封裝接口、RTX驅(qū)動的性能改進(jìn)DirectMLforLlama2、其他熱門LLM

 

WindowsPC上的AI標(biāo)志著科技史上的關(guān)鍵時刻,它將徹底改變玩家、創(chuàng)作者、主播、上班族、學(xué)生乃至普通PC用戶的體驗(yàn)。

AI為1億多臺采用RTX GPU的Windows PC和工作站提高生產(chǎn)力帶來前所未有的機(jī)會。NVIDIA RTX技術(shù)使開發(fā)者更輕松地創(chuàng)建AI應(yīng)用,從而改變?nèi)藗兪褂糜嬎銠C(jī)的方式。

在微軟Ignite大會上發(fā)布的全新優(yōu)化、模型和資源將更快地幫助開發(fā)者提供新的終端用戶體驗(yàn)。

TensorRT-LLM是一款提升AI推理性能的開源軟件,它即將發(fā)布的更新將支持更多大語言模型,在RTXGPU8GB及以上顯存的PC和筆記本電腦上使要求嚴(yán)苛的AI工作負(fù)載更容易完成。

Tensor RT-LLM for Windows即將通過全新封裝接口與OpenAI廣受歡迎的聊天API兼容。這將使數(shù)以百計的開發(fā)者項(xiàng)目和應(yīng)用能在RTXPC的本地運(yùn)行,而非云端運(yùn)行,因此用戶可以在PC上保留私人和專有數(shù)據(jù)。

定制的生成式AI需要時間和精力來維護(hù)項(xiàng)目。特別是跨多個環(huán)境和平臺進(jìn)行協(xié)作和部署時,該過程可能會異常復(fù)雜和耗時。

AI Workbench 是一個統(tǒng)一、易用的工具包,允許開發(fā)者在 PC 或工作站上快速創(chuàng)建、測試和定制預(yù)訓(xùn)練生成式 AI 模型和 LLM。它為開發(fā)者提供一個單一平臺,用于組織他們的AI項(xiàng)目,并根據(jù)特定用戶需求來調(diào)整模型。

這使開發(fā)者能夠進(jìn)行無縫協(xié)作和部署,快速創(chuàng)建具有成本效益、可擴(kuò)展的生成式AI模型。加入搶先體驗(yàn)名單,成為首批用戶以率先了解不斷更新的功能,并接收更新信息。

為支持AI開發(fā)者,NVIDIA與微軟發(fā)布DirectML增強(qiáng)功能以加速最熱門的基礎(chǔ)AI模型之一的Llama2。除了全新性能標(biāo)準(zhǔn),開發(fā)者現(xiàn)在有更多跨供應(yīng)商部署可選。

便攜式AI

10月,NVIDIA發(fā)布TensorRT-LLMfor Windows -- 一個用于加速大語言模型(LLM)推理的庫。

本月底發(fā)布的TensorRT-LLMv0.6.0 更新將帶來至高達(dá)5倍的推理性能提升,并支持更多熱門的LLM,包括全新Mistral7B和Nemotron-38B。這些LLM版本將可在所有采用8GB及以上顯存的GeForceRTX30系列和40系列GPU上運(yùn)行,從而使最便攜的WindowsPC設(shè)備也能獲得快速、準(zhǔn)確的本地運(yùn)行LLM功能。

 

點(diǎn)亮未來：TensorRT-LLM 更新加速 AI 推理性能，支持在 RTX 驅(qū)動的 Windows PC 上運(yùn)行新模型

TensorRT-LLM v0.6.0 帶來至高達(dá)5倍推理性能提升

 

新發(fā)布的TensorRT-LLM可在/NVIDIA/TensorRT-LLM GitHub代碼庫中下載安裝,新調(diào)優(yōu)的模型將在ngc.nvidia.com提供。

從容對話

世界各地的開發(fā)者和愛好者將OpenAI的聊天API廣泛用于各種應(yīng)用——從總結(jié)網(wǎng)頁內(nèi)容、起草文件和電子郵件,到分析和可視化數(shù)據(jù)以及創(chuàng)建演示文稿。

這類基于云的AI面臨的一大挑戰(zhàn)是它們需要用戶上傳輸入數(shù)據(jù),因此對于私人或?qū)Ｓ袛?shù)據(jù)以及處理大型數(shù)據(jù)集來說并不實(shí)用。

為應(yīng)對這一挑戰(zhàn),NVIDIA即將啟用TensorRT-LLM for Windows,通過全新封裝接口提供與OpenAI廣受歡迎的ChatAPI類似的API接口,為開發(fā)者帶來類似的工作流,無論他們設(shè)計的模型和應(yīng)用要在RTXPC的本地運(yùn)行,還是在云端運(yùn)行。只需修改一兩行代碼,數(shù)百個AI驅(qū)動的開發(fā)者項(xiàng)目和應(yīng)用現(xiàn)在就能從快速的本地AI中受益。用戶可將數(shù)據(jù)保存在PC上,不必?fù)?dān)心將數(shù)據(jù)上傳到云端。

 

點(diǎn)亮未來：TensorRT-LLM 更新加速 AI 推理性能，支持在 RTX 驅(qū)動的 Windows PC 上運(yùn)行新模型

使用由 TensorRT-LLM 驅(qū)動的 Microsoft VS Code 插件 Continue.dev 編碼助手

https://images.nvidia.cn/cn/youtube-replicates/-P17YXulhDc.mp4

 

此外,最重要的一點(diǎn)是這些項(xiàng)目和應(yīng)用中有很多都是開源的,開發(fā)者可以輕松利用和擴(kuò)展它們的功能,從而加速生成式AI在RTX驅(qū)動的WindowsPC上的應(yīng)用。

該封裝接口可與所有對TensorRT-LLM進(jìn)行優(yōu)化的LLM(如,Llama2、Mistral和NVLLM)配合使用,并作為參考項(xiàng)目在GitHub上發(fā)布,同時發(fā)布的還有用于在RTX上使用LLM的其他開發(fā)者資源。

模型加速

開發(fā)者現(xiàn)可利用尖端的AI模型,并通過跨供應(yīng)商API進(jìn)行部署。NVIDIA和微軟一直致力于增強(qiáng)開發(fā)者能力,通過DirectMLAPI在RTX上加速Llama。

在10月宣布的為這些模型提供最快推理性能的基礎(chǔ)上,這一跨供應(yīng)商部署的全新選項(xiàng)使將AI引入PC變得前所未有的簡單。

開發(fā)者和愛好者可下載最新的ONNX運(yùn)行時并按微軟的安裝說明進(jìn)行操作,同時安裝最新NVIDIA驅(qū)動(將于11月21日發(fā)布)以獲得最新優(yōu)化體驗(yàn)。

這些新優(yōu)化、模型和資源將加速AI功能和應(yīng)用在全球1億臺RTXPC上的開發(fā)和部署,一并加入400多個合作伙伴的行列,他們已經(jīng)發(fā)布了由RTXGPU加速的AI驅(qū)動的應(yīng)用和游戲。

隨著模型易用性的提高,以及開發(fā)者將更多生成式AI功能帶到RTX驅(qū)動的WindowsPC上,RTXGPU將成為用戶利用這一強(qiáng)大技術(shù)的關(guān)鍵。

 

關(guān)于NVIDIA
自1993年成立以來,NVIDIA (NASDAQ: NVDA) 一直是加速計算領(lǐng)域的先驅(qū)。NVIDIA 1999年發(fā)明的GPU驅(qū)動了PC游戲市場的增長,并重新定義了現(xiàn)代計算機(jī)圖形,開啟了現(xiàn)代AI時代,正在推動跨市場的工業(yè)數(shù)字化。NVIDIA現(xiàn)在是一家全棧計算公司,其數(shù)據(jù)中心規(guī)模的解決方案正在重塑整個行業(yè)。更多信息,請訪問https://nvidianews.nvidia.com/ 。

# # #

媒體咨詢:

Jade Li

NVIDIA GeForce, Studio PR

郵箱:jadli@nvidia.com

熱門課程推薦

熱門資訊

請綁定手機(jī)號

獲取驗(yàn)證碼
x

同學(xué)您好！

您已成功報名0元試學(xué)活動，老師會在第一時間與您取得聯(lián)系，請保持電話暢通！
確定