激情六月丁香婷婷|亚洲色图AV二区|丝袜AV日韩AV|久草视频在线分类|伊人九九精品视频|国产精品一级电影|久草视频在线99|在线看的av网址|伊人99精品无码|午夜无码视频在线

高校合作1：010-59833514 ?咨詢電話：400-810-1418 服務(wù)與監(jiān)督電話：400-810-1418轉(zhuǎn)接2

性能矚目：Tensor RT-LLM，使大語言模型在搭載 RTX 的Windows平臺(tái)上運(yùn)行速度提高4倍

發(fā)布時(shí)間：2023-10-18 00:00:00 瀏覽量：109次

性能矚目：Tensor RT-LLM，使大語言模型在搭載 RTX 的Windows平臺(tái)上運(yùn)行速度提高4倍

+++

生成式 AI(GenerativeAI)是個(gè)人計(jì)算史上最重要的趨勢之一,推動(dòng)游戲、創(chuàng)作、視頻編輯、日常工作、開發(fā)等的發(fā)展。

GeForceRTX 和 NVIDIARTXGPU配備名為TensorCores的專用AI處理器,將生成式 AI (GenerativeAI)的強(qiáng)大功能原生引入超過1億臺(tái)WindowsPC和工作站。

如今,TensorRT-LLM for Windows 使PC生成式AI(GenerativeAI)速度提高4倍,Tensor RT-LLM for Windows是一個(gè)開源庫,可加速最新AI大語言模型(如Llama2和CodeLlama)的推理性能。此前,TensorRT-LLM for Datacenter 已在上個(gè)月發(fā)布。

NVIDIA還發(fā)布幫助開發(fā)者加速LLM 的工具,包括使用TensorRT-LLM優(yōu)化自定義模型的腳本、TensorRT優(yōu)化的開源模型,以及一個(gè)展示LLM響應(yīng)速度和質(zhì)量的開發(fā)者參考項(xiàng)目。

TensorRT 加速現(xiàn)已應(yīng)用于 Automatic 1111 發(fā)布的熱門應(yīng)用 Stable Diffusion WebUI。它將生成式 AI(GenerativeAI)擴(kuò)散模型的速度提升2倍,比此前最快的速度還快。

此外,作為今天發(fā)布的 GameReady 驅(qū)動(dòng)的一部分,RTX VSR 視頻超分辨率(VideoSuperResolution)v1.5版現(xiàn)已發(fā)布,11月初發(fā)布的 NVIDIAStudio驅(qū)動(dòng) 也將支持該技術(shù)。

Tensor RT為LLM增效

LLM正在提高生產(chǎn)力——聊天、總結(jié)文檔和網(wǎng)頁內(nèi)容、起草電子郵件和博客,并且是由AI和其他軟件所組成的全新工作流的核心,可以自動(dòng)分析數(shù)據(jù)并生成大量內(nèi)容。

Tensor RT-LLM 是 NVIDIA 用于加速LLM推理的庫,使開發(fā)者和最終用戶可以享受運(yùn)行 LLM 的更多優(yōu)勢?，F(xiàn)在,LLM 在搭載 RTX 的 WindowsPC 上的運(yùn)行速度可提高4倍。

在更大的批量大小下,這種加速可顯著改善更復(fù)雜的LLM使用體驗(yàn),如寫作和編碼助手,可同時(shí)輸出多個(gè)唯一的自動(dòng)完成結(jié)果,從而加速性能并改進(jìn)質(zhì)量,讓用戶可以有最好的選擇。

TensorRT-LLM 加速還有利于將LLM功能與其他技術(shù)相結(jié)合,例如在檢索增強(qiáng)生成(RAG)中,LLM與向量庫或向量數(shù)據(jù)庫組合。RAG使LLM能根據(jù)特定的數(shù)據(jù)集(如用戶的電子郵件或網(wǎng)站文章)提供更有針對(duì)性的答案。

在實(shí)際應(yīng)用中,當(dāng)我們向LLaMa2基礎(chǔ)模型提出"《心靈殺手2》(AlanWake2) 集成了 NVIDIA 的哪些技術(shù)?"這一問題時(shí),它給出"游戲尚未公布"這一毫無幫助的回答。

相反,使用RAG 將GeForce 新聞添加到向量庫中,并連接到相同的Llama2模型,不僅得到正確答案——NVIDIADLSS3.5、NVIDIAReflex和全景光線追蹤,而且在TensorRT-LLM加速的助力下響應(yīng)速度更快。這種速度與能力的結(jié)合為用戶提供更智能的解決方案。

Tensor RT-LLM 即將能從 NVIDIA開發(fā)者網(wǎng)站下載。

Tensor RT優(yōu)化的開源模型和以GeForce 新聞為示例項(xiàng)目的RAGDemo 可從ngc.nvidia.com和GitHub.com/NVIDIA下載。

自動(dòng)加速

Diffusion模型(如 StableDiffusion)用于想象和創(chuàng)造令人驚嘆的新穎藝術(shù)作品。圖像生成是一個(gè)迭代過程,可能需要數(shù)百次循環(huán)才能獲得完美輸出。如果在性能不足的 PC 上進(jìn)行,這種循環(huán)可能會(huì)增加數(shù)小時(shí)的等待時(shí)間。

TensorRT旨在通過神經(jīng)網(wǎng)絡(luò)層融合、精度校準(zhǔn)、內(nèi)核自動(dòng)選擇和其他功能加速AI模型,從而顯著提高推理效率和速度。這使它成為實(shí)時(shí)應(yīng)用和資源密集型任務(wù)不可或缺的工具。

現(xiàn)在,TensorRT使 StableDiffusion 生成速度翻倍。

兼容最熱門的 Automatic1111WebUI,借助 TensorRT 加速的 StableDiffusion 可以幫助用戶加快迭代速度,減少PC等待時(shí)間,更快生成最終圖像。在GeForceRTX4090上,它的運(yùn)行速度是使用蘋果M2Ultra的Mac頂配版的7倍。該擴(kuò)展即日起可供下載。

基于 StableDiffusion 流程的TensorRTDemo 為開發(fā)者提供了如何為Tensor RT加速準(zhǔn)備擴(kuò)散模型并部署加速的參考實(shí)現(xiàn)。這是一個(gè)起點(diǎn),它可以為對(duì)此感興趣的開發(fā)者加速 Diffusion 流程,并為應(yīng)用帶來快如閃電的推理能力。

超級(jí)視頻體驗(yàn)

AI 正在改善所有用戶的諸多日常PC體驗(yàn)。流媒體視頻是PC上最受歡迎的活動(dòng)之一,其來源幾乎無所不包,如YouTube、Twitch、PrimeVideo、Disney+等。得益于 AI 和RTX,它的圖像質(zhì)量又有全新提升。

RTXVSR視頻超分辨率在 AI 像素處理方面的重大突破,通過減少或消除壓縮視頻造成的失真,提高直播視頻內(nèi)容的質(zhì)量。此外,它還能銳化邊緣和細(xì)節(jié)。

現(xiàn)在,RTXVSR 視頻超分辨率v1.5版通過更新模型進(jìn)一步提升視頻畫面質(zhì)量,消除以原始分辨率播放內(nèi)容的偽影,并增加對(duì)采用 NVIDIA Turing 架構(gòu)的RTX 20 系列GPU的支持,包括:專業(yè)圖形卡和GeForceRTX20系列GPU。

重新訓(xùn)練VSRAI模型有助于它學(xué)會(huì)準(zhǔn)確識(shí)別微妙細(xì)節(jié)和壓縮失真之間的區(qū)別。因此,經(jīng)過AI增強(qiáng)的圖像在放大過程中能更準(zhǔn)確地保留細(xì)節(jié)。細(xì)節(jié)更加清晰可見,整體圖像看起來更加銳利清晰。v1.5版的全新功能是消除以屏幕原始分辨率播放視頻時(shí)的失真。最初的版本僅在視頻分辨率被提升時(shí)增強(qiáng)視頻效果?，F(xiàn)在,例如在1080p分辨率顯示器上串流1080p視頻會(huì)更流暢,因?yàn)閲?yán)重的失真會(huì)顯著改善。

性能矚目：Tensor RT-LLM，使大語言模型在搭載 RTX 的Windows平臺(tái)上運(yùn)行速度提高4倍

RTXVSR現(xiàn)在能消除以原始分辨率播放視頻時(shí)的失真

即日起,所有RTX用戶可在最新的GameReady 驅(qū)動(dòng)中獲取 RTXVSR 視頻超分辨率v1.5 版使用,下月初發(fā)布的NVIDIAStudio驅(qū)動(dòng)也將支持該技術(shù)。

RTXVSR 視頻超分辨率是NVIDIA軟件、工具、庫和SDK(如上文提到的軟件、工具、庫和SDK,以及DLSS、Omniverse、AIWorkbench等軟件)的一部分,這些軟件、工具、庫和SDK為消費(fèi)者帶來超過400款A(yù)I加速的應(yīng)用和游戲。

AI時(shí)代即將到來。RTX正為其發(fā)展的每一步增加動(dòng)力。

關(guān)于NVIDIA
自1993年成立以來,NVIDIA (NASDAQ: NVDA) 一直是加速計(jì)算領(lǐng)域的先驅(qū)。NVIDIA 1999年發(fā)明的 GPU 驅(qū)動(dòng)了 PC 游戲市場的增長,并重新定義了現(xiàn)代計(jì)算機(jī)圖形,開啟了現(xiàn)代AI時(shí)代,正在推動(dòng)跨市場的工業(yè)數(shù)字化。NVIDIA 現(xiàn)在是一家全棧計(jì)算公司,其數(shù)據(jù)中心規(guī)模的解決方案正在重塑整個(gè)行業(yè)。更多信息,請(qǐng)?jiān)L問https://nvidianews.nvidia.com/。

# # #

媒體咨詢:

Jade Li

NVIDIA GeForce, Studio PR

郵箱:jadli@nvidia.com

熱門課程推薦

熱門資訊

請(qǐng)綁定手機(jī)號(hào)

獲取驗(yàn)證碼
x

同學(xué)您好！

您已成功報(bào)名0元試學(xué)活動(dòng)，老師會(huì)在第一時(shí)間與您取得聯(lián)系，請(qǐng)保持電話暢通！
確定