火星網(wǎng)校
最強大模型訓練芯片H200發(fā)布！141G大內(nèi)存，AI推理最高提升90%
發(fā)布時間：2023-11-14 10:33:39 瀏覽量：103次
最強只能當半年，下一代B100明年底發(fā)布
夢晨 克雷西 發(fā)自 凹非寺
|
英偉達老黃，帶著新一代GPU芯片H200再次炸場。
官網(wǎng)毫不客氣就直說了，“世界最強GPU，專為AI和超算打造”。
聽說所有AI公司都抱怨內(nèi)存不夠？
這回直接141GB大內(nèi)存，與H100的80GB相比直接提升76%。
作為首款搭載HBM3e內(nèi)存的GPU，內(nèi)存帶寬也從3.35TB/s提升至4.8TB/s，提升43%。
對于AI來說意味著什么？來看測試數(shù)據(jù)。
在HBM3e加持下，H200讓Llama-70B推理性能幾乎翻倍，運行GPT3-175B也能提高60%。
對AI公司來說還有一個好消息：
H200與H100完全兼容，意味著將H200添加到已有系統(tǒng)中不需要做任何調(diào)整。
最強AI芯片只能當半年
除內(nèi)存大升級之外，H200與同屬Hopper架構(gòu)的H100相比其他方面基本一致。
臺積電4nm工藝，800億晶體管，NVLink 4每秒900GB的高速互聯(lián)，都被完整繼承下來。
甚至峰值力也保持不變，數(shù)據(jù)一眼看過去，還是熟悉的FP64 Vector 33.5TFlops、FP64 Tensor 66.9TFlops。
對于內(nèi)存為何是有零有整的141GB，AnandTech分析HBM3e內(nèi)存本身的物理容量為144GB，由6個24GB的堆棧組成。
出于量產(chǎn)原因，英偉達保留了一小部分作為冗余，以提高良品率。
僅靠升級內(nèi)存，與2020年發(fā)布的A100相比，H200就在GPT-3 175B的推理上加速足足18倍。
H200預計在2024年第2季度上市，但最強AI芯片的名號H200只能擁有半年。
同樣在2024年的第4季度，基于下一代Blackwell架構(gòu)的B100也將問世，具體性能還未知，圖表暗示了會是指數(shù)級增長。
多家超算中心將部署GH200超算節(jié)點
除了H200芯片本身，英偉達此次還發(fā)布了由其組成的一系列集群產(chǎn)品。
首先是HGX H200平臺，它是將8塊H200搭載到HGX載板上，總顯存達到了1.1TB，8位浮點運算速度超過32P（10^15) FLOPS，與H100數(shù)據(jù)一致。
HGX使用了英偉達的NVLink和NVSwitch高速互聯(lián)技術(shù)，可以以最高性能運行各種應用負載，包括175B大模型的訓練和推理。
HGX板的獨立性質(zhì)使其能夠插入合適的主機系統(tǒng)，從而允許使用者定制其高端服務器的非GPU部分。
接下來是Quad GH200超算節(jié)點——它由4個GH200組成，而GH200是H200與Grace CPU組合而成的。
Quad GH200節(jié)點將提供288 Arm CPU內(nèi)核和總計2.3TB的高速內(nèi)存。
通過大量超算節(jié)點的組合，H200最終將構(gòu)成龐大的超級計算機，一些超級計算中心已經(jīng)宣布正在向其超算設備中集成GH200系統(tǒng)。
據(jù)英偉達官宣，德國尤利希超級計算中心將在Jupiter超級計算機使用GH200超級芯片，包含的GH200節(jié)點數(shù)量達到了24000塊，功率為18.2兆瓦，相當于每小時消耗18000多度電。
該系統(tǒng)計劃于2024年安裝，一旦上線，Jupiter將成為迄今為止宣布的最大的基于Hopper的超級計算機。
Jupiter大約將擁有93(10^18) FLOPS的AI算力、1E FLOPS的FP64運算速率、1.2PB每秒的帶寬，以及10.9PB的LPDDR5X和另外2.2PB的HBM3內(nèi)存。
除了Jupiter，日本先進高性能計算聯(lián)合中心、德克薩斯高級計算中心、伊利諾伊大學香檳分校國家超級計算應用中心等超算中心也紛紛宣布將使用GH200對其超算設備進行更新升級。
那么，AI從業(yè)者都有哪些嘗鮮途徑可以體驗到GH200呢？
上線之后，GH200將可以通過Lambda、Vultr等特定云服務提供商進行搶先體驗，Oracle和CoreWeave也宣布了明年提供GH200實例的計劃，亞馬遜、谷歌云、微軟Azure同樣也將成為首批部署GH200實例的云服務提供商。
英偉達自身，也會通過其NVIDIA LaunchPad平臺提供對GH200的訪問。
硬件制造商方面，華碩、技嘉等廠商計劃將于今年年底開始銷售搭載GH200的服務器設備。
參考鏈接：
[1]https://www.youtube.com/watch?v=6g0v3tMK2LU
[2]https://www.nvidia.com/en-gb/data-center/h200/
[3]https://www.anandtech.com/show/21136/nvidia-at-sc23-h200-accelerator-with-hbm3e-and-jupiter-supercomputer-for-2024
熱門課程推薦
熱門資訊
-
想將照片變成漫畫效果？這篇文章分享了4個方法，包括Photoshop、聰明靈犀、VanceAI Toongineer、醒圖，簡單操作就能實現(xiàn)，快來嘗試一下吧！
-
2. 華為手機神奇“AI修圖”功能，一鍵消除衣服！原圖變身大V領深V！
最近華為手機Pura70推出的“AI修圖”功能引發(fā)熱議，通過簡單操作可以讓照片中的人物換裝。想了解更多這款神奇功能的使用方法嗎？點擊查看！
-
近年來,人工智能逐漸走入公眾視野,其中的AI圖像生成技術(shù)尤為引人注目。只需在特定軟件中輸入關鍵詞描述語以及上傳參考圖就能智能高效生成符合要求的...
-
4. AI視頻制作神器Viggle：讓靜態(tài)人物動起來，創(chuàng)意無限！
Viggle AI是一款免費制作視頻的AI工具，能讓靜態(tài)人物圖片動起來，快來了解Viggle AI的功能和優(yōu)勢吧！
-
5. Logo Diffusion——基于sd繪畫模型的AI LOGO 生成器
這下LOGO設計徹底不用求人了。接下來詳細演示一遍操作流程首先進入Logo D... 想學習更多AI技能,比如說關于怎么樣利用AI來提高生產(chǎn)效率、還能做什么AI...
-
6. 零基礎10分鐘生成漫畫，教大家如何用AI生成自己的漫畫
接下來,我將親自引導你,使用AI工具,創(chuàng)作一本既有趣又能帶來盈利的漫畫。我們將一起探索如何利用這個工具,發(fā)揮你的創(chuàng)意,制作出令人驚嘆的漫畫作品。讓...
-
7. AI顯卡繪畫排行榜:4090無懸念，最具性價比出人意料
在AI繪圖領域，Stable Diffusion的顯卡繪圖性能備受關注。本文整理了Stable Diffusion顯卡的硬件要求和性能表現(xiàn)，以及2023年3月顯卡AI繪圖效率排行榜和性價比排行榜。歡迎查看最新的AI顯卡算力排行榜。
-
8. 趕緊收藏好!這4個完全免費的AI視頻制作網(wǎng)站和工具
以下是一些免費的AI視頻制作網(wǎng)站或工具,幫助您制作各種類型的視頻。 1. Lumen5:Lumen5是一個基于AI的視頻制作工具,可將文本轉(zhuǎn)換為視頻。 用戶可以使...
-
就能快速生成一幅極具藝術(shù)效果的作品,讓現(xiàn)實中不懂繪畫的人也能參與其中創(chuàng)作!真的超贊噠~趣趣分享幾款超厲害的AI繪畫軟件,提供詳細操作!有需要的快來...
-
10. 10個建筑AI工具，從設計到施工全覆蓋!肯定有你從來沒聽過的
講述了建筑業(yè)比較著名的AI公司小庫科技做出的探索,在這兒就不多說了。今天,我們試著在規(guī)劃設計、建筑方案設計、住宅設計、管道設計、出渲染圖、3D掃...
最新文章
