發(fā)布時間:2023-11-09 13:18:44 瀏覽量:101次
手機實時生成虛擬分身
明敏 發(fā)自 凹非寺
|
最強生成式AI終端芯片,現(xiàn)已易主!
天璣9300一舉支持運行最大330億參數(shù)大模型,短短幾周時間內(nèi)刷新業(yè)界紀(jì)錄。
它是業(yè)界首款搭載硬件生成式AI引擎,首次實現(xiàn)端側(cè)LoRA融合,讓大模型技能可在本地擴展,基于個人照片生成專屬表情包。
打開攝像頭,即可實時生成一個虛擬數(shù)字分身。
同樣支持1秒內(nèi)文生圖、20 Tokens/秒生成文本(70億參數(shù))。
并且拿下“業(yè)內(nèi)第一移動AI性能”,設(shè)備AI 跑分達(dá)到恐怖的3173(目前業(yè)內(nèi)公開最好成績?yōu)?000+).
沒想到,聯(lián)發(fā)科首顆生成式AI移動芯片,性能就如此強悍。
加上首次采用的全大核CPU架構(gòu),天璣9300屬實是把牙膏踩爆了,峰值性能較上一代提升40%,功耗節(jié)省33%。
網(wǎng)友們看了都直呼:發(fā)哥,穩(wěn)了!
搭載天璣9300的旗艦智能機vivo X100系列,馬上就會和大家見面。
如果你想嘗鮮,確實值得期待一把。
因為這是一張從底層開始、完全為生成式AI而來的旗艦級移動芯片。
透過它,不僅能先人一步體驗在端側(cè)玩大模型有多絲滑;更能提前窺見與感受,AI浪潮和移動終端將會碰撞出哪些激烈火花,。
作為一張生成式AI移動芯片,能帶來哪些創(chuàng)新體驗?
天璣9300先來打個樣,帶來如下幾方面能力:
最基本的,生成式AI芯片要具備端側(cè)支持大模型的能力。
天璣9300支持終端運行10億、70億、130億、最高330億參數(shù)AI大模型。
通過和vivo的深度合作,基于天璣9300率先實現(xiàn)了在vivo旗艦手機上端側(cè)落地70億參數(shù)大語言模型,系行業(yè)首家。
同時也突破行業(yè)上限,和vivo一起將端側(cè)運行大模型規(guī)模提高到130億參數(shù)。
在可以運行的基礎(chǔ)上,更進(jìn)一步,需要做到快速處理。
天璣9300具備快速文字、圖片生成能力。
70億參數(shù)模型下可實現(xiàn)每秒20 Tokens輸出,支持文本創(chuàng)作、摘要生成等文本任務(wù)。
每張圖片生成時間控制在1秒以內(nèi)。
這意味著幾乎無需等待,就能馬上從手機上獲得最新AI生成結(jié)果。
這也是為什么天璣9300能拿下業(yè)界移動AI性能第一名號,ETHZ AI Benchmark v5.1 Mobile SoC >2000 分。
更創(chuàng)新的體驗來自端側(cè)技能擴展,它支持在本地生成多樣個性化內(nèi)容。
這也是移動芯片首次實現(xiàn)端側(cè)LoRA。
基于此,拍下一張照片,在手機本地即可進(jìn)行各種風(fēng)格處理,生成個人專屬表情包。
要知道,基座大模型的知識與能力相對有限,想要讓大模型有更強生產(chǎn)力,往往需要對大模型進(jìn)行SFT、LoRA等方式微調(diào)。今年AI繪畫能憑借不同畫風(fēng)、多次掀起熱潮,很多程度上正是得益于LoRA方法。
天璣9300的端側(cè)支持,可以讓LoRA變得更加便捷,可以推動大模型在手機上實現(xiàn)更多豐富玩法。
除此之外,生成式AI的應(yīng)用還能導(dǎo)入到視頻中,實時生成個人虛擬化分身,進(jìn)行視頻通話。
一些已有的AI應(yīng)用,也基于生成式AI實現(xiàn)了更多創(chuàng)新。
比如用在提升游戲畫質(zhì)、圖像方面的超分算法,使用生成式能力后可以帶來更好畫質(zhì)提升;
夜景拍攝可以防眩光產(chǎn)生;
以及生成式AI語意搜索,能不聯(lián)網(wǎng)智能檢索相冊圖片,在端側(cè)完成計算更好保護(hù)隱私。
總之,透過天璣9300的能力可以感受到,聯(lián)發(fā)科認(rèn)為一張合格的生成式AI移動芯片,應(yīng)該能把大模型能力盡可能帶到端側(cè)。
不只是要裝下更大模型,還要讓大模型能在端側(cè)拓展能力,以此帶來更豐富的應(yīng)用。
那么,聯(lián)發(fā)科是如何做到?
作為一張為生成式AI而來的移動芯片,天璣9300的能力提升邏輯簡單粗暴:
AI性能拉滿,底層能力夯實。
具體可以從APU和整體架構(gòu)兩個方面來看。
APU主要負(fù)責(zé)實現(xiàn)大模型的端側(cè)快速運行。
天璣9300集成MedieTek第七代AI處理器APU 790,整數(shù)運算和浮點運算性能均是上一代的2倍,同時功耗降低45%。
為了能讓端側(cè)支持更大規(guī)模大模型,它帶來了特有的內(nèi)存硬件壓縮技術(shù)(NeuroPilot Compression)。
要知道,大模型的海量數(shù)據(jù)在帶來極致性能同時,也帶來了巨大內(nèi)存占用。所以這也是為什么大模型進(jìn)端側(cè)難。
聯(lián)發(fā)科先采用INT4量化,將130億參數(shù)大模型壓縮至13GB。
然后基于內(nèi)存硬件壓縮,進(jìn)一步把13GB內(nèi)存壓縮到只有5GB,內(nèi)存占用直降61%。
這樣一來,內(nèi)存為16GB的內(nèi)存即可運行130億參數(shù)大模型,24GB內(nèi)存手機可運行330億參數(shù)大模型。
但裝下大模型還不夠,聯(lián)發(fā)科認(rèn)為還要讓大模型具備更豐富能力。
由此提出了生成式AI端側(cè)“技能擴充”技術(shù)(NeuroPilot Fusion)。
它直接解決了終端無法裝下過多大模型的問題,實現(xiàn)一個大模型為底座,N個技能作為擴展。
這樣既解決了大模型的內(nèi)存瓶頸,還盡可能拓展手機上生成式AI的應(yīng)用邊界。
而為了能讓大模型更絲滑地在終端運行,天璣9300在更底層還做了進(jìn)一步優(yōu)化。
一方面,天璣9300是業(yè)界首款硬件生成式AI引擎。
它深度適配Transformer模型,特別在Softmax+LayerNorm算子上,處理速度較上一代提升8倍。
Softmax+LayerNorm算子正是當(dāng)下大語言模型(Transformer網(wǎng)絡(luò))的核心部分。
另一方面,天璣9300開創(chuàng)性采用了全大核CPU架構(gòu),從底層大幅提升芯片算力。
它包含4 個 Cortex-X4超大核,最高頻率可達(dá) 3.25GHz,以及4個主頻為2.0GHz的Cortex-A720大核,其峰值性能相較上一代提升40%,功耗節(jié)省33%。
其單個E大核的能效比完全超越傳統(tǒng)架構(gòu)B核和L核。
全大核架構(gòu)全面使用亂序執(zhí)行(out-of-order)內(nèi)核。
和傳統(tǒng)小核必須順序執(zhí)行的邏輯不同,大核運算允許只要任務(wù)進(jìn)來且可以處理,它就會開始執(zhí)行。
這樣能大幅減少任務(wù)的總消耗時間,提升應(yīng)用執(zhí)行效率、減少卡頓。同時也能降低功耗,對比如下兩圖,大核運算“做得快、休息快”,運行曲線的積分更小,即功耗更低。
這些能力都能為芯片執(zhí)行生成式AI任務(wù),提供扎實的基礎(chǔ)計算底座。
最后,生成式AI在端側(cè)運行,還有很多細(xì)節(jié)需要考量。
比如在交互方面,目前大模型更多以智能助手形象出現(xiàn),語音是重要的交互方式之一,所以天璣9300專門提升了音頻降噪能力,支持對3個麥克風(fēng)動態(tài)錄音降噪,可以有效過濾風(fēng)噪等環(huán)境音,不僅能讓視頻拍攝、錄音效果更好,也能輔助提升大模型語音識別的正確率。
另外在用戶格外關(guān)注的數(shù)據(jù)安全方面,天璣9300集成雙安全芯片,從開機源頭保護(hù)個人隱私,同時具有物理隔離計算環(huán)境,進(jìn)一步保障個人數(shù)據(jù)加密、解密的安全。以及內(nèi)存標(biāo)記擴展(MTE)技術(shù),可以打造更安全的開發(fā)環(huán)境。
如上諸多方面的優(yōu)化、革新與考量,都讓天璣9300成為一塊名副其實為生成式AI而來的移動芯片。
而除了對自身硬件性能提升,聯(lián)發(fā)科還進(jìn)一步打通大模型生態(tài)。
支持Meta LLaMA 2、百度文心一言大模型、百川大模型等前沿主流AI大模型,以及多模態(tài)大模型。
應(yīng)用方面和抖音、快手、虎牙、愛奇藝、美圖秀秀等展開合作,提供相關(guān)SDK和model hub。
開發(fā)者生態(tài)方面,天璣開發(fā)者中心將提供端側(cè)生成式AI落地的一站式資源,提供端側(cè)部署案例分享。目前已有20+生成式AI合作伙伴。
一言以蔽之,聯(lián)發(fā)科要用天璣9300這塊旗艦芯,正式叩開生成式AI大門。
由此帶來的影響,將從聯(lián)發(fā)科由內(nèi)至外,給全行業(yè)帶來新氣息,更進(jìn)一步影響到每一位智能手機用戶。
在近幾年里,手機行業(yè)始終在思考一個大命題,下一代旗艦機該怎么做?
這個命題需要芯片、手機、應(yīng)用等廠商共同思考,如折疊屏、旗艦影像等都是摸索出來的方向。
而生成式AI浪潮的到來,讓這個大命題回歸本源,即下一代智能手機,就是要更智能、更強大。
大模型是實現(xiàn)這一切的根本。
所以過去一段時間里,手機廠商們紛紛開始推出端側(cè)大模型、發(fā)布接入大模型的OS系統(tǒng),掀起大模型浪潮的OpenAI被曝要做新一代智能手機。
但落地到實際,怎么讓手機用戶能更好用上大模型。這個核心問題,還是要拋給芯片廠商。
因為大模型落地,必須要解決計算瓶頸、功耗瓶頸,而且只依靠云端運行不能長久,也不能從根本上打開大模型的手機場景。
從當(dāng)下來看,聯(lián)發(fā)科等頭部手機芯片廠商已經(jīng)邁出了關(guān)鍵性的第一步——將大模型實現(xiàn)端側(cè)運行。
那么接下來該怎么走?如何思考生成式AI芯片的未來?以及大模型在手機端的應(yīng)用?
現(xiàn)在似乎很難有非常明確的答案。
畢竟業(yè)內(nèi)都非常清楚,大模型浪潮如今才只是最早期階段,無論是技術(shù)層面還是應(yīng)用落地,都仍需長期探索。
但聯(lián)發(fā)科用天璣9300給出了一個關(guān)鍵參考:
面向生成式AI的移動芯片,要從底層為大模型做準(zhǔn)備,“天生”更適合大模型,同時硬件層面要做到能力溢出。
為什么?
用聯(lián)發(fā)科的話來說,就是“生成式AI旗艦芯片未來一定會有更多應(yīng)用模式產(chǎn)生、完成更復(fù)雜的任務(wù)。”
作為一個硬件級的底座,要足夠強大,上層系統(tǒng)、應(yīng)用才能有更多創(chuàng)新空間,更多生成式AI端側(cè)應(yīng)用才能誕生。
在強大的同時,還要動作夠快。
天璣9300不僅和vivo一同實現(xiàn)業(yè)內(nèi)首個70億大模型端側(cè)落地,還實現(xiàn)了130億參數(shù)大模型端側(cè)運行。
搭載天璣9300的vivo X100系列也將馬上上市。屆時就能真正上手實測大模型跑在端側(cè)是什么感覺了。
對于大模型上手機,你有哪些期待?對于今年生成式AI給手機行業(yè)帶來的新氣息,你又有哪些感受?
歡迎評論區(qū)留言討論~
熱門資訊
想將照片變成漫畫效果?這篇文章分享了4個方法,包括Photoshop、聰明靈犀、VanceAI Toongineer、醒圖,簡單操作就能實現(xiàn),快來嘗試一下吧!
2. 華為手機神奇“AI修圖”功能,一鍵消除衣服!原圖變身大V領(lǐng)深V!
最近華為手機Pura70推出的“AI修圖”功能引發(fā)熱議,通過簡單操作可以讓照片中的人物換裝。想了解更多這款神奇功能的使用方法嗎?點擊查看!
近年來,人工智能逐漸走入公眾視野,其中的AI圖像生成技術(shù)尤為引人注目。只需在特定軟件中輸入關(guān)鍵詞描述語以及上傳參考圖就能智能高效生成符合要求的...
4. AI視頻制作神器Viggle:讓靜態(tài)人物動起來,創(chuàng)意無限!
Viggle AI是一款免費制作視頻的AI工具,能讓靜態(tài)人物圖片動起來,快來了解Viggle AI的功能和優(yōu)勢吧!
5. Logo Diffusion——基于sd繪畫模型的AI LOGO 生成器
這下LOGO設(shè)計徹底不用求人了。接下來詳細(xì)演示一遍操作流程首先進(jìn)入Logo D... 想學(xué)習(xí)更多AI技能,比如說關(guān)于怎么樣利用AI來提高生產(chǎn)效率、還能做什么AI...
6. 零基礎(chǔ)10分鐘生成漫畫,教大家如何用AI生成自己的漫畫
接下來,我將親自引導(dǎo)你,使用AI工具,創(chuàng)作一本既有趣又能帶來盈利的漫畫。我們將一起探索如何利用這個工具,發(fā)揮你的創(chuàng)意,制作出令人驚嘆的漫畫作品。讓...
7. 趕緊收藏好!這4個完全免費的AI視頻制作網(wǎng)站和工具
以下是一些免費的AI視頻制作網(wǎng)站或工具,幫助您制作各種類型的視頻。 1. Lumen5:Lumen5是一個基于AI的視頻制作工具,可將文本轉(zhuǎn)換為視頻。 用戶可以使...
8. AI顯卡繪畫排行榜:4090無懸念,最具性價比出人意料
在AI繪圖領(lǐng)域,Stable Diffusion的顯卡繪圖性能備受關(guān)注。本文整理了Stable Diffusion顯卡的硬件要求和性能表現(xiàn),以及2023年3月顯卡AI繪圖效率排行榜和性價比排行榜。歡迎查看最新的AI顯卡算力排行榜。
9. 一款免費無限制的AI視頻生成工具火了!國內(nèi)無障礙訪問!附教程
人人都可以動手制作AI視頻! 打開網(wǎng)址https://pixverse.ai/,用郵箱注冊后,點擊右上角Create,就可以開始創(chuàng)作了。 PixVerse目前有文案生成視頻,和圖片生...
就能快速生成一幅極具藝術(shù)效果的作品,讓現(xiàn)實中不懂繪畫的人也能參與其中創(chuàng)作!真的超贊噠~趣趣分享幾款超厲害的AI繪畫軟件,提供詳細(xì)操作!有需要的快來...
最新文章
同學(xué)您好!