在輕薄本上體驗(yàn)生成式AI和大語言模型 英特爾給出的答案是肯定的

(資料圖)

現(xiàn)階段AI應(yīng)用有兩個(gè)離不開，一個(gè)是離不開網(wǎng)絡(luò)，不少AI應(yīng)用的計(jì)算過程是在云端進(jìn)行的，無法脫離網(wǎng)絡(luò)；另一個(gè)是離不開強(qiáng)大的算力，比如生成式AI，往往依賴規(guī)格很強(qiáng)的顯卡。這兩個(gè)離不開也意味著，大家很難在移動(dòng)設(shè)備上體驗(yàn)到AI所帶來的便利。不過英特爾卻表示，這些都可以在搭載了英特爾酷睿處理器和銳炫顯卡的PC上得到支持，包括便攜性極強(qiáng)的輕薄本。

那么，英特爾是如何做到的？我們從開篇提到的兩個(gè)離不開說起。

依賴云的代表就是大語言模型了，如何把大語言模型從云端搬到本地，英特爾先優(yōu)化了模型，降低了模型對(duì)于硬件的要求。然后通過第13代酷睿的XPU加速、low-bit量化和其他層面的優(yōu)化，實(shí)現(xiàn)了160億參數(shù)的大語言模型。然后通過BigDL-LLM框架，讓其可以在內(nèi)存容量為16GB及以上的筆記本上運(yùn)行。

從實(shí)際的演示效果來看，即使是輕薄本，運(yùn)行大語言模型的效率還是非常不錯(cuò)的，速度完全不會(huì)影響到閱讀，滿足使用是沒有問題的。如此出色的表現(xiàn)，在PC個(gè)人助理等方面有著非常不錯(cuò)的應(yīng)用前景。

依賴強(qiáng)算力的代表就是Stable Diffusion了，英特爾的做法是，除了依靠本身不錯(cuò)的硬件外，還與AI社區(qū)構(gòu)建軟件生態(tài)。英特爾積極擁抱AI社區(qū)，在OpenVINO PyTorch后端方案的基礎(chǔ)上，通過Pytorch API讓開源模型可以在英特爾的處理器、顯卡（集成和獨(dú)立）和專用AI引擎上運(yùn)行。

目前已經(jīng)通過這種方式，實(shí)現(xiàn)了Stable Diffusion的Automatic1111 WebUI的運(yùn)行。它可以在搭載英特爾處理器和獨(dú)顯的PC上運(yùn)行FP16精度模型。從現(xiàn)場演示的效果來看，生成一張512x512的圖片，2-3秒鐘就可以完成，效率還是比較可觀的。

在文字生成圖片、圖片生成圖片和圖片修復(fù)等方面，這項(xiàng)功能的實(shí)用性非常強(qiáng)。

通過構(gòu)建生態(tài)和模型優(yōu)化，再加上本身英特爾酷睿處理器和銳炬顯卡的強(qiáng)大性能，英特爾實(shí)現(xiàn)了在個(gè)人PC上運(yùn)行大語言模式和生成式AI，并且實(shí)際效果超出預(yù)期，可用性非常不錯(cuò)。這也意味著，未來越來越多AI場景都可以在個(gè)人PC上落地，不僅僅是在臺(tái)式機(jī)上，包括更加便攜的輕薄本等設(shè)備上。在AI的輔助下，個(gè)人PC的使用體驗(yàn)將會(huì)迎來革命性的進(jìn)步。

關(guān)鍵詞：