在輕薄本上體驗生成式AI和大語言模型 英特爾給出的答案是肯定的
    
			
    
				來源： 中關村在線2023-08-20 08:40:08
				
					
				
				
			
    
		
    
		
    
			　　

    (資料圖)
    現階段AI應用有兩個離不開，一個是離不開網絡，不少AI應用的計算過程是在云端進行的，無法脫離網絡；另一個是離不開強大的算力，比如生成式AI，往往依賴規格很強的顯卡。這兩個離不開也意味著，大家很難在移動設備上體驗到AI所帶來的便利。不過英特爾卻表示，這些都可以在搭載了英特爾酷睿處理器和銳炫顯卡的PC上得到支持，包括便攜性極強的輕薄本。
    那么，英特爾是如何做到的？我們從開篇提到的兩個離不開說起。
    依賴云的代表就是大語言模型了，如何把大語言模型從云端搬到本地，英特爾先優化了模型，降低了模型對于硬件的要求。然后通過第13代酷睿的XPU加速、low-bit量化和其他層面的優化，實現了160億參數的大語言模型。然后通過BigDL-LLM框架，讓其可以在內存容量為16GB及以上的筆記本上運行。
    從實際的演示效果來看，即使是輕薄本，運行大語言模型的效率還是非常不錯的，速度完全不會影響到閱讀，滿足使用是沒有問題的。如此出色的表現，在PC個人助理等方面有著非常不錯的應用前景。
    依賴強算力的代表就是Stable Diffusion了，英特爾的做法是，除了依靠本身不錯的硬件外，還與AI社區構建軟件生態。英特爾積極擁抱AI社區，在OpenVINO PyTorch后端方案的基礎上，通過Pytorch API讓開源模型可以在英特爾的處理器、顯卡（集成和獨立）和專用AI引擎上運行。
    目前已經通過這種方式，實現了Stable Diffusion的Automatic1111 WebUI的運行。它可以在搭載英特爾處理器和獨顯的PC上運行FP16精度模型。從現場演示的效果來看，生成一張512x512的圖片，2-3秒鐘就可以完成，效率還是比較可觀的。
    在文字生成圖片、圖片生成圖片和圖片修復等方面，這項功能的實用性非常強。
    通過構建生態和模型優化，再加上本身英特爾酷睿處理器和銳炬顯卡的強大性能，英特爾實現了在個人PC上運行大語言模式和生成式AI，并且實際效果超出預期，可用性非常不錯。這也意味著，未來越來越多AI場景都可以在個人PC上落地，不僅僅是在臺式機上，包括更加便攜的輕薄本等設備上。在AI的輔助下，個人PC的使用體驗將會迎來革命性的進步。
    			
    關鍵詞：
							
    
		
    
		
    責任編輯：sdnew003
    
		
		
		
    
			
    相關新聞
    
			
		
    
		
    
			
    
				
    版權與免責聲明：
    
				
    1　本網注明“來源：×××”（非商業周刊網）的作品，均轉載自其它媒體，轉載目的在于傳遞更多信息，并不代表本網贊同其觀點和對其真實性負責，本網不承擔此類稿件侵權行為的連帶責任。
    
				
     2　在本網的新聞頁面或BBS上進行跟帖或發表言論者，文責自負。
    
				
    3　相關信息并未經過本網站證實，不對您構成任何投資建議，據此操作，風險自擔。
    
				
    4　如涉及作品內容、版權等其它問題，請在30日內同本網聯系。