自生成式AI爆火以來(lái)，我們接觸和使用更多的其實(shí)是所謂的云端AI，如OpenAI的ChatGPT、百度的文心一言等，他們都是部署在提供商的服務(wù)器上，用戶(hù)通過(guò)網(wǎng)頁(yè)或應(yīng)用的程序等方式進(jìn)行訪問(wèn)并使用，最重要的一點(diǎn)是他們都要聯(lián)網(wǎng)才能使用。

而為了讓生成式AI更接地氣，一種叫做端側(cè)AI的概念應(yīng)運(yùn)而生。相對(duì)于需要聯(lián)網(wǎng)才能使用的云端AI而言，端側(cè)AI可以將大模型（LLM）以輕量形式部署在本地，從而使搭載端側(cè)AI的設(shè)備即便在斷網(wǎng)情況下也能實(shí)現(xiàn)AI功能，與設(shè)備對(duì)話，提高工作及生活效率。

但是，就目前來(lái)說(shuō)并非所有的設(shè)備都滿(mǎn)足端側(cè)AI的硬件條件，尤其是當(dāng)微軟和蘋(píng)果接連發(fā)布Colipot+PC和Apple Intelligence平臺(tái)和功能后，要求設(shè)備中必須有這樣一塊芯片，NPU。而什么是NPU，它在端側(cè)AI中又能起到什么作用？

什么是NPU？

NPU是Neural Processing Unit（神經(jīng)網(wǎng)絡(luò)處理器）的首字母縮寫(xiě)。NPU 專(zhuān)用于運(yùn)行與神經(jīng)網(wǎng)絡(luò)/機(jī)器學(xué)習(xí)/AI 任務(wù)相關(guān)的數(shù)學(xué)函數(shù)。雖然這些可以是獨(dú)立的芯片，但它們?cè)絹?lái)越多地與更熟悉的CPU和GPU組件一起直接集成到片上系統(tǒng) （SoC）中。

NPU有各種形狀和尺寸，通常根據(jù)芯片廠商而略有不同?，F(xiàn)在已有不同的型號(hào)的NPU出現(xiàn)在智能手機(jī)領(lǐng)域，比如高通在其驍龍?zhí)幚砥髦邪惭b了Hexagon，谷歌擁有用于云和移動(dòng)Tensor芯片的TPU，三星則在自己的Exynos集成NPU。

這個(gè)趨勢(shì)現(xiàn)在也在筆記本電腦和PC領(lǐng)域興起。例如，最新的Apple M4內(nèi)置了神經(jīng)引擎，Snapdragon X Elite平臺(tái)中采用了高通的Hexagon功能，AMD和英特爾已開(kāi)始將NPU集成到其最新的芯片組中。

正如我們所見(jiàn)，NPU是專(zhuān)門(mén)為處理機(jī)器學(xué)習(xí)工作負(fù)載（以及其他數(shù)學(xué)繁重的任務(wù)）而構(gòu)建的。通俗地說(shuō)，NPU是一個(gè)非常有用的，甚至是必不可少的組件，用于在設(shè)備上而不是在云中運(yùn)行AI。毫無(wú)疑問(wèn)，如今人工智能幾乎無(wú)處不在，將AI直接整合到設(shè)備中是這一過(guò)程的關(guān)鍵一步。

今天的許多人工智能處理都是在云中完成的，但由于幾個(gè)原因，這并不理想。首先是延遲和網(wǎng)絡(luò)要求，我們無(wú)法在離線時(shí)訪問(wèn)工具，或者在高峰時(shí)段可能需要等待漫長(zhǎng)的處理時(shí)間。通過(guò)互聯(lián)網(wǎng)發(fā)送數(shù)據(jù)也不太安全，尤其是在自己的設(shè)備上運(yùn)行時(shí)。

簡(jiǎn)而言之，AI最好能直接在設(shè)備上運(yùn)行。然而，人工智能任務(wù)的計(jì)算量非常大，在傳統(tǒng)硬件上運(yùn)行不佳。如果你有嘗試在筆記本電腦上通過(guò)Stable Diffusion生成圖像，你可能已經(jīng)注意到了這一點(diǎn)。對(duì)于更高級(jí)的任務(wù)來(lái)說(shuō)，它可能會(huì)非常慢，盡管CPU可以很好地運(yùn)行許多“更簡(jiǎn)單”的AI任務(wù)。

解決方案是采用專(zhuān)用硬件來(lái)加速這些高級(jí)任務(wù)，而NPU在這方面無(wú)疑比CPU更高效，它們的性能通常以每秒數(shù)萬(wàn)億次操作 （TOPS） 表示。說(shuō)到TOPS，智能手機(jī)和早期的筆記本電腦NPU的額定值為數(shù)十TOPS。從廣義上講，這意味著它們可以加速基本的AI任務(wù)，例如相機(jī)物體檢測(cè)以應(yīng)用散景模糊或摘要文本。如果想運(yùn)行大型語(yǔ)言模型或使用生成式AI快速生成媒體，將需要數(shù)百或數(shù)千TOPS范圍內(nèi)更強(qiáng)大的加速器/GPU。

生成式AI革新人機(jī)交互界面，端側(cè)大模型應(yīng)用有望迎來(lái)爆發(fā)

近年來(lái)，大模型不僅在對(duì)話式文本方面取得巨大成功，也在圖像處理、音視頻生成等多模態(tài)領(lǐng)域展現(xiàn)出強(qiáng)大的潛能。隨著生成式AI在人們?nèi)粘９ぷ骷吧钪斜粡V泛應(yīng)用，數(shù)據(jù)處理和存儲(chǔ)需求急劇增加，使得智能計(jì)算體系結(jié)構(gòu)發(fā)生根本性轉(zhuǎn)變。

大模型對(duì)人機(jī)交互界面產(chǎn)生了深刻的影響，生成式AI已成為人與終端設(shè)備的最新交互界面。在生成式AI加持下，從寫(xiě)作、編程、繪畫(huà)到視頻創(chuàng)作，多種模態(tài)的內(nèi)容創(chuàng)作門(mén)檻正被前所未有地降低，人機(jī)交互的流程也被大大簡(jiǎn)化。

在楊磊看來(lái)，端側(cè)設(shè)備的核心交互問(wèn)題關(guān)乎入口，這是爭(zhēng)奪用戶(hù)時(shí)間、持續(xù)時(shí)長(zhǎng)、資金投入的關(guān)鍵所在，也是業(yè)內(nèi)競(jìng)爭(zhēng)的焦點(diǎn)。以典型的端側(cè)設(shè)備——手機(jī)為例，在本地設(shè)備上運(yùn)行大模型已是兵家必爭(zhēng)之地，各家手機(jī)大廠都在想方設(shè)法占據(jù)這一入口。

在此過(guò)程中，一方面，多模態(tài)模型正成為大勢(shì)所趨；另一方面，針對(duì)不同的應(yīng)用場(chǎng)景、設(shè)備或成本考量，眾多廠商都推出了不同參數(shù)規(guī)模的模型。以智能手機(jī)為例，旗艦手機(jī)芯片算力可達(dá)40~50TOPS，中檔手機(jī)的算力在10~20TOPS的范圍內(nèi)，而入門(mén)級(jí)手機(jī)目前尚未專(zhuān)門(mén)配備AI能力，更多地依賴(lài)于CPU的通用計(jì)算能力。

據(jù)楊磊預(yù)測(cè)，隨著半導(dǎo)體技術(shù)的持續(xù)演進(jìn)，旗艦手機(jī)的算力水平有望達(dá)到100TOPS，入門(mén)級(jí)手機(jī)也將從當(dāng)前的無(wú)算力水平提升至5~10TOPS范圍。預(yù)計(jì)兩年后，不論是高價(jià)位段的手機(jī)，還是性?xún)r(jià)比優(yōu)良的千元機(jī)，都有望具備本地部署AI大模型的硬件計(jì)算能力。

此外，在楊磊看來(lái)，除智能手機(jī)和PC等終端設(shè)備外，如今智能化水平不斷提速的新能源汽車(chē)以及目前炙手可熱的人形機(jī)器人也是大模型落地的硬件載體之一。在大會(huì)現(xiàn)場(chǎng)，楊磊列舉了一些數(shù)字：目前智能汽車(chē)的算力已經(jīng)能達(dá)到500TOPS左右，一些機(jī)器人方案也在按照這一算力規(guī)模進(jìn)行相應(yīng)的技術(shù)規(guī)劃。

盡管AI大模型的應(yīng)用日趨普及，比如手機(jī)上安裝了Kimi、豆包、文心一言等諸多應(yīng)用，但這些應(yīng)用尚未達(dá)到殺手級(jí)應(yīng)用的水平，實(shí)際上很多端側(cè)硬件的計(jì)算能力已經(jīng)領(lǐng)先于相關(guān)應(yīng)用的發(fā)展。很多用戶(hù)更多是出于獵奇心理來(lái)試用這類(lèi)應(yīng)用，并沒(méi)有產(chǎn)生持續(xù)、頻繁且高度黏性的使用需求。

“我們目前仍處于硬件先行、應(yīng)用后發(fā)的階段。安謀科技則希望結(jié)合自身獨(dú)特的技術(shù)優(yōu)勢(shì)，打造軟硬一體且極具競(jìng)爭(zhēng)力的解決方案，推動(dòng)AI大模型在端側(cè)設(shè)備加速落地。”楊磊談道。


芯片廠商積極布局異構(gòu)算力

當(dāng)前，CPU+GPU+NPU協(xié)同的混合算力架構(gòu)已成為AI PC的算力基礎(chǔ)。

其中，英特爾開(kāi)發(fā)的XPU混合算力是代表性解決方案，其CPU+GPU+NPU異構(gòu)方案，通過(guò)嵌入獨(dú)立NPU的強(qiáng)算力性能大幅提升終端AI能力；基于XPU混合架構(gòu)，英特爾推出了Meteor Lake第一代酷睿Ultra 處理器，疊加OpenVINO等工具鏈，開(kāi)發(fā)者能夠?qū)崿F(xiàn)XPU三種算力的混合部署和調(diào)度；高通則在2023年10月發(fā)布了集成ARM CPU與AI引擎NPU芯片X Elite，針對(duì)AI性能進(jìn)行優(yōu)化，單NPU模塊算力達(dá)到16TOPS、總算力達(dá)到75TOPS，支持AI PC運(yùn)行百億級(jí)參數(shù)本地大模型，首發(fā)廠商覆蓋聯(lián)想、戴爾、惠普等頭部PC廠商；

AMD推出AI PC芯片銳龍8040系處理器，主要面向客戶(hù)端和消費(fèi)端PC設(shè)計(jì)，CES 2024上AMD則于2023年12月發(fā)布第一款集成NPU模塊的桌面級(jí)CPU——Ryzen 8000G CPU，算力達(dá)到單NPU16 TOPS、總共39 TOPS；

蘋(píng)果發(fā)布的M3圖形處理器則在功耗減半的情況下，即可達(dá)到與M1相當(dāng)?shù)男阅?，而在峰值功耗下更可?shí)現(xiàn)高達(dá)65%的性能提升，同時(shí)，具備16核CPU、40核GPU的Ｍ3 Max將可以被用于研發(fā)AI軟件，性能表現(xiàn)出色。

總的來(lái)看，AI手機(jī)、AI PC有望成為未來(lái)手機(jī)和個(gè)人電腦的重要升級(jí)方向，而NPU則是AI手機(jī)、AI PC中最重要的硬件增量方向之一，值得重視。

端側(cè)AI產(chǎn)業(yè)鏈?zhǔn)芤?/span>

中信建投指出，端側(cè)AI核心在于手機(jī)和PC，AI Phone和AI PC將開(kāi)啟新時(shí)代。

“從今年2月份舉行的世界移動(dòng)通信大會(huì)，高通展示了其手機(jī)端離線運(yùn)行大模型，到5月份微軟開(kāi)發(fā)者大會(huì)高通展示其PC運(yùn)行AI大模型，再到近期英特爾、聯(lián)想等發(fā)布AI PC加速計(jì)劃、發(fā)布首款A(yù)I PC等，可以看出，國(guó)內(nèi)外廠商持續(xù)發(fā)力AI Phone和AI PC，端側(cè)AI將走入新的時(shí)代?！?/span>

同時(shí)，AI PC核心升級(jí)在于芯片。

AI PC不同于傳統(tǒng)PC的主要之處在于其SoC芯片中要有AI模塊，通過(guò)AI芯片中的NPU等模塊為硬件終端提供算力支撐，從而運(yùn)行端側(cè)AI大模型。過(guò)去PC芯片主要是以Intel為代表的x86架構(gòu)芯片，AIPC的提出要求了SOC芯片有AI算力，在端側(cè)AI推理能力方面，過(guò)去手機(jī)上就搭載了NPU，高通經(jīng)驗(yàn)積累深厚，Intel的筆記本芯片則是CPU+GPU。生態(tài)上，Windows也開(kāi)始全力支持ARM體系，自去年開(kāi)始了多輪支持Arm架構(gòu)芯片的操作系統(tǒng)更新，高通大概率會(huì)在PC市場(chǎng)上拿到部分份額。除芯片外，DRAM、計(jì)算模組等有望迎來(lái)新的升級(jí)與市場(chǎng)機(jī)遇。

此外，大模型向智能終端（邊緣端）滲透，模型壓縮和邊緣側(cè)計(jì)算性能提升是兩大關(guān)鍵。目前從這兩個(gè)方向上，都可以看到不錯(cuò)的進(jìn)展預(yù)期，大模型在邊緣端滲透初見(jiàn)端倪。這類(lèi)場(chǎng)景我們認(rèn)為率先會(huì)在手機(jī)、PC、智能駕駛、具身智能、元宇宙、工業(yè)控制等場(chǎng)景落地。

產(chǎn)業(yè)鏈角度，邊緣AI核心在于引入邊緣側(cè)的AI能力，進(jìn)一步增強(qiáng)邊緣側(cè)的算力能力、連接能力。重點(diǎn)包括AI芯片、算力/連接模組、邊緣網(wǎng)關(guān)/邊緣服務(wù)器/邊緣控制器等硬件、AI算法/邊緣計(jì)算平臺(tái)等軟件環(huán)節(jié)。從投資角度來(lái)看，建議優(yōu)先圍繞這幾類(lèi)產(chǎn)業(yè)鏈環(huán)節(jié)、兼顧業(yè)績(jī)彈性?xún)?yōu)選標(biāo)的。

中信建投強(qiáng)調(diào)，“我們看好端側(cè)AI產(chǎn)業(yè)進(jìn)展，尤其是AI Phone和AI PC領(lǐng)域，其已有相關(guān)產(chǎn)品落地，將傳統(tǒng)PC、Phone結(jié)合上AI能力有望帶動(dòng)整個(gè)PC、Phone產(chǎn)業(yè)鏈復(fù)蘇；通過(guò)將大模型賦能終端硬件，AI應(yīng)用浪潮將有望開(kāi)啟?！?/span>