“AIoT”到“邊緣AI”進(jìn)化論
AI乃至生成式AI向邊緣設(shè)備的遷移，曾一度引發(fā)廣泛疑問(wèn)：倘若云端或數(shù)據(jù)中心已然具備卓越的AI推理性能，且其性能遠(yuǎn)超邊緣設(shè)備，那么，為何我們?nèi)孕璨渴疬吘壔蚨藗?cè)AI？
直到我們發(fā)現(xiàn)汽車ADAS/AD決策必須講究實(shí)時(shí)性，否則避障決策從云發(fā)到車上，即便決策精度再高，1秒響應(yīng)時(shí)間足夠發(fā)生車禍了。工業(yè)生產(chǎn)制造的操作安全亦如是，不講究實(shí)時(shí)性的AI決策無(wú)論如何都會(huì)造成生產(chǎn)損失，不必談?lì)A(yù)測(cè)性維護(hù)解決方案有多智能。
而曾被我們認(rèn)定實(shí)時(shí)性要求不高的生成式AI，實(shí)則也在落地過(guò)程中發(fā)現(xiàn)了高實(shí)時(shí)性要求的應(yīng)用場(chǎng)景：比如AI PC上的游戲教練助手——這類AI助手通過(guò)錄屏、檢測(cè)畫面，藉由AI CV(計(jì)算機(jī)視覺(jué))識(shí)別，以浮窗的方式給出玩家指導(dǎo)與輔助，已經(jīng)在一些競(jìng)技類游戲及賽事訓(xùn)練中使用。
這是一個(gè)典型的對(duì)實(shí)時(shí)性有要求的生成式AI應(yīng)用場(chǎng)景。在交互性強(qiáng)的游戲場(chǎng)景中，幾乎無(wú)法通過(guò)云AI來(lái)完成整個(gè)流程，更不用說(shuō)當(dāng)“生成式AI”不僅涉及文字、圖片的生成，還擴(kuò)展到機(jī)械臂動(dòng)作、腦波等的生成時(shí)，問(wèn)題將變得更加復(fù)雜。
因此，邊緣AI是真正具備了價(jià)值的。IIC Shenzhen 2024活動(dòng)上，TI(德州儀器)嵌入式處理高級(jí)副總裁Amichai Ron在主題演講中表示，邊緣AI讓算力和數(shù)據(jù)源更加靠近，在設(shè)備端而非云端做決策。
“將智能帶到芯片上，這關(guān)乎響應(yīng)速度、功耗和數(shù)據(jù)隱私，以低延遲做出實(shí)時(shí)決策。”“系統(tǒng)需要在微秒級(jí)時(shí)間內(nèi)做出決策，拯救生命。”Amichai說(shuō)，“就像無(wú)線連接已經(jīng)是我們?nèi)粘Ｉ畹囊徊糠?，邊緣AI也會(huì)持續(xù)擴(kuò)散，進(jìn)入到越來(lái)越多的應(yīng)用中。”
這一輪邊緣AI與上一輪AIoT
邊緣AI近兩年都是技術(shù)或市場(chǎng)趨勢(shì)熱詞。“邊緣AI是指，在云上設(shè)計(jì)和訓(xùn)練能夠運(yùn)行特定功能的模型，并使用神經(jīng)網(wǎng)絡(luò)引擎在嵌入式設(shè)備之上執(zhí)行該模型的能力。Amichai如此定義邊緣AI。
或許更多企業(yè)有關(guān)邊緣AI的定義是將AI模型的本地執(zhí)行能力擴(kuò)展到了一切非數(shù)據(jù)中心的邊緣與端側(cè)，包括手機(jī)、PC、汽車、機(jī)器人、家電、AIoT，以及工業(yè)、醫(yī)療、零售等各行各業(yè)的邊緣嵌入式設(shè)備，乃至企業(yè)為生產(chǎn)制造而設(shè)立的邊緣高算力設(shè)備或集群。
英特爾、英偉達(dá)這類市場(chǎng)參與者對(duì)“邊緣”的定義就可能與TI、瑞薩等不同。所以筆者更愿意將“邊緣”的范圍，擴(kuò)展到一切行業(yè)的邊緣。但無(wú)論如何，邊緣AI強(qiáng)調(diào)的都是在算力和擴(kuò)展能力有限的本地進(jìn)行AI模型推理的技術(shù)。
圖1：機(jī)器人也是典型的工業(yè)邊緣應(yīng)用
從這樣的定義來(lái)看，早在2018年甚至更早，在邊緣或端側(cè)執(zhí)行AI運(yùn)算就已經(jīng)不新鮮了。只不過(guò)當(dāng)年還不流行“邊緣AI”和“TinyML(指在超低功耗、資源受限的微型設(shè)備上進(jìn)行機(jī)器學(xué)習(xí)的技術(shù))”的說(shuō)法，頂多是“邊緣計(jì)算”及“AIoT”。當(dāng)年英偉達(dá)的股價(jià)還在5美元上下波動(dòng)，生成式AI也尚未爆發(fā)。那么這兩年興起的“邊緣AI”一說(shuō)，是對(duì)當(dāng)年舊概念的熱炒嗎？
2024年進(jìn)博會(huì)上，瑞薩電子全球銷售與市場(chǎng)副總裁、瑞薩電子中國(guó)總裁賴長(zhǎng)青在接受《國(guó)際電子商情》采訪時(shí)提到了3個(gè)挺有說(shuō)服力的差異：(1)當(dāng)代邊緣AI技術(shù)比以前明顯更成熟；(2)AI覆蓋應(yīng)用范圍變得更廣；(3)邊緣開發(fā)范式的轉(zhuǎn)變。這是前些年我們談AI都還不會(huì)涉及的問(wèn)題。
在技術(shù)成熟度上，“包括感知、通信、電機(jī)控制、人機(jī)界面、安全等關(guān)鍵技術(shù)”都和以前不同。隨之而來(lái)，這波AI技術(shù)發(fā)展也就“催生了更大的市場(chǎng)”。“智能家庭、汽車自動(dòng)駕駛、智慧城市等等，應(yīng)用變得越來(lái)越廣泛”，AI在邊緣實(shí)現(xiàn)了“深度和廣度的普及”。
對(duì)于嵌入式開發(fā)范式發(fā)生改變，“傳統(tǒng)的嵌入式工程師，其設(shè)計(jì)還是基于原有規(guī)則的。而人工智能是基于數(shù)據(jù)做設(shè)計(jì)。”賴長(zhǎng)青談到。也就是說(shuō)越來(lái)越多的嵌入式設(shè)計(jì)和算法，從規(guī)則驅(qū)動(dòng)走向了數(shù)據(jù)驅(qū)動(dòng)。
另一個(gè)能夠更務(wù)實(shí)地體現(xiàn)這一輪邊緣AI與上一輪AIoT差異的，還在于近兩年AI MCU的涌現(xiàn)——雖然這并非邊緣AI實(shí)施的唯一芯片類型：包括瑞薩、英飛凌、TI在內(nèi)的企業(yè)都在熱推自家的AI MCU，不僅是MCU+DSP/NPU這類加速模式，還在于IP供應(yīng)商正從擴(kuò)展指令層面實(shí)踐CPU的AI加速，且已經(jīng)在上市的AI MCU中得到體現(xiàn)。
很難想象的是，當(dāng)代的微控制器已經(jīng)可以憑借一己之力、在完全不需要額外加速器的情況下，處理攝像頭捕捉到的視覺(jué)數(shù)據(jù)，檢測(cè)畫面中的對(duì)象且達(dá)到可觀的幀率。
考慮更大的“邊緣”外延，筆者認(rèn)為在賴長(zhǎng)青闡述的這3點(diǎn)以外，可以再加一個(gè)“(4)生成式AI或?qū)⒃谶吘墴òl(fā)活力，且不僅是PC、手機(jī)、汽車這類算力資源比較充沛的邊緣，還在于嵌入式應(yīng)用”。這一點(diǎn)將在下文做更詳細(xì)的闡述。
行業(yè)談?wù)?ldquo;邊緣AI”的內(nèi)在邏輯
更具體的邊緣AI應(yīng)用案例在《國(guó)際電子商情》的歷史文章中能大量見(jiàn)到。舉例來(lái)說(shuō)，中信泰富鐵鋼集團(tuán)就已經(jīng)在其生產(chǎn)工藝中采用AI技術(shù)，比如說(shuō)預(yù)測(cè)高爐的內(nèi)部工作，實(shí)時(shí)優(yōu)化工藝參數(shù)，增加了15%的吞吐，降低了11%的能耗。這也是相較數(shù)年前的AIoT無(wú)法達(dá)成的當(dāng)代行業(yè)邊緣AI應(yīng)用典型。
以上大概是從半導(dǎo)體領(lǐng)域觀測(cè)到的、屬于邊緣AI的具體現(xiàn)象。接下來(lái)，我們有必要深入到行業(yè)和應(yīng)用，相對(duì)宏觀地理解這一輪“邊緣AI”和上一輪“AIoT”熱點(diǎn)的本質(zhì)差異。
羅列任何研究機(jī)構(gòu)的市場(chǎng)價(jià)值數(shù)字都無(wú)法表達(dá)真正的市場(chǎng)潛力：來(lái)看一些更具體的數(shù)據(jù)。在2024年初的市場(chǎng)趨勢(shì)文章中，麥肯錫(McKinsey & Company)將AI形容為第四次工業(yè)革命。當(dāng)然這個(gè)形容方式本身沒(méi)什么了不得，因?yàn)檫@些年被稱為“第四次工業(yè)革命”的技術(shù)實(shí)在太多了。麥肯錫提供的數(shù)據(jù)是，過(guò)去20年美國(guó)制造行業(yè)下滑1.4%。
但在AI、數(shù)字技術(shù)、可持續(xù)發(fā)展大趨勢(shì)及更高技能水平的加持下，市場(chǎng)在過(guò)去5年中又重新煥發(fā)了活力。相比之前的15年，美國(guó)工業(yè)企業(yè)這五年創(chuàng)造了更多400個(gè)基點(diǎn)的股東收益。
而麥肯錫的研究網(wǎng)絡(luò)GlobalLighthouse Network明確了促成這“第四次工業(yè)革命”的兩大要素。其一是機(jī)器智能技術(shù)已經(jīng)達(dá)成前所未有的成熟度。這里的機(jī)器智能尤指AI，讓機(jī)器能夠在虛擬和物理世界中進(jìn)行生產(chǎn)，賦予其可執(zhí)行復(fù)雜任務(wù)的特定智能。其二是全球領(lǐng)先的企業(yè)機(jī)構(gòu)不再像以前一樣，僅在個(gè)別用例上嘗鮮新技術(shù)，而是以整個(gè)工廠或工廠集群為單位進(jìn)行前沿技術(shù)的擴(kuò)充。
或者說(shuō)麥肯錫的批量研究對(duì)象已經(jīng)在工廠級(jí)乃至跨工廠部署AI技術(shù)，而不再停留于先期小規(guī)模試驗(yàn)和驗(yàn)證了。以更前沿的生成式AI為例，這些工廠都至少在流程中試行1個(gè)生成式AI應(yīng)用；其中某些能夠在以天或者以周計(jì)的周期內(nèi)對(duì)生成式AI用例做實(shí)施、測(cè)試和迭代。具體到麥肯錫定義的第四次工業(yè)革命系統(tǒng)性先進(jìn)用例實(shí)施，絕大部分企業(yè)所需時(shí)間<6個(gè)月，30%則少于3個(gè)月。
之所以能夠在如此短的周期內(nèi)完成新技術(shù)部署和迭代，是因?yàn)榧扔谢A(chǔ)設(shè)施構(gòu)建已經(jīng)在上一階段完成，包括必須的數(shù)據(jù)、技術(shù)基礎(chǔ)設(shè)施、人才儲(chǔ)備及靈活的運(yùn)營(yíng)模型。
本文不打算花筆墨在AI具體做了些什么的問(wèn)題上，而且麥肯錫針對(duì)AI在工業(yè)生產(chǎn)制造之中的研究實(shí)際上并不只是關(guān)乎邊緣AI的問(wèn)題。但我們有必要看到這一輪市場(chǎng)在談邊緣AI，及上一輪AIoT話題差異的本質(zhì)。即技術(shù)革新，尤其是上升到“工業(yè)革命”程度的技術(shù)革新往往是個(gè)漫長(zhǎng)的過(guò)程。
圖2：第四次工業(yè)革命的S曲線；來(lái)源：McKinsey & Company
每次大型技術(shù)革命總是呈現(xiàn)出進(jìn)度的“S曲線”。麥肯錫認(rèn)為，在技術(shù)發(fā)展初期，市場(chǎng)要先經(jīng)歷“學(xué)習(xí)”曲線階段——這個(gè)周期可能會(huì)很長(zhǎng)，伴隨各種試錯(cuò)，也需要先行者去解決各種實(shí)際問(wèn)題。
而到了下一階段進(jìn)入到曲線的“實(shí)施(Doing)”部分，則建立在基礎(chǔ)技術(shù)已經(jīng)建立，企業(yè)組織開始在生產(chǎn)網(wǎng)絡(luò)中對(duì)其進(jìn)行部署的基礎(chǔ)上。最后還會(huì)進(jìn)入到“優(yōu)化”曲線階段，此時(shí)行業(yè)會(huì)開始對(duì)技術(shù)做對(duì)齊：標(biāo)準(zhǔn)、協(xié)議細(xì)節(jié)化，技術(shù)實(shí)施成本持續(xù)穩(wěn)定。
麥肯錫根據(jù)第四次工業(yè)革命擴(kuò)散的S曲線模型研究發(fā)現(xiàn)，全球燈塔網(wǎng)絡(luò)(Lighthouse Network)中的先驅(qū)企業(yè)在技術(shù)演進(jìn)中呈現(xiàn)顯著特征。這些企業(yè)2018年就處在AI驅(qū)動(dòng)的第四次工業(yè)革命“學(xué)習(xí)”曲線階段，而今年已經(jīng)進(jìn)入到“實(shí)施”階段后期，所以在麥肯錫的描述里能夠相對(duì)快地在工業(yè)生產(chǎn)過(guò)程中構(gòu)建或部署AI用例。
我們理解這也是不同時(shí)期，市場(chǎng)在對(duì)待AI技術(shù)時(shí)賦予其不同名詞稱謂的內(nèi)在邏輯。即便對(duì)于絕大部分企業(yè)而言，或許還遠(yuǎn)未走到Lighthouse所在位置——甚至他們中的絕大部分還將經(jīng)歷“學(xué)習(xí)”階段的一段倒退和試錯(cuò)期(ScalingSlump)，畢竟要讓一項(xiàng)新技術(shù)擴(kuò)展到整個(gè)生產(chǎn)網(wǎng)絡(luò)面臨著各方各面的挑戰(zhàn)。
而現(xiàn)在渡過(guò)了這一時(shí)期的市場(chǎng)參與者將會(huì)真正意義上地定義整個(gè)行業(yè)，乃至率先設(shè)立技術(shù)標(biāo)準(zhǔn)，就像當(dāng)年六西格瑪(Six Sigma)概念那樣。
生成式AI走向邊緣的下一步
2024年11月份的英特爾新質(zhì)生產(chǎn)力技術(shù)生態(tài)大會(huì)上，面壁智能談到過(guò)所謂“模型知識(shí)密度”的概念，即模型能力÷模型參數(shù)。在此概念中，在模型參數(shù)量級(jí)不變的情況下，每8個(gè)月模型能力就會(huì)提升一倍。據(jù)說(shuō)當(dāng)前一個(gè)20億參數(shù)規(guī)模的模型，就已經(jīng)可以達(dá)到前些年1,700億參數(shù)GPT-3的水平。
將這一趨勢(shì)與晶體管尺寸微縮的摩爾定律放在一起，兩條趨勢(shì)相反的曲線在某一點(diǎn)上相交，則意味著在給定更為有限的算力之下，能完成更復(fù)雜的功能。這在我們看來(lái)是大模型走向邊緣的理論依托：即不單是摩爾定律、加速計(jì)算持續(xù)發(fā)展并提升算力，而且AI模型及算法本身也在不斷優(yōu)化。
最終不只是AI PC、AI手機(jī)、AI機(jī)器人，以及更多行業(yè)邊緣能跑生成式AI，低功耗嵌入式應(yīng)用也將獲得生成式AI技術(shù)加成，且已經(jīng)有面向邊緣的AI芯片理論上能夠以低功耗實(shí)現(xiàn)SLM(小語(yǔ)言模型)推理。這讓我們看到了邊緣AI的更多可能性。
圖3：AIoT到邊緣AI的進(jìn)化論
最后仍以Amichai的主題演講對(duì)邊緣AI的價(jià)值做結(jié)：“在工業(yè)系統(tǒng)中，邊緣AI能夠?qū)崿F(xiàn)預(yù)測(cè)性維護(hù)，讓系統(tǒng)更穩(wěn)定、高效，具備成本效益。”比如對(duì)太陽(yáng)能系統(tǒng)而言，“藉由邊緣AI進(jìn)行錯(cuò)誤檢測(cè)，發(fā)現(xiàn)電壓浪涌、在問(wèn)題出現(xiàn)之前就關(guān)閉系統(tǒng)，提升太陽(yáng)能板的安全性。這對(duì)太陽(yáng)能板的廣泛采用很重要，也間接提升了可持續(xù)能源技術(shù)的普及率。”
如我們2023年對(duì)邊緣AI的定義那般，邊緣AI是全社會(huì)數(shù)字化轉(zhuǎn)型走向高級(jí)階段的寫照。所以在《國(guó)際電子商情》的2025市場(chǎng)趨勢(shì)總結(jié)里，筆者也將邊緣AI作為重要議題做了展開：邊緣AI也將半導(dǎo)體全行業(yè)的潛在增長(zhǎng)點(diǎn)長(zhǎng)期存在——即便或許在下一個(gè)5-10年，它可能會(huì)因?yàn)檫M(jìn)入S曲線的新階段而以另一個(gè)新名稱出現(xiàn)。
