閃存破壁AI算力，群聯(lián)aiDAPTIV+引爆邊緣智能普惠化
猶記得，在去年3月CFMS MemoryS上，群聯(lián)電子執(zhí)行長潘健成向業(yè)界介紹aiDAPTIV+時，市面上AI大模型一體機還沒有像如今這般盛行。那時，千億級參數(shù)模型的單次訓練成本動則數(shù)千萬人民幣，巨額的訓練成本已經(jīng)深入人心。當時，大家并不相信低成本方案能滿足模型訓練的需求，故而這類方案也未得到太多的市場反響。
群聯(lián)電子執(zhí)行長潘健成
令人意外的是，2025年初DeepSeek-R1模型爆火，社會各界開始關注起其背后的公司。DeepSeek公司通過DualPipe(一種創(chuàng)新雙向流水線并行算法)、分層壓縮引擎等算法革新和硬件協(xié)同優(yōu)化，將模型訓練的算力需求降低了46%-82%，模型推理算力消耗減少了97%，并推動單位算力效率提升3倍以上。所以，在此基礎上低成本方案就變得切實可行，即使是預算有限的中小企業(yè)也可以夠得著AI模型訓練的門檻。
在今年的CFMS MemoryS上，潘健成再次介紹了aiDAPTIV+。這是群聯(lián)電子通過將閃存、SSD與GPU結合，開發(fā)出的一種成本效益高的AI模型訓練解決方案。它使用了4片英偉達RTX 4090 GPU，搭配特制的SSD(也即aiDAPTIVCache)和軟件，就可以用2至10萬美金的成本來實現(xiàn)原本200萬美金的AI模型微調運算能力，該方案被潘健成稱為“平民的AI訓練方案”。
aiDAPTIV+：把閃存當作內存使用
艾媒咨詢(iiMedia Research)《2024-2025年中國AI大模型市場現(xiàn)狀及發(fā)展趨勢研究報告》顯示，2024年中國AI大模型市場規(guī)模約為294.16億元，預計2026年將突破700億元。由此可見，中國AI大模型行業(yè)正處于快速增長期。
自今年Q1開始，在各種行業(yè)峰會、研討會上，“AI大模型推理一體機”成為了廠商力推的重磅產(chǎn)品。針對醫(yī)療、金融等垂直領域，已經(jīng)有廠商將DeepSeek-V3等多模態(tài)大模型與推理優(yōu)化引擎集成于AI推理一體機，讓企業(yè)無需自建算力集群即可部署AI應用。
圖1：aiDAPTIV+支持更高的參數(shù)量 圖片來源：群聯(lián)電子
而aiDAPTIV+的推出，要比今年雨后春筍般冒出的AI一體機更早，而且群聯(lián)的aiDAPTIV+方案是同時支持AI模型微調訓練與推理的“推訓一體機”，對于地端邊緣AI的訂制化導入又更佳的便捷，更重要的是成本為一般的中小企業(yè)均可負擔。潘健成在去年Q1就已經(jīng)在公開演講中分享該方案。根據(jù)他的介紹，aiDAPTIV+是面向AI訓練的解決方案，該方案可在一臺4卡工作站平臺中完成Llama 70b模型的微調訓練，容納顯存總量7倍以上的數(shù)據(jù)。
圖2：群聯(lián)電子aiDAPTIV+AI訓練架構與傳統(tǒng)AI訓練架構對比 圖片來源：群聯(lián)電子
同時，aiDAPTIV+包含的中間件軟件庫(Middleware) 可將GPU顯存中不活躍的AI模型層切片分離，在aiDAPTIVCache緩存固態(tài)硬盤(SSD)上暫放待處理的這些切片，并將GPU上已完成的部分與待處理的切片交換。此過程無需對AI應用本身進行修改。用通俗的話來解釋，也即是“aiDAPTIV+是讓GPU可以用NAND作為內存使用”。
在傳統(tǒng)的AI訓練架構中，模型權重(指模型中每個神經(jīng)元連接的參數(shù))需全部加載至HBM，以支持高頻次計算，但隨著AI模型的參數(shù)量越來越大，也就需要更多的HBM來滿足需求，這也意味著更多的訓練成本。aiDAPTIV+可以讓GPU+HBM+DRAM+NAND Flash來做GPU AI運算的電腦架構。該技術本質是通過多級存儲的動態(tài)調度，將NAND Flash納入AI計算的數(shù)據(jù)鏈路，并與HBM、DRAM形成互補，從而突破傳統(tǒng)架構的內存限制。
隨著AI應用迅速向邊緣端發(fā)展。DeepSeek的出現(xiàn)降低了大模型成本，繼而推動了這一趨勢。然而，未經(jīng)微調的DeepSeek模型可能會給出不準確的回答，對模型進行微調是必要的。個人和企業(yè)手中的數(shù)據(jù)量非常大，且這些數(shù)據(jù)不會輕易上傳到網(wǎng)絡，需要把AI服務器放在本地并進行定制化處理。潘健成表示，這促使了群聯(lián)電子將AI訓練器件做得更便宜，以期讓每一個普通人與“產(chǎn)官學”單位(指由企業(yè)、政府和大學/科研機構組成的合作單位)都能擁有自己專屬的AI設備與AI助理服務。
具體來看，服務器方案的成本進一步降低，使得用戶可以購買較為可負擔的GPU盤來運行群聯(lián)電子的AI方案。這不僅改變了用戶的使用習慣，還增加了對NAND(aiDAPTIVCache與企業(yè)級SSD)的需求。隨著AI在企業(yè)端的應用增加，NAND需求也將持續(xù)增長，消化這些需求則要很長時間。“邊緣端AI的發(fā)展將給企業(yè)級SSD帶來巨大的存儲需求，如果國內100萬家企業(yè)各部署1-2臺AI一體機，其能夠帶來的SSD(aiDAPTIVCache)需求也相當龐大。另外，隨著數(shù)據(jù)的快速積累，SSD的存儲需求也會持續(xù)增加，”潘健成指出。
售價僅需2.5萬元的AITPC
過去一年多，群聯(lián)電子致力于將NAND與AI結合，以降低AI應用成本。雖然此前大家認為NAND與AI的直接關聯(lián)不大，但公司已找到一種將二者結合的方法，并在此基礎上實現(xiàn)成本平價化——讓AI服務器或AI工作站可在家安裝，同時具備訓練和推理能力。
圖3：群聯(lián)電子的AITPC(人工智能訓練電腦)
為了盡快推動aiDAPTIV+落地，以及幫助學生去學習“如何訓練AI模型”而非只是“使用AI推理”，群聯(lián)電子推出了AITPC(人工智能訓練電腦; AI Training PC)。AITPC售價2.5萬元人民幣起，它基于傳統(tǒng)臺式機和顯卡結構，無需更換硬件，只需簡單集成，即可實現(xiàn)AI模型微調訓練功能。其最大好處是——無需改變現(xiàn)有生態(tài)鏈，主板、顯卡等硬件無需更換，只需在傳統(tǒng)臺式機上增加特定結構。用戶只需在現(xiàn)有設備上進行簡單操作就可完成升級。
升級后的設備可以用于AI訓練和推理。在教育領域，AITPC為學生提供了實踐一人一機的AI模型訓練實際操作演練的機會，使他們能夠更好地學習和理解AI的應用，更重要的是，學生可以學會如何在邊緣地端微調訓練AI模型，為特定的AI應用場景打造更合適的AI服務。此外，該設備也有助于推動AI技術的普及，讓更多人能夠接觸和使用AI技術，促進相關技能的提升和創(chuàng)新。
針對最近各種AI一體機爆火的現(xiàn)狀，潘健成評價道，邊緣端AI一體機的工作方向非常正確，群聯(lián)電子的aiDAPTIV+經(jīng)過近1年9個月的開發(fā)，已從最初只提供硬件和中間軟件，發(fā)展到如今涵蓋更廣泛的軟件服務和功能。盡管在初期該方案的市場反應冷淡，絕大多數(shù)是因為企業(yè)端的AI專業(yè)人才不足，不知從何入門，但隨著DeepSeek的爆火，市場開始認可低成本AI方案的可行性。如今，一些中國大陸企業(yè)在紛紛跟進。
據(jù)介紹，群聯(lián)電子已經(jīng)著手與國內的合作伙伴共同開發(fā)AI一體機。目前，銓興科技聯(lián)合浪潮云，發(fā)表預置DeepSeek-R1和DeepSeek-V3模型的海若一體機，率先實現(xiàn)671B滿血版DeepSeek大模型單機服務，為政企客戶提供大模型智能應用落地的一體化解決方案。銓興科技的AI一體機正是基于群聯(lián)電子的aiDAPTIV+技術的共同開發(fā)方案。
AI驅動效率革新與產(chǎn)業(yè)合作
除此之外，群聯(lián)電子也基于自己的AI一體機方案開發(fā)了Phison Code Pilot，幫助公司研發(fā)工程師員工提升工作效率。比如，在為美光開發(fā)汽車SSD主控項目中，群聯(lián)電子的工程師需編寫技術文件，其中涉及到16,000行程序碼，若用傳統(tǒng)方式需20人連續(xù)工作17周，而使用AI，在同樣人力的情況下僅需兩周；又如，在主控設計開發(fā)中，群聯(lián)電子通過引入AI技術，減輕人力資源負擔，并顯著提高效率，在第一階段已節(jié)省10%人力，未來將繼續(xù)開發(fā)第二、第三階段。
通過以上實踐，群聯(lián)電子展示了AI技術在提高效率、降低成本和推動創(chuàng)新方面的巨大潛力，為行業(yè)的發(fā)展提供了寶貴的經(jīng)驗和啟示。在此基礎上，潘健成呼吁更多志同道合的人加入合作，共同創(chuàng)造美好的邊緣端AI應用。他強調說，AI產(chǎn)業(yè)廣闊，需要軟件公司、系統(tǒng)集成公司、硬件公司和經(jīng)銷商等共同努力，共同實踐AI普及夢。
