中國聯(lián)通AI大模型存算分離技術(shù)實現(xiàn)突破

　　近日，在集團(tuán)公司指導(dǎo)下，中國聯(lián)通研究院與中國聯(lián)通浙江分公司、聯(lián)通服裝制造軍團(tuán)協(xié)同攻關(guān)，針對AI敏感數(shù)據(jù)的本地存儲異地訓(xùn)練需求提出了創(chuàng)新的業(yè)務(wù)模式，并成功在杭州與金華兩地間實施了業(yè)界首次30TB樣本數(shù)據(jù)的跨200公里存算分離拉遠(yuǎn)訓(xùn)練，經(jīng)過實際測算，訓(xùn)練效率高達(dá)97％。本次測試充分驗證了存算分離技術(shù)的安全性、可行性和高效性，為未來AI技術(shù)的發(fā)展提供了新的思路和方向。

　　存算分離技術(shù)是指將存儲數(shù)據(jù)的倉庫和對數(shù)據(jù)進(jìn)行計算的加工廠獨立開來，在訓(xùn)練時直接將數(shù)據(jù)從遠(yuǎn)端存儲設(shè)備中拉過來進(jìn)行計算，而不需要先存儲到本地的磁盤再進(jìn)行處理，可以有效保證用戶數(shù)據(jù)的安全性和一致性。當(dāng)前，AI智算需求旺盛，海量樣本數(shù)據(jù)處理過程中存在兩大挑戰(zhàn)：一是數(shù)據(jù)多存儲于企業(yè)端，部分安全性要求較高的數(shù)據(jù)不便外遷；二是樣本數(shù)據(jù)量激增，AI智算中心需額外配備存儲資源，顯著提升了建設(shè)成本。在此背景下，業(yè)內(nèi)對實現(xiàn)“存算分離拉遠(yuǎn)、樣本隨訓(xùn)隨拉”的需求迫切。

　　作為數(shù)字信息運營服務(wù)國家隊、數(shù)字技術(shù)融合創(chuàng)新排頭兵，中國聯(lián)通針對該需求積極開展算力智聯(lián)網(wǎng)體系架構(gòu)、關(guān)鍵技術(shù)和相關(guān)場景研究，提出了存算分離的創(chuàng)新服務(wù)模式，目前已經(jīng)在ITU推進(jìn)智算領(lǐng)域相關(guān)標(biāo)準(zhǔn)布局工作，在IETF推進(jìn)廣域無損需求和技術(shù)框架研究，同時在CCSA制定了面向智算承載的廣域網(wǎng)能力增強(qiáng)系列標(biāo)準(zhǔn)，聯(lián)合產(chǎn)業(yè)合作伙伴推進(jìn)智算互聯(lián)、廣域無損等核心技術(shù)攻關(guān)。在長距RDMA廣域無損技術(shù)攻關(guān)方面，實現(xiàn)百公里到千公里覆蓋范圍的RDMA遠(yuǎn)距／寫性能提升超過5倍，滿足了NLP模型和CV模型在拉遠(yuǎn)訓(xùn)練中的需求。

　　在聯(lián)通服裝制造軍團(tuán)“衣瞳行業(yè)模型”訓(xùn)練場景中，原始數(shù)據(jù)主要基于服裝多模態(tài)數(shù)據(jù)，很多服裝廠家的服裝數(shù)據(jù)由于產(chǎn)權(quán)保護(hù)不愿公開，基于存算分離的創(chuàng)新訓(xùn)練模式則剛好完美契合了用戶需求。本次存算拉遠(yuǎn)測試驗證包括兩大特色：以跨地市AI大模型訓(xùn)練能力創(chuàng)新重構(gòu)智算訓(xùn)練模式，通過IP廣域無損方案，實現(xiàn)杭州存、金華訓(xùn)的“數(shù)據(jù)不落盤”拉遠(yuǎn)訓(xùn)練；樣本數(shù)據(jù)總量達(dá)30TB，傳輸距離超200公里，計算拉遠(yuǎn)效率大于97％，驗證了技術(shù)可行性，未來有相關(guān)數(shù)據(jù)敏感業(yè)務(wù)需求的用戶，可通過運營商算力服務(wù)完成隱私樣本不出園區(qū)的拉遠(yuǎn)訓(xùn)練，實現(xiàn)成本與安全的最佳平衡。

　　面向未來，中國聯(lián)通將持續(xù)深耕算網(wǎng)技術(shù)創(chuàng)新，通過算力智聯(lián)網(wǎng)研發(fā)建設(shè)，推進(jìn)網(wǎng)絡(luò)向新、技術(shù)向新、服務(wù)向新，持續(xù)提供領(lǐng)先的聯(lián)網(wǎng)通信和算網(wǎng)數(shù)智產(chǎn)品，加速推動以算力和數(shù)據(jù)為核心的新質(zhì)生產(chǎn)力發(fā)展，賦能千行百業(yè)的數(shù)字化轉(zhuǎn)型升級。（記者 連欣）

　　轉(zhuǎn)自：人民郵電報

　　【版權(quán)及免責(zé)聲明】凡本網(wǎng)所屬版權(quán)作品，轉(zhuǎn)載時須獲得授權(quán)并注明來源“中國產(chǎn)業(yè)經(jīng)濟(jì)信息網(wǎng)”，違者本網(wǎng)將保留追究其相關(guān)法律責(zé)任的權(quán)力。凡轉(zhuǎn)載文章及企業(yè)宣傳資訊，僅代表作者個人觀點，不代表本網(wǎng)觀點和立場。版權(quán)事宜請聯(lián)系：010-65363056。

延伸閱讀