基于深度強化學習的VR業(yè)務無人機邊緣算法的應用前景廣闊

　　近年來，5G通信的商用化推動了虛擬現(xiàn)實（Virtual Reality, VR）技術的發(fā)展，為人們提供身臨其境的體驗。隨著VR業(yè)務數(shù)據(jù)流量的顯著增加，用戶設備無法及時處理超大計算量的VR業(yè)務渲染請求，因此難以滿足用戶的低延時需求。為了應對這一挑戰(zhàn)，在無線網(wǎng)絡邊緣部署無人機（Unmanned Aerial Vehicle, UAV）移動邊緣計算（Mobile edge computing, MEC）服務器，提供下沉式計算服務，協(xié)助VR設備實時完成渲染具有重大意義。

　　邊緣計算是5G系統(tǒng)商用化的關鍵技術之一，是一種新型的分布式計算方式，通過在無線接入網(wǎng)處部署邊緣服務器，處理覆蓋范圍內(nèi)的用戶隨機發(fā)起的計算任務，能夠有效地降低了回程網(wǎng)絡擁塞，極大縮短服務時延，滿足延遲敏感型應用的需求。為了及時處理VR應用產(chǎn)生龐大的圖像和視頻數(shù)據(jù)，可以將圖像、視頻數(shù)據(jù)卸載到計算能力較強的邊緣服務器中進行渲染分析處理，從而降低平均處理時延，為保證用戶視覺體驗。除了在VR業(yè)務中的應用前景，移動邊緣計算憑借其低時延、高感知和智能化等特點，在智能駕駛、智慧樓宇和智慧城市領域得到了廣泛的應用。

　　無人機（Unmanned Aerial Vehicle, UAV）在通信領域發(fā)揮了出色的作用，它可以作為空中基站或通信中繼來協(xié)助構(gòu)建立體的無線通信網(wǎng)絡。與傳統(tǒng)地面通信相比，無人機輔助通信可以按需快速部署，特別適用于應急通信保障。同時無人機不僅能夠獲取開闊的視野加大覆蓋率，還能有效的避免障礙物對信號的阻擋，更容易建立可靠的視距通信鏈路。此外，無人機可以搭載MEC服務器就近為用戶提供數(shù)據(jù)計算服務，不僅成本低而且部署更為靈活，同時可以根據(jù)用戶移動性、業(yè)務請求量以及資源分配情況進行動態(tài)調(diào)整，能夠更好得提高用戶體驗質(zhì)量。正因如此，無人機憑借其低成本、部署靈活性、高機動性得到了廣泛的應用。將無人機與5G通信的大帶寬、低時延的特性相結(jié)合，代替人類完成空中作業(yè)，將會擁有在未來有非凡的意義和潛力。目前應用場景常見如：遙感測繪、農(nóng)業(yè)植保、物流運輸、電力巡查和應急救援等。

　　針對VR業(yè)務隨機到達和處理超時無效等特性，來自深圳蜂?？萍迹‵engniu Technology）有限公司研發(fā)總監(jiān)王智杰是國內(nèi)著名VR技術專家，他長期從事人機交互領域的研究，在計算機視覺和交互技術等領域有著卓越的研究成就，并將研究成果應用于跨境電商直播系統(tǒng)的開發(fā)，他創(chuàng)新性地將人臉分析納入計算框架，這一原創(chuàng)貢獻對基于VR技術的無人機（UAV）巡檢系統(tǒng)的研發(fā)產(chǎn)生了積極影響。

　　2022年3月，王智杰提出了單無人機邊緣計算協(xié)助的VR業(yè)務渲染方法。在設備能量約束下，通過聯(lián)合優(yōu)化無人機飛行軌跡和VR渲染模式，最大化VR業(yè)務的渲染完成率，并將這個問題建模為馬爾科夫決策過程。為了找到最優(yōu)策略，在深度強化學習的框架下，他進一步提出了一種基于雙延遲深度確定性策略梯度（Twin Delayed Deep Deterministic Policy Gradient, TD3）的無人機邊緣計算輔助渲染算法。具體而言，王智杰根據(jù)VR用戶位置和設備能量狀態(tài)，對無人機軌跡和VR渲染模式進行優(yōu)化，盡可能滿足隨機到達的VR任務在限定時間內(nèi)渲染要求。仿真結(jié)果表明，該方法在渲染完成率和收斂速度方面均優(yōu)于主流的深度確定性策略梯度（Deep Deterministic Policy Gradient, DDPG）和軟動作評價（Soft Actor-Critic, SAC）等強化學習算法以及隨機控制策略。

圖1：基于強化學習算法和隨機策略的收斂性

　　首先遠程渲染是把每個設備的所有VR任務都被卸載到無人機上進行渲染。遠程&本地渲染表示每個VR任務在設備上進行本地處理或在無人機MEC服務器上進行遠程渲染。在王智杰提出的算法中有四種VR渲染模式：本地、遠程、合作渲染和無渲染用來處理VR任務。當可以選擇更多的VR渲染方式時收斂速度會變慢，其中遠程渲染的算法具有最快的收斂速度，而所提的算法收斂速度最慢，原因在于當有多種VR渲染模式選擇時，動作空間的維度會明顯增大，但有利于VR渲染的完成率提高。在仿真中本地&遠程渲染模式的算法在收斂后幾乎達到了與他提出的算法相同的完成率。事實上，王智杰提出的算法能適應更復雜的場景如：無人機計算能力較低或更多的VR設備的場景，從而填補了行業(yè)應用和研究的空白。

　　2023年8月，為了適應于由云端、多無人機和地面VR用戶節(jié)點組成的更復雜的網(wǎng)絡環(huán)境， 王智杰建立了無人機輔助通信系統(tǒng)架構(gòu)（UAV assisted communication system architecture），首次在行業(yè)提出了基于多智能體深度確定性策略梯度（Multi-Agent Deep Deterministic Policy Gradient, MADDPG）的多無人機輔助的VR業(yè)務實時渲染算法，他采用集中訓練和分布式執(zhí)行的思想，在集中訓練階段根據(jù)全局信息學習到最優(yōu)的策略，在分布式執(zhí)行階段每個智能體能夠利用對系統(tǒng)的局部觀察信息快速做出獨立的決策，合作完成隨機到達的VR任務實時渲染的要求，最大化總的渲染完成率。仿真結(jié)果表明，所提方法在渲染完成率和算法收斂速度等方面優(yōu)于基線策略，在大網(wǎng)絡規(guī)模情況下將VR業(yè)務的渲染完成率提升到95%，遠高于行業(yè)水平。

圖2：無人機輔助通信系統(tǒng)架構(gòu)（UAV assisted communication system architecture）

圖3：VR渲染模型系統(tǒng)（VR rendering system model）

　　在當今的技術飛速發(fā)展的時代，無人機和虛擬現(xiàn)實技術的進步為人們提供了前所未有的技術革新，這兩個技術的結(jié)合為人們創(chuàng)造出了一個無限延伸的數(shù)字空間，能夠讓人們?nèi)硇牡爻两诟叨确抡娴膱鼍爸??？偟膩碚f，無人機和 VR 技術的結(jié)合為人們帶來了新的奇妙數(shù)字空間，為各行各業(yè)帶來了前所未有的便利和效率。未來，我們相信這兩種技術都將繼續(xù)不斷創(chuàng)新和發(fā)展，并且我們有理由相信，它們已經(jīng)成為了我們?nèi)粘Ｉ钪胁豢扇鄙俚闹匾夹g。（作者：徐振生）

　　轉(zhuǎn)自：中國網(wǎng)

　　【版權及免責聲明】凡本網(wǎng)所屬版權作品，轉(zhuǎn)載時須獲得授權并注明來源“中國產(chǎn)業(yè)經(jīng)濟信息網(wǎng)”，違者本網(wǎng)將保留追究其相關法律責任的權力。凡轉(zhuǎn)載文章及企業(yè)宣傳資訊，僅代表作者個人觀點，不代表本網(wǎng)觀點和立場。版權事宜請聯(lián)系：010-65363056。

延伸閱讀