虛擬成像在未來發(fā)展的可能性？

下面以關(guān)鍵技術(shù)虛擬現(xiàn)實(shí)發(fā)展趨勢來作為解答：

（1）現(xiàn)階段技術(shù)發(fā)展進(jìn)程處于部分沉浸期

業(yè)界對虛擬現(xiàn)實(shí)的界定認(rèn)知由特定終端設(shè)備向聯(lián)通端管云產(chǎn)業(yè)鏈條的沉浸體驗(yàn)演變。參考國際上自動駕駛汽車智能化程度分級以及對《虛擬（增強(qiáng)）現(xiàn)實(shí)白皮書（2017年）》中分級標(biāo)準(zhǔn)修訂增補(bǔ)，將虛擬現(xiàn)實(shí)技術(shù)發(fā)展劃分為如下五個(gè)階段，不同發(fā)展階段對應(yīng)相應(yīng)體驗(yàn)層次，目前處于部分沉浸期，主要表現(xiàn)為1.5K-2K單眼分辨率、100-120度視場角、百兆碼率、20毫秒MTP時(shí)延、4K/90幀率渲染處理能力、由內(nèi)向外的追蹤定位與沉浸聲等技術(shù)指標(biāo)。

圖表1：虛擬現(xiàn)實(shí)沉浸體驗(yàn)階梯

資料來源：中國信通院

（2）近眼顯示：變焦顯示與光波導(dǎo)成為熱點(diǎn)，顯示計(jì)算化初見端倪

相比虛擬現(xiàn)實(shí)技術(shù)體系中的其他領(lǐng)域，近眼顯示技術(shù)軌道呈現(xiàn)螺旋上升的發(fā)展態(tài)勢，即近眼顯示關(guān)鍵體驗(yàn)指標(biāo)間的權(quán)衡取舍與VR/AR的差異化功能定位成為推動各類近眼顯示技術(shù)演進(jìn)突破的主要?jiǎng)右?。其中，高角分辨率、廣視場角、可變焦顯示成為核心發(fā)展方向，VR近眼顯示技術(shù)側(cè)重提高視覺沉浸體驗(yàn)的發(fā)展路線，AR側(cè)重低功耗、全天可佩戴、外觀輕便的近眼顯示發(fā)展路線。借鑒Gartner技術(shù)成熟度曲線呈現(xiàn)形式，分析總結(jié)如下各類近眼顯示技術(shù)產(chǎn)業(yè)化進(jìn)程。

圖表2：虛擬現(xiàn)實(shí)近眼顯示技術(shù)產(chǎn)業(yè)化進(jìn)程

資料來源：中國信通院

（3）渲染處理：注視點(diǎn)渲染與混合渲染快速升溫，端云協(xié)同、軟硬耦合的精細(xì)化渲染成為趨勢

渲染處理領(lǐng)域的主要矛盾表現(xiàn)為用戶更高的體驗(yàn)需求與渲染能力的不足。當(dāng)前，面向虛擬現(xiàn)實(shí)的渲染處理面臨著“小馬拉大車，既要馬兒吃得少，又要跑得快”的技術(shù)挑戰(zhàn)。

首先，相比主流游戲畫面渲染與電影制作渲染的負(fù)載要求，時(shí)下虛擬現(xiàn)實(shí)渲染負(fù)載（部分沉浸體驗(yàn)級PI）將分別提高七倍與兩倍，相當(dāng)于4K超高清電視每秒像素吞吐量。若以完全沉浸級FI乃至附帶現(xiàn)有電影視覺保真度為渲染目標(biāo)，虛擬現(xiàn)實(shí)渲染負(fù)載將在PI水平上再分別提高五十倍甚至數(shù)十萬倍。

其次，為獲得即時(shí)反饋，傳統(tǒng)視頻游戲用戶交互延遲須低于150ms，而虛擬現(xiàn)實(shí)MTP時(shí)延要求低于20ms。

最后，對于移動平臺固有的功耗約束，虛擬現(xiàn)實(shí)渲染處理領(lǐng)域所面臨的技術(shù)挑戰(zhàn)正在進(jìn)一步放大。因此，更優(yōu)的靜態(tài)畫質(zhì)、視覺保真度、渲染時(shí)延與功耗開銷成為該領(lǐng)域的技術(shù)動因。雖然可以通過堆疊算力來提高渲染質(zhì)量，但這一不具備成本經(jīng)濟(jì)性的技術(shù)路線將遲滯虛擬現(xiàn)實(shí)產(chǎn)業(yè)發(fā)展。目前，業(yè)界聚焦面向虛擬現(xiàn)實(shí)的注視點(diǎn)渲染、深度學(xué)習(xí)渲染與混合云渲染等熱點(diǎn)領(lǐng)域，旨在探索軟硬耦合的精細(xì)化渲染之路。

圖表3：虛擬現(xiàn)實(shí)渲染處理技術(shù)產(chǎn)業(yè)化進(jìn)程

資料來源：中國信通院

（4）網(wǎng)絡(luò)傳輸：網(wǎng)聯(lián)式云化虛擬現(xiàn)實(shí)加速發(fā)展，5G賦能云VR

與近眼顯示領(lǐng)域不同，面向虛擬現(xiàn)實(shí)的網(wǎng)絡(luò)傳輸強(qiáng)調(diào)基于既定技術(shù)發(fā)展軌道的“微創(chuàng)新”，即針對虛擬現(xiàn)實(shí)帶寬、時(shí)延雙敏感的業(yè)務(wù)特性，優(yōu)化適配各類網(wǎng)絡(luò)傳輸技術(shù)，彌合潛在技術(shù)斷點(diǎn)，打破當(dāng)前“單機(jī)版”的發(fā)展定勢，探索網(wǎng)聯(lián)式云化虛擬現(xiàn)實(shí)技術(shù)路徑，旨在保證不斷進(jìn)階視覺沉浸性與內(nèi)容交互性的同時(shí)，著力提升用戶使用移動性，降低大眾軟硬件購置成本，加速虛擬現(xiàn)實(shí)普及推廣。與VR相比，由于AR側(cè)重與真實(shí)環(huán)境的人機(jī)交互，須將攝像頭捕捉到的圖片/視頻上傳云端，云端實(shí)時(shí)下載需要增強(qiáng)疊加顯示的虛擬信息，因此需求更多的上行帶寬。鑒于虛擬現(xiàn)實(shí)網(wǎng)絡(luò)傳輸涉及接入網(wǎng)、承載網(wǎng)、數(shù)據(jù)中心、網(wǎng)絡(luò)運(yùn)維與監(jiān)控及投影、編碼壓縮等技術(shù)領(lǐng)域，有關(guān)技術(shù)產(chǎn)業(yè)化進(jìn)程如下。

圖表4：虛擬現(xiàn)實(shí)網(wǎng)絡(luò)傳輸技術(shù)產(chǎn)業(yè)化進(jìn)程

資料來源：中國信通院

（5）感知交互：眼球追蹤成為焦點(diǎn)，多感官交互技術(shù)路徑多元化

感知交互強(qiáng)調(diào)與近眼顯示、渲染處理與網(wǎng)絡(luò)傳輸?shù)鹊募夹g(shù)協(xié)同，通過提高視覺、觸覺、聽覺等多感官通道的一致性體驗(yàn)，以及環(huán)境理解的準(zhǔn)確程度，實(shí)現(xiàn)虛擬現(xiàn)實(shí)“感”、“知”能力的持續(xù)進(jìn)化。當(dāng)前，由內(nèi)向外的空間位置跟蹤已取代由外向內(nèi)的技術(shù)路線，成為主流定位跟蹤技術(shù)。繼此之后，眼球追蹤有望成為虛擬現(xiàn)實(shí)感知交互領(lǐng)域最為重要的發(fā)展方向之一，鑒于該技術(shù)與其他重點(diǎn)領(lǐng)域的融合創(chuàng)新潛力，業(yè)界對眼球追蹤的研討焦點(diǎn)已由兩年前是否具備落地價(jià)值轉(zhuǎn)變?yōu)楹螘r(shí)能夠落地。此外，感知交互技術(shù)在VR、AR領(lǐng)域的發(fā)展路線有所差異，就VR而言，側(cè)重于多感覺通道交互。由于虛擬信息覆蓋整個(gè)視野，重點(diǎn)在于現(xiàn)實(shí)交互信息的虛擬化。對于AR而言，由于大部分的視野中呈現(xiàn)現(xiàn)實(shí)場景，感知交互側(cè)重于基于機(jī)器視覺的環(huán)境理解。

圖表5：虛擬現(xiàn)實(shí)感知交互技術(shù)產(chǎn)業(yè)化進(jìn)程

資料來源：中國信通院

（6）內(nèi)容制作：內(nèi)容交互性不斷提高，助推媒體采編播創(chuàng)新

作為新一代人機(jī)交互界面，虛擬現(xiàn)實(shí)契合時(shí)下新媒體所追求視覺沉浸感與用戶交互性的發(fā)展趨勢。虛擬現(xiàn)實(shí)內(nèi)容制作技術(shù)開始廣泛應(yīng)用于紐約時(shí)報(bào)與CNN等紙媒電視、YouTube與愛奇藝等互聯(lián)網(wǎng)視頻平臺、Verizon與中國移動等電信運(yùn)營商視頻網(wǎng)絡(luò)，并在“采、編、播”環(huán)節(jié)注入了創(chuàng)新活力。

內(nèi)容采集環(huán)節(jié)，由于虛擬現(xiàn)實(shí)可提供360度、720度的全景視頻，雙目、陣列乃至光場式VR相機(jī)取代了傳統(tǒng)畫面視角受限的單目攝影機(jī)，可采集4K-12K全景分辨率的3D視頻內(nèi)容。此外，由于360度無死角拍攝，編導(dǎo)與攝影師等工作人員站位、觀眾視覺興趣點(diǎn)引導(dǎo)、多相機(jī)同步控制等新問題對內(nèi)容采集帶來挑戰(zhàn)。

內(nèi)容編輯環(huán)節(jié)，由于虛擬現(xiàn)實(shí)相機(jī)涉及多鏡頭同時(shí)拍攝，從而產(chǎn)生出視頻間精準(zhǔn)拼接縫合這一全新內(nèi)容編輯技術(shù)。根據(jù)實(shí)現(xiàn)方式的不同，可分為實(shí)時(shí)、離線拼接與自動、手動拼接等。英偉達(dá)近期推出其拼接編輯軟件VRWorks360，可實(shí)現(xiàn)單一VR相機(jī)中多達(dá)32個(gè)拍攝鏡頭的跨平臺的實(shí)時(shí)拼接。此外，由于虛擬現(xiàn)實(shí)強(qiáng)調(diào)觀眾沉浸感與互動性，在內(nèi)容制作方面開展了相關(guān)基于后期特效合成的微創(chuàng)新。例如，在既有真實(shí)拍攝內(nèi)容上，基于機(jī)器視覺與三位建模，引入觀眾虛擬化身參與其中。同時(shí)，通過3D沉浸聲、混合云渲染等方式附加高保真的虛擬圖像，從而實(shí)現(xiàn)內(nèi)容制作的“虛實(shí)融合”。

內(nèi)容播放環(huán)節(jié)，由于虛擬現(xiàn)實(shí)需要解決如何將內(nèi)容編制時(shí)的平面媒體格式轉(zhuǎn)化為用戶最終看到的全景球面視頻，因此運(yùn)用了傳統(tǒng)視頻沒有涉及的投影技術(shù)。其中，等角投影是YouTube、愛奇藝等采用的主流技術(shù)，但存在畫質(zhì)失真、壓縮效率低等問題，多面體投影成為發(fā)展方向。此外，現(xiàn)有操作系統(tǒng)需要優(yōu)化創(chuàng)新以適配虛擬現(xiàn)實(shí)內(nèi)容應(yīng)用的體驗(yàn)要求。

圖表6：虛擬現(xiàn)實(shí)內(nèi)容制作技術(shù)產(chǎn)業(yè)化進(jìn)程

資料來源：中國信通院