手持一部5G手機(jī)，點(diǎn)開應(yīng)用程序，手指觸動(dòng)屏幕的瞬間，國家體育館里冰球賽場(chǎng)的實(shí)時(shí)畫面就像電影《黑客帝國》中子彈時(shí)間的特技般沖擊你的眼球。

不論在哪個(gè)角落，只需在5G環(huán)境下，自由交互式技術(shù)可實(shí)時(shí)提供冬奧賽場(chǎng)的比賽畫面，并實(shí)現(xiàn)任意視角的自由觀賽。4月3日正是“相約北京”冰上項(xiàng)目測(cè)試時(shí)間，在北京大學(xué)前沿計(jì)算研究中心采訪的科技日?qǐng)?bào)記者親身感受了一次“異地自主觀賽”的神奇。

國家重點(diǎn)研發(fā)計(jì)劃“科技冬奧”重點(diǎn)專項(xiàng)——冰雪項(xiàng)目交互式多維度觀賽體驗(yàn)技術(shù)與系統(tǒng)項(xiàng)目負(fù)責(zé)人、北京大學(xué)博雅特聘教授陳寶權(quán)告訴記者，如果項(xiàng)目成果在冬奧會(huì)期間得以應(yīng)用，屆時(shí)即便不在冬奧比賽現(xiàn)場(chǎng)，新型觀賽技術(shù)也能讓觀眾體驗(yàn)別致的“身臨其境”，甚至?xí)仍诂F(xiàn)場(chǎng)獲得更自由的觀賽體驗(yàn)。

5G高速公路上的“花式”飆車

直播延時(shí)30秒，畫面實(shí)現(xiàn)1080P高清圖像，在自由交互觀賽的多功能體驗(yàn)中，上述鏡頭效果得以實(shí)現(xiàn)，是5G網(wǎng)絡(luò)與8K技術(shù)提供了基礎(chǔ)支撐。

“就像在5G高速公路上進(jìn)行‘花式’飆車?！标悓殭?quán)表示，與傳統(tǒng)單獨(dú)視點(diǎn)的視頻傳輸相比，自由交互的多視點(diǎn)傳輸在數(shù)據(jù)容量上是數(shù)倍甚至數(shù)量級(jí)的提高。

在國家體育館內(nèi)，項(xiàng)目組實(shí)現(xiàn)40余個(gè)相機(jī)的陣列分布、四分之三場(chǎng)地視頻覆蓋，“多媒體鏈路和編解碼傳輸，都是在8K分辨率下進(jìn)行的?！薄白杂梢暯恰毕到y(tǒng)課題負(fù)責(zé)人盛驍杰告訴記者，隨著視點(diǎn)自由度的提高，瞬間傳播的數(shù)據(jù)量變得巨大，對(duì)分辨率的要求自然就會(huì)提高。

2021年的春節(jié)聯(lián)歡晚會(huì)實(shí)現(xiàn)8K高清試播，從內(nèi)容編解碼到信號(hào)傳輸實(shí)現(xiàn)了革命式變化。

自由交互式觀賽則實(shí)現(xiàn)了另一種革命式變化——利用8K能力，在內(nèi)容上提供了一個(gè)交互式自由視點(diǎn)的展示與觀看。

“聰明大腦”設(shè)計(jì)一條高效計(jì)算的便捷傳輸路

從場(chǎng)館圖像數(shù)據(jù)采集到街道任意角落實(shí)時(shí)觀看，一個(gè)端到端的解決方案清晰可見，這正是整個(gè)項(xiàng)目的難點(diǎn)和亮點(diǎn)。

現(xiàn)場(chǎng)圖像拍攝后送往云端，場(chǎng)館與比賽信息被三維重建，再通過編碼與解碼提供給觀眾“自由視點(diǎn)”觀看體驗(yàn)。然而，只有40余臺(tái)相機(jī)分布在210米的U形場(chǎng)地內(nèi)，每臺(tái)相機(jī)間隔近5米，將如何提供全場(chǎng)域的無縫自由視點(diǎn)？

項(xiàng)目組為其配置一個(gè)“聰明大腦”。首先，通過三維重建讓新視點(diǎn)的合成變得可能；然后，自適應(yīng)編碼與傳輸技術(shù)，根據(jù)用戶視點(diǎn)改變的意圖來預(yù)測(cè)下一步趨勢(shì)，進(jìn)行有針對(duì)性的計(jì)算與數(shù)據(jù)傳送?！巴ㄟ^實(shí)時(shí)預(yù)測(cè)，避免了簡(jiǎn)單粗暴的計(jì)算與數(shù)據(jù)傳輸，也保證了8K數(shù)據(jù)的高效供給用在流暢觀看這個(gè)剛性需求的‘刀刃’上?！标悓殭?quán)說。

除此之外，在自由觀賽的時(shí)候，往往會(huì)有精彩的進(jìn)球瞬間和猛烈的肢體碰撞不經(jīng)意間溜進(jìn)你的視線。這是因?yàn)?，在賽事轉(zhuǎn)播前，針對(duì)比賽的競(jìng)技特點(diǎn)，系統(tǒng)對(duì)場(chǎng)景進(jìn)行了推演預(yù)判，一個(gè)鏡頭軌跡的規(guī)劃早早布置在系統(tǒng)之內(nèi)?！皵?shù)字孿生推演系統(tǒng)就像比賽現(xiàn)場(chǎng)的導(dǎo)演一樣。”陳寶權(quán)表示，系統(tǒng)會(huì)在隨機(jī)變化的冰球比賽中計(jì)算有效的視點(diǎn)軌跡并合成相應(yīng)視點(diǎn)內(nèi)容，將比賽.精彩的鏡頭實(shí)時(shí)計(jì)算出來推送給觀眾。

直通尋常百姓的.后一公里

“無特殊的裝備，也無專用帶寬，僅憑5G手機(jī)配合5G網(wǎng)絡(luò)，用戶就可以實(shí)現(xiàn)高質(zhì)量的交互式觀賽，使交互式VR技術(shù)直通到尋常百姓的手中。”盛驍杰進(jìn)一步介紹項(xiàng)目的特點(diǎn)：數(shù)字化制作的內(nèi)容可以有機(jī)地融合到比賽場(chǎng)景當(dāng)中，實(shí)現(xiàn)賽事內(nèi)容的增強(qiáng)。

進(jìn)球軌跡以一條紅線展示，運(yùn)動(dòng)員的姓名直接顯示于他的頭頂……在傳統(tǒng)轉(zhuǎn)播中以單頁插播方式提示的信息，現(xiàn)在可以直接嵌入到實(shí)時(shí)動(dòng)態(tài)的場(chǎng)景之中。

走進(jìn)百姓應(yīng)用的.后一公里，內(nèi)容的高效生成是關(guān)鍵。陳寶權(quán)表示，項(xiàng)目組將在冬奧開幕前.后10個(gè)月左右的時(shí)間，聚焦冬奧場(chǎng)景現(xiàn)實(shí)需求，抓緊技術(shù)攻關(guān)，不斷提高在轉(zhuǎn)播呈現(xiàn)與交互使用上提供優(yōu)質(zhì)內(nèi)容輸出的能力。