誒？這是《老友記》流出未公開(kāi)鏡頭了？

(資料圖)

還是“子彈時(shí)間”特效那種？

只見(jiàn)人物定格的一瞬，機(jī)位絲滑運(yùn)動(dòng)，一個(gè)多角度全方位的廚房出現(xiàn)在了眼前，仿佛我人就站在現(xiàn)場(chǎng)啊。

要知道，在正片里其實(shí)只有這兩幅畫(huà)面：

沒(méi)錯(cuò)，又是AI在搞“魔法”。

在看了《老友記》之后，AI能直接還原出宛如真實(shí)現(xiàn)場(chǎng)的3D場(chǎng)景，補(bǔ)足兩個(gè)切換畫(huà)面之間人物在不同角度時(shí)的姿態(tài)。

沒(méi)拍過(guò)的角度畫(huà)面，它都能重建出來(lái)。

還能把一個(gè)近景鏡頭，變成大遠(yuǎn)景。

乍一眼看去，真的很難分辨出生成效果其實(shí)是完全捏造的。

“以后電視劇補(bǔ)拍鏡頭都省了？”

這就是由UC伯克利大學(xué)研究人員提出的重建3D人物和環(huán)境的新方法。

網(wǎng)友看后腦洞大開(kāi)：

可能不出10年，你就能把自己的VR形象放到自己喜歡的節(jié)目里了。

目前，該方法已被ECCV 2022接收。

專(zhuān)門(mén)針對(duì)電視劇場(chǎng)景重建

研究人員表示，這次提出的新方法就是專(zhuān)門(mén)針對(duì)電視劇場(chǎng)景的。

除了《老友記》外，他們還3D重建了《生活大爆炸》等7個(gè)電視劇的場(chǎng)景。

要知道，使用單個(gè)視頻來(lái)重建3D場(chǎng)景的難度其實(shí)還很高，但是電視劇中往往是同一場(chǎng)景拍下了多個(gè)畫(huà)面，這為AI學(xué)習(xí)提供了非常豐富的圖像資料。

本文方法能夠在整季劇集中自動(dòng)運(yùn)行，計(jì)算出各個(gè)鏡頭的攝像機(jī)位置信息、靜態(tài)三維場(chǎng)景結(jié)構(gòu)和人物身體信息，然后將他們整合計(jì)算成一個(gè)3D場(chǎng)景來(lái)。

具體來(lái)看，該方法主要分為處理場(chǎng)景信息人物信息兩方面。

場(chǎng)景上，基于不同畫(huà)面，該方法通過(guò)SfM（Structure-from-Motion）來(lái)估計(jì)出拍攝時(shí)攝像機(jī)的位置。

這種方法是指在只有單個(gè)攝像機(jī)的情況下，通過(guò)分析攝像機(jī)移動(dòng)時(shí)拍到的場(chǎng)景來(lái)確定3D場(chǎng)景信息。

然后通過(guò)分析攝像機(jī)與人物之間的位置關(guān)系，以此確定出人物所在的區(qū)域，然后將兩個(gè)不同角度的畫(huà)面整合分析，進(jìn)行三角定位，以此確定人物的真正位置。

之后，利用NeRF來(lái)重建出細(xì)致的3D場(chǎng)景信息。

神經(jīng)渲染輻射場(chǎng)可以將場(chǎng)景的體積表示優(yōu)化為向量函數(shù)，該函數(shù)由位置和視圖方向組成的連續(xù)5D坐標(biāo)定義。

也就是沿著相機(jī)射線采樣5D坐標(biāo)，以此合成圖像。

接下來(lái)，就是處理場(chǎng)景中人物信息方面。

針對(duì)多鏡頭情況下，在確定好人物所在位置后，使用NeRF就能直接重建出人體3D信息。

而如果是單鏡頭情況，就需要利用上下幀畫(huà)面中人體姿勢(shì)的變化、攝像機(jī)位置和環(huán)境結(jié)構(gòu)信息來(lái)進(jìn)行重建。

從實(shí)驗(yàn)結(jié)果中可以看到，該方法最終可以綜合得到的3D信息，重新渲染出一個(gè)新的畫(huà)面。

在消融實(shí)驗(yàn)中，如果沒(méi)有確定攝像機(jī)、人物的特征信息，最終得到的結(jié)果也都不盡如人意。

并且，研究人員還對(duì)得到的場(chǎng)景進(jìn)行了數(shù)據(jù)分析，包括相機(jī)距離、人物位置分布。

還提供了編輯選項(xiàng)，可以刪除或插入選定對(duì)象。

目前，該團(tuán)隊(duì)已將代碼和論文數(shù)據(jù)開(kāi)源。

研究團(tuán)隊(duì)來(lái)自UC伯克利大學(xué)人工智能研究實(shí)驗(yàn)室。

作者表示，本文方法在電影、體育節(jié)目等領(lǐng)域同樣適用。

關(guān)鍵詞：