面向電影人的新資源，《曼達洛人》虛擬制作詳解

時間：2020.09.11 來源：人民日報客戶端作者：影視工業(yè)網(wǎng)

作為Disney+的開篇之作，《曼達洛人》第一季制作成本共計1.2億美金，共八集，每集成本1500萬美金。舍得投入，其效果自然不錯。在口碑方面，其豆瓣評分9.2，IMDb評分8.7，可以說是相當(dāng)不錯。這只是其一，對于影視行業(yè)來說，更讓人興奮的自然是它背后的虛擬制作的技術(shù)。

《星球大戰(zhàn)》電視連續(xù)劇一直是喬治·盧卡斯的夢想，但是電視劇背后運作的邏輯使得要實現(xiàn)像《曼達洛人》這樣規(guī)模的制作并不是很容易?！缎乔虼髴?zhàn)》的粉絲們希望能看到有異域風(fēng)光，但要在有限的預(yù)算范圍內(nèi)外地取景不太可能實現(xiàn)。

另外就是視效工作時長的問題，即便有著現(xiàn)代數(shù)字視效技術(shù)和每秒數(shù)十億次計算能力的加持，每幀畫面的處理仍需12個小時，甚至更久。而整部電視劇有幾千個鏡頭，還要經(jīng)過幾番反復(fù)處理，時間上，根本耗不起。

在片場的攝影機內(nèi)實時合成畫面是視效技術(shù)領(lǐng)域的“圣杯”理想，也是制作《曼達洛人》所必須實現(xiàn)的。這一概念最初是Epic Games的Kim Libreri在盧卡斯影業(yè)時提出的，現(xiàn)在它已經(jīng)成為“圣杯”技術(shù)的基礎(chǔ)，這讓真人版的“星球大戰(zhàn)”電視連續(xù)劇成為了可能。

《曼達洛人》虛擬制作流程

《曼達洛人》的視效預(yù)覽和虛擬制作采用了一種全新的實時工作流程，演員直接根據(jù)LED墻上實時渲染的內(nèi)容進行表演。這些內(nèi)容先做過傳統(tǒng)的視效預(yù)覽，然后做虛擬處理，最后用虛幻引擎（Unreal Engine）在LED墻上進行實時渲染，從而實現(xiàn)了令人驚嘆的視覺效果。最終，虛幻引擎的研發(fā)公司Epic Games出現(xiàn)在了《曼達洛人》的制作鳴謝名單之中，后面還包括了整個虛擬制作的團隊人員名單。

以 LED 幕墻代替綠幕解決方案，綜合應(yīng)用攝影機追蹤、實時渲染和協(xié)同工作等技術(shù)，將實時引擎的圖像輸出與攝影機追蹤相結(jié)合，生成完全位于鏡頭內(nèi)的最終圖像，使電影人不再需要外景地拍攝，可以利用攝像機中的準(zhǔn)確光照和反光拍攝大量復(fù)雜的視覺特效鏡頭，并且在片場共同對場景進行實時迭代。虛幻引擎的實時能力與沉浸式LED屏幕相結(jié)合，實現(xiàn)了以前無法想象的創(chuàng)作靈活性，可以說這項技術(shù)將虛擬制作帶到了頂峰。

通過攝影機現(xiàn)場拍攝，影片可以同時獲得最好的表演和環(huán)境氣氛。通過提前對虛幻引擎的設(shè)置，可以拍攝鏡頭內(nèi)的效果，獲得相機中的實時最終像素。也就是通過在軟件中處理場景的方式，對鏡頭拍攝范圍內(nèi)進行高精度渲染，將相機上使用的特定鏡頭輸入到系統(tǒng)中，在給定范圍內(nèi)渲染出照片級的高分辨率圖像。

由于部分片段的 LED 幕墻虛擬背景使用虛幻引擎為游戲創(chuàng)建的資產(chǎn)，由此節(jié)省了資產(chǎn)創(chuàng)意的時間和精力，實現(xiàn)了電影和游戲領(lǐng)域的資產(chǎn)共享。這個方式的最大價值是，你不是在綠幕世界里拍攝，也不是在后期合成中去匹配燈光—你實際上是在拍攝成品的電影，它把攝影的控制權(quán)又還給了攝影師。

這個解決方案的重點可以說是LED背投技術(shù)——就是在巨大的LED上和天花板上播放動態(tài)、實時、寫實的背景，這樣不僅可以提供了獨特背景，而且可以將內(nèi)容畫面精確到像素級，同時可以對相機位置進行正確渲染。

如果屏幕播放內(nèi)容是在拍攝前完成的，那么在LED屏幕前拍攝的演員、道具和布景就可以實現(xiàn)最終在相機內(nèi)完成視效制作-或者說“接近”最終成片，只需后面做一些技術(shù)修復(fù)（即技術(shù)檢查修改），同時使用這樣的方式拍攝時大家會對鏡頭的構(gòu)圖和效果充滿信心。在《曼達洛人》里，這個空間被稱為“大型動作捕捉舞臺(the Volume)”從技術(shù)上講，“Volume” 一詞指代任何應(yīng)用動作捕捉技術(shù)的空間。

現(xiàn)場拍攝舞臺詳解

“Volume”是一個20英尺高，長為180英尺的曲面LED視頻墻，由1326塊獨立LED屏幕構(gòu)成，每塊屏幕的像素間距為2.84毫米，構(gòu)成了一個 270度的半圓形背景墻。當(dāng)中的表演空間半徑為75英尺，其頂部是一個LED視頻天花板，直接搭接在LED墻的主曲面上方。大型動作捕捉舞臺的后面是一塊 90度的開放區(qū)域，基本上處在“攝影機背后”，放置有兩塊18英尺高20英尺寬的平板，上面又裝有132塊LED屏。這兩塊板連接在移動式升降機和舞臺頂部的鏈條馬達上，既可以移走也可移動到指定位置。

為了讓結(jié)果看起來真實，傳統(tǒng)背投（和前投）技術(shù)，拍攝時相機必須保持靜止或沿已編程的路徑移動來匹配投影圖像的透視。不管是哪一種方式，攝影機的入射瞳(即鏡頭的前透光孔，有時也被人誤稱作節(jié)點)都需要與投影系統(tǒng)精確對準(zhǔn)，這樣視角和視差效果才是正確的?！堵_洛人》雖然稱不上是首個將畫面投影系統(tǒng)用于攝影機內(nèi)影像合成的作品，但其技術(shù)的不同之處就在于能夠方便攝影機移動。

對于本部影片來說，在大型動作捕捉舞臺里，讓攝影機靜止或嚴(yán)格按照預(yù)先設(shè)定的軌跡移動根本不可行。所以團隊必須找到一種方法來追蹤現(xiàn)實世界中攝影機的位置和移動，并且在攝影機移動的同時在屏幕上推斷出適合的視角和視差。這就需要將動作捕捉技術(shù)和一個能夠?qū)崟r生成正確的3D視差視角的引擎結(jié)合起來，也就是Epic Games的虛幻引擎，該引擎能實時生成正確的3D透視圖。

LED墻上呈現(xiàn)的環(huán)境布景首先是由視效團隊進行3D建模，再由美術(shù)指導(dǎo)安德魯·瓊斯(Andrew Jones)和視覺顧問江道格(Doug Chiang)確定規(guī)格。而后在地理條件允許的情況下，會有一支攝影測量隊伍去往實景地進行3D攝影掃描。獲取的信息用以繪制3D虛擬場景地圖，再根據(jù)需要進行修改或潤色以契合《星球大戰(zhàn)》的設(shè)計美學(xué)。如果不存在現(xiàn)實實景地，那么環(huán)境布景就全部由工業(yè)光魔公司的“環(huán)境”視效團隊創(chuàng)建。虛幻引擎編輯器接收到上傳的場景元素后，就建立起一個實時呈現(xiàn)的3D環(huán)境，它可以根據(jù)攝影機的機位做出反應(yīng)。

第一季第一集的第三個鏡頭就淋漓盡致地展現(xiàn)了這一技術(shù)。這個鏡頭以低角度開場，拍攝曼多在Maldo Kreis這顆冰凍星球上查看傳感器，他站在一條長長的道路上，這條道路直延伸到地平線盡頭的建筑群中。天空烏云密布，薄雪翻卷著落下，曼多順著路走向建筑群，攝影機隨即拉高。

所有這些都是在大型動作捕捉舞臺里于攝影機內(nèi)部實時拍攝出來的。部分道路是真實布景，但該世界中其余部分都是LED屏幕上的虛擬影像，而且攝影機抬高時的視差與真實布景完美契合，整個系統(tǒng)的效果堪稱天衣無縫。

渲染這樣實時的圖像需要巨大的圖像計算處理能力，因此無法在整個180°的屏幕和天花板上實時渲染高分辨率的擬真畫面。折中的辦法就是讓攝影機上的特定鏡頭也成為系統(tǒng)的一部分，使系統(tǒng)能夠基于攝影機在某個時刻的特定視場呈現(xiàn)出高分辨率的擬真畫面，而屏幕的其余部分則顯示較低分辨率的畫面。這樣對交互式布光，以及光對演員、道具和實體布景產(chǎn)生的效果仍是有效的。此外，簡化版多邊形計數(shù)器的運用也助于縮短渲染時間。

每個大型動作捕捉舞臺的存儲數(shù)據(jù)都會傳送到虛幻引擎編輯器中，由它提供可根據(jù)攝影機機位同步實時呈現(xiàn)的3D環(huán)境。攝影機機位是 Profile Studios公司的動作捕捉系統(tǒng)基于紅外攝影機追蹤的，這些紅外攝影機被放置在LED墻頂部四周，負(fù)責(zé)監(jiān)控拍攝用攝影機上裝配的紅外標(biāo)記。當(dāng)系統(tǒng)識別到攝影機的X，Y，Z位置后，就會根據(jù)該位置實時渲染合適的3D視差。在這個過程中，首先Profile Studios公司的數(shù)據(jù)會傳送到工業(yè)光魔專利所有的StageCraft軟件當(dāng)中，而后該軟件負(fù)責(zé)管理、記錄信息以及完整的制作流程，從而將畫面反饋到虛幻引擎里，最終這些畫面會在 Lux Machina團隊的協(xié)助下輸出到屏幕上。

《曼達洛人》不僅是一次振奮人心的挑戰(zhàn)，也是用于開發(fā)生產(chǎn)級工具的強大試驗場，最終全體虛幻引擎用戶都將從中獲益。Epic Games的多用戶協(xié)作工具在其中發(fā)揮了重要作用，nDisplay系統(tǒng)使得一組機器能夠同步地實時渲染超大畫幅，實時合成系統(tǒng)則讓電影人能夠?qū)崟r觀看預(yù)覽。Epic Games也特別重視引擎與外部來源的對接能力，例如將鏡頭數(shù)據(jù)記錄到Sequencer中，或從iPad操縱LED幕墻環(huán)境，所有這些功能都已在4.25版中提供。

傳統(tǒng)制作與虛擬制作的不同

《曼達洛人》只是展現(xiàn)了虛擬制作的冰山一角，虛擬制作還包括實時渲染、實時動作捕捉、前期制作VR、堪景等多項內(nèi)容，但無論是哪種類型的應(yīng)用，當(dāng)我們說起虛擬制作，都離不開“前期制作”和“實時技術(shù)”。

虛擬制作與傳統(tǒng)視效工作流程不同。在傳統(tǒng)工作流中，有前期制作，制作（如拍攝），以及后期制作。在這種情況下，大多數(shù)工作通常發(fā)生在后期制作中。在使用實時環(huán)境的情況下，你需要在前期制作階段完成資產(chǎn)、環(huán)境。這意味著你需要在開始的時候花更多的時間進行計劃，很多事情需要在前期準(zhǔn)備好。先是研發(fā)、藝術(shù)方向、資產(chǎn)生產(chǎn)、建立一個完整的虛擬制作流程，然后才是現(xiàn)場。

傳統(tǒng)制片 vs. 虛擬制片

虛擬制作得以顛覆傳統(tǒng)制片的一個重要技術(shù)運用就是實時引擎，《曼達洛人》就是充分利用了虛幻引擎的實時性。實時物理效果可以檢查攝影機的移動軌跡，也可以模擬寫實的物理效果；實時光線追蹤讓預(yù)覽畫面更加真實，降低了攝影師對于光照的不確定。遠(yuǎn)程及多用戶協(xié)作同樣受惠于游戲開發(fā)，團隊成員如同在開放式聯(lián)機游戲中進行工作，實現(xiàn)協(xié)作與共享。

因為虛擬制作而受惠頗多的其中一個領(lǐng)域就是資源創(chuàng)建。創(chuàng)建資源時，在視覺保真和實時效率方面付出的努力越多，從視效預(yù)覽到最終成像階段就越能頻繁地利用資源，而不必付出額外的成本和時間來重新創(chuàng)建所需對象。這些相同的制作資源可得到快速調(diào)整并被交付到輔助流水線上，以便創(chuàng)建與電影相匹配的宣傳圖像、游戲資源和玩具。無需為每個應(yīng)用重建資源即可完成，既節(jié)省了時間，又避免了因重建可能導(dǎo)致的質(zhì)量/一致性問題。

虛擬制片工作流的特性

而最新公布的虛幻引擎5揭示了兩大全新核心技術(shù)Nanite虛擬幾何體和Lumen全動態(tài)全局光照，也許會對虛擬制作的未來帶來顛覆。Nanite虛擬幾何體意味著影視級美術(shù)作品可以被直接導(dǎo)入虛幻引擎，那么視效預(yù)覽畫面將可能達到最終呈像水平，后期階段的視效制作將完全前置。Lumen光照能夠?qū)鼍昂凸庹兆兓龀鰧崟r反應(yīng)，即使沒有用到光線追蹤硬件，也能產(chǎn)生和真實世界一樣的照明效果。

以喬恩·費儒為首的導(dǎo)演、制作人通過虛幻引擎和 LED 顯示技術(shù)上的革新，帶來持續(xù)打造“爆款”的能力，與其自身具有的將技術(shù)整合并體系化的能力相關(guān)外，良好的制片支持和產(chǎn)業(yè)鏈配套也是其得以實現(xiàn)的重要條件。這無疑是最值得肯定的地方也最令從業(yè)者們向往的地方。

虛擬制作發(fā)展至今已經(jīng)不再只是一種“現(xiàn)象”，而是一種“必然”。對于這項技術(shù)的發(fā)展與完善依然需要各部門廣泛的、長期的配合努力，才有可能抓住這次轉(zhuǎn)型、更新內(nèi)容生產(chǎn)方式的極好機會。