容積捕捉：文化IP加入4D技術 爆出無窮創意火花

因為武漢肺炎的關係，NBA停賽了好一陣子，然而紀錄片「最後一舞」（The Last Dance），卻硬生生把籃球迷帶回球風硬派的90年代，「籃球之神」麥可喬丹（Michael Jordan）在層層防守下還能每場拿下至少30分。挺腰拉竿、急停後仰，人人都想知道這些「非人」的動作到底怎麼完成，90年代的小孩只想學會喬丹一半的招式，2020年的孩子，因為這部紀錄片，也想研究研究「老神」，讓自己在街頭籃球稱霸。

喬丹流暢又帥氣的打法風靡全球，但球迷往往只能放慢比賽的影片速度，邊看邊揣摩，就連已逝傳奇球星科比布萊恩（Kobe Bryant）生前也時常在半夜打給喬丹，問喬丹步法、單打、三角戰術。不過面授機宜總是特權，一般觀眾不太可能擁有這樣的好老師。

幸好這幾年隨著影像拍攝技術從2D、3D進化到4D，讓人不禁陷入妄想，如果早在1990年代就有4D攝影棚，並能以容積捕捉（Volumetric Capture）技術拍攝喬丹打球。科比或許不需要擁有喬丹的電話，只要透過容積測量捕捉拍攝技術，就能360度觀看喬丹打球動作，並且將喬丹的影像建模，學得一番好身手。

而這樣的影像技術還能運用在電影、MV、廣告等影像上，一般球迷甚至可以戴上頭盔顯示器，進入虛擬世界和喬丹PK一場。當然，結果可能一樣慘不忍睹。

什麼是容積捕捉？

科技導入影視製作，讓一切想像都變得可能。

2009年好萊塢導演詹姆斯·卡麥隆（James Francis Cameron）的電影《阿凡達》，將全球觀看電影的視野從2D進入到3D，開啟電影新紀元。片裡的視覺效果讓人耳目一新，透過真人影像加上3D特效，突破以往3D繪圖的限制，呈現效果逼真，彷彿真有納美人和阿凡達的存在。

《阿凡達》的拍攝方式有別以往傳統2D實景攝影，演員必須穿戴「動作捕捉」（Motion Capture，簡稱動捕）設備，演出時要穿上附有光球式、運動感測器式等動捕服裝，直接錄製動作再套到模式即可完成。不過動捕製作的動畫，還是不容易紀錄如同真實世界中人物的擬真度。

過去要解決高擬真3D模型建置，可採用3D掃描的方式建模，但只限於靜態物件，而在容積式（Volumetric）掃描方式的出現後，成為解決問題的最佳方案，真人在360度有著32台攝影機的4D攝影棚內拍攝，一舉一動都可被容積捕捉建模。

文化部從法國申購4Dviews系統，真人在360度有著32台攝影機的4D攝影棚內拍攝，一舉一動都可被「容積捕捉」

工研院服科中心技術組長彭首榮表示，過去傳統動畫要先建模，貼圖再透過拉骨架與動作讓動畫動起來，但容積擷取則是把拍攝物件放到攝影棚內，透過360度環場攝影機拍攝，再進入到後端的程式運算，直接就可建立模型，如同動畫師建模、貼圖完後的實際樣貌。

工研院服科中心技術組長彭首榮說，4Dviews在國外主要應用於音樂MV、電影、廣告、遊戲、教學等領域

簡單來說，以往用2D平面拍攝，在電腦裡把人臉影像放到最大，會是由一格一格的像素點（pixel）組成。但容積式擷取後的影像，可從360度任一角度擷取想要觀看的視角，放大後則有如3D列印後的立體成像。

這項「容積捕捉」技術近幾年才被好萊塢運用，是一項新興科技。台灣在2019年由文化部耗資新台幣近3000萬，從法國引進「4DViews」系統，捕捉360度無死角影像，最大作用是可簡化數位內容產製過程，「所拍即所得」，可以一站式產製3D模型。

4Dviews耗資新台幣3000萬元，採用四面綠布景拍攝環境，搭配32隻攝影機進行動作捕捉

文化部引進4DViews後，移交由文策院負責相關業務，成立「IP內容實驗室」，委由工研院營運，目前這套設備架設在空總當代文化實驗場。

4DViews攝影棚目前架設在空總當代文化實驗場

未來5年容積影像市場擴增 適合用於運動娛樂產業

容積捕捉在過去十多年來不斷研發精進，2017年Intel宣布與Turner Sports合作，將虛擬現實和容積擷取技術運用在NBA的合作媒體。

根據美國商業資訊（Business Wire）今年3月調查指出，容積影像（Volumetric Video）市場將從2020年的14億美元，到2025年增長到58億美元，其中又以運用在運動、娛樂產業、醫療、教育及訓練上最為合適。

彭首榮表示，Intel、Microsoft研發的容積擷取設備為體育館等級，適合運用在好萊塢片場，可容納至少100多人以上同時拍攝，不過這樣的規格，若沒有好萊塢等級的資金與拍攝規模，根本很難開棚。

彭首榮表示，Intel、Microsoft研發的容積擷取設備為體育館等級，適合運用在好萊塢片場，台灣申購的4DViews為中型設備

目前台灣申購的4DViews為中型設備，可拍取景範圍在3公尺x3公尺x2.4公尺以內，參考國際營運中同等級攝影棚，光是開棚一天8小時就要價新台幣80萬元。以此規格計算，大型的容積捕捉攝影棚更是所費不貲，不符合台灣影視產業現階段需求。

彭首榮說，使用容積捕捉拍攝的優點在於「不需要事先虛擬建模，只要一站式拍攝，拍一秒，360度全都拍得到，模型立刻建立。」拍攝後要進入運算模式，「拍1分鐘，需要經過8小時電腦運算才可將影像建模輸出。」

4DViews拍1分鐘，需要經過8小時電腦運算才可將影像建模輸出

建模後就可多元運用在AR（Augmented Reality，擴增實境）、VR（Virtual Reality，虛擬實境），2D影片製作也可從360度各個角度去擷取影像剪接。

以麥可喬丹為例，以往拍攝會分中、遠、近景不同角度拍攝，但若在4D攝影棚，喬丹不需要如此費工，只要拍一次，若是用在2D影像，剪接時可擷取360度的任一視角，從上、下、左、右都可觀看；若運用在AR，可以透過手機或平板介面，將喬丹的影像投射在家裡；用在VR，戴上頭盔顯示器，可設計一款與喬丹PK對打的遊戲，或者是進入虛擬情境，360度仔細觀看喬丹的急停後仰。

4Dviews可拍吳青峰太空人MV 也可拍無形文資

目前全球只有法國、日本、美國、台灣設有4Dviews，台灣是全球第6座、亞洲第2座，在日本已有多次使用經驗，包括Perfume、倖田來未、卡莉怪妞皆曾以此拍攝MV。

去年「IP內容實驗室」也對外徵件，共有13組創作團隊獲選，其中以歌手吳青峰MV《太空人》的商業運用最為外界熟知。

工研院影像匯流與分析系統技術部技術副理呂坤憲表示，《太空人》MV裡，演員林柏宏一會兒走在沙漠中，鏡頭從近到遠，一會兒又坐在摩天輪上，人物時而縮小又放大，這樣的畫面呈現，在一般的攝影棚裡不可能做到，只有4Dviews才能擷取到這樣的影像。

呂坤憲說，《太空人》MV裡，人像一下子走在沙漠，一下子又坐在摩天輪上，人物時而縮小右放大，只有4Dviews才能擷取到

4DViews也可運用在無形文化資產保存，曾邀請歌仔戲人間國寶廖瓊枝、歌仔戲小生黃香蓮、新生代歌仔戲演員黃偲璇，以老中青三代的身段演示。黃偲璇表示，過去在學習前輩的身段時，也會透過影像模仿，但通常只能看到正面，無法看得到老師背後的動作，但透過4DViews，她可以全方位360度的觀賞，看到更多細節。

歌仔戲演員黃偲璇用4Dviews紀錄身段演示，讓後輩未來可以藉此360度觀賞更多手勢細節

4DViews仍有限制 髮絲太細、衣服反光都無法呈現

不過4DViews在使用上仍有限制，工研院影像匯流與分析系統技術部經理蘇奕宇表示，包括綠色衣服、太細的髮絲、反光的衣服、琴弦等較為細微的細節，都是無法順利捕捉的影像。

工研院影像匯流與分析系統技術部經理蘇奕宇（右）表示，4DViews仍有限制 髮絲太細、衣服反光都無法呈現

因此在拍攝前，IP內容實驗室會先與創作團隊溝通，從妝髮、服飾材質顏色、道具設計等各個細節，IP內容實驗室會建立起拍攝前的SOP流程與溝通，提供團隊拍攝事前專業建議，使拍攝流程能順暢進行。否則一進到4D攝影棚就開始計費，若沒有完善的拍攝準備，最後很可能拍了一堆與想像有落差的影像。

4DViews拍攝之前，創作者與工研院團隊的前置溝通很重要

容積捕捉後製有別2D 拍攝前期內容溝通很重要

鋼琴家盧佳慧去年運用4Dviews拍攝XR新媒體藝術作品《迷》，她表示，4Dviews顛覆過往拍攝手法，尤其是後製選影像的方式和2D不同，「以往可以跟剪接師說，我要選3秒到5秒之間的畫面，但4Dviews不一樣，是在一個立體的狀態去選取影像。」後製時挑選的影像一旦改變切入角度，後面的影像都將會隨之改變，「4Dviews的影像是活的，非靠人工剪接拼湊就可組成。」

鋼琴家盧佳慧（右）用4Dviews拍攝XR新媒體藝術作品《迷》，將藝術與科技結合，跳脫傳統框架。（盧佳慧提供）

這也代表要運用4Dviews拍攝，創作發想的模式就會與過往不同，最好是能在拍攝前就清楚構思每個分鏡畫面，拍攝時會經過攝影機同步校正、背景擷取、多視角人物影像捕捉、影像渲染運算等步驟後，就可先預覽動態3D模型效果。

盧佳慧表示，拍攝前原本預期能將她彈鋼琴的動作呈現，但因她彈的曲目手部動作快、較難捕捉，即使彈奏速度放慢也一樣，最後只能隨機應變，見招拆招，改把舞者張逸軍的影像縮小，「縮小讓影像變得非常真實」。透過後製建模一架鋼琴，讓舞者在琴鍵上跳舞。

這段影像後來也運用在盧佳慧的現場演出。她在現場架設立體攝影機，即時拍攝演出者及現場觀眾，再對應著4DView 虛擬製作好的影像，同步整合投放在LED大螢幕，創造虛實穿插共構的XR（延展實境），包含VR、AR、MR（混合實境），作品結合科技、美術、舞蹈、音樂、即時觀眾參與互動及現場表演，在台灣是首創。

盧佳慧表示，4Dviews適合運用在縮小的成像，最後是改把舞者張逸軍（圖）的影像縮小，透過後製建模一架鋼琴，讓舞者在琴鍵上跳舞。（盧佳慧提供）

盧佳慧認為，「傳統藝術市場有一定的重要性，不敢說已經到瓶頸，古典音樂還是有永存不敗的地位，只是傳承外還需創新，不只是文化，表演藝術與科技結合，勢必會是新趨勢。」

雖然現階段台灣4Dviews還無法全面商業化，文策院內容策進處處長李正上表示，初期仍鼓勵業界提出企劃多元應用，未來也可參照國際上一源多用的IP衍生加值手法，例如迪士尼的商業模式，透過4Dviews產出創新的影視音作品，推動國際合製，建構未來劇院與新型態展演映模式，加速商業營運獲利。