Eva와 Spider 제품으로 연출하는 놀라운 3D 영상

영화를 보면서, 배우가 갑자기 폭발에 휩싸인다거나, 괴물로 변하거나, 지붕에서 맨몸으로 뛰어내려도 끄떡없는 장면들이 어떻게 연출되는지 궁금했던 적이 있나요? TNG비주얼이펙트와 같은 3D 기업의 도움이 없다면 이러한 스턴트 장면 연출은 불가능했을 것입니다. EVA와 Spider제품으로 무장한 TNG는 배우와 소품을 3D 모델로 제작해서, 후에 영화에 삽입되어 폭발, 파괴, 변신 등의 장면으로 연출됩니다. TNG는 ‘맨오브스틸’, ‘트와일라잇 시리즈’, ‘밀레니엄: 여자를 증오한 남자들’을 포함한 다수 헐리우드 블록버스터 흥행작들의 시각효과 연출에 참여하고 있습니다.

원본 참조 사진

피부 면도 구성요소 3D 스캔

영화 제작업계에 활용되는 3D 스캐닝

1986년 3D 컴퓨터 그래픽으로 시작했던 TNG비주얼이펙트를 창립한 닉 테시(Nick Tesi)는 “영화감독은 3D 스캐닝은 영화 감독에게 무엇이든 연출할 수 있는 능력을 제공합니다. 영화 제작이 새로운 시대에 들어선 만큼, 이제 영화감독들은 스토리를 전개해나가는 과정에서 원하는 장면을 실제로 만들어낼 수 있습니다. 생각해 두었던 과정이나 컨셉을 실현할 수 있는 방법이 있기 때문이죠.”라고 말합니다.

테시는 또한 영화 제작자는 작가일 뿐, 보통 어떤 방법을 사용해서 장면을 연출할 지에 대한 결정권자는 아니라고 덧붙였습니다. 장면 연출에 대한 결정권자는 보통 시각효과 감독으로, 특정 장면을 연출하기 위해 3D 스캐닝을 사용할 지의 여부를 결정합니다. 여기에는 해당 프로젝트의 예산이 크게 작용합니다. 예산이 적은 경우, 시각효과 감독은 온전히 컴퓨터로만 제작하는 방법 대신 물리적으로 집이나 자동차를 폭파하는 등의 실제 효과(practical effect)를 사용하기도 합니다. 첫 시도에 바로 완벽한 그림이 나온다면 실제 효과로예산을 어느 정도 절약할 수 있지만, 계속 재촬영해야 하는 경우에는 결국 돈을 더 많이 쓰게 됩니다. 영화에 나오는 차량이나 소품, 심지어 인물을 3D로 스캔한다면 만족스러운 장면이 연출될 때까지 여러 번 시도할 수 있기 때문에 감독에게는 보다 자유롭게 장면을 연출해낼 수 있는 방법입니다.

3D 디지털 더블(Digital Double), 어떻게 만드나

TNG사는 5년 넘게 Artec의 스캐너를 사용해왔기 때문에 스스로를 ‘얼리 아답터(early adopters)’라고 말합니다. 머리와 몸을 스캔할 때에는 보통 Eva 제품을 사용하며, 소품이나 신체의 디테일한 부분을 스캔하는 경우에는 Spider를 사용하여 정교한 스캔을 도출합니다. 테시는 Eva와 Spider 제품의 장점으로 휴대가 용이한 작은 사이즈, 최신 소프트웨어와 우수한 데이터, 높은 정확성과 사전 캘리브레이션(calibration) 기능을 꼽고 있습니다.

TNG의 작업 중 가장 어려운 부분은 바로 정교한 갑옷을 입은 등장인물을 스캔하는 작업이라고 합니다. 정교한 스캔을 위해 Eva와 Spider를 겸용하며 고품질 3D 디지털 더블(digital double, 3D로 인물이나 물체를 스캔하여 컴퓨터에서 활용될 수 있는 디지털 이미지)을 고객사에 제공하고 있다고 합니다.

기하학

렌더링

대상을 3D로 스캔하는 과정은 우선, 3D 모델 제작자 및 3D 텍스처 아티스트의 효과적인 작업을 위함과 더불어 실물과 동일하게 제작되었는지를 재확인하는 최종 품질검토를 위한 참고 사진(reference pictures) 촬영부터 시작합니다. 3D 스캔 완료된 데이터는 곧이어 배열 및 조합됩니다. 3D 스캔 기술자가 가능한 한 100%에 최대 근접한 정확도로 스캔되었다고 판단하면 스캔 과정이 종료되어 데이터 프로세스 작업에 들어가게 됩니다.

데이터를 프로세스하는 데 걸리는 시간은 해상도에 따라 다릅니다. 데이터 프로세싱이 완료되면 3D 모델 제작자(3D modeler)가 작업을 시작합니다. 3D 모델 제작자는 처음에 전문적으로 촬영한 참고 사진과 더불어 3D 스캔을 통해 완벽한 실루엣과 비율로 도출된 스캔을 이용하여 수많은 요소를 바탕으로 3D 모델을 생성하고, 3D 텍스처 아티스트(3D texture artist)의 작업을 위해 geo 파일을 언랩(unwrap)합니다.

그 후에는 텍스쳐 아티스트가 물체를 채색하거나 이미지를 투영하고 UV 좌표가 잘린 경계선 부분을 채색합니다. 질감표현이 완성되면 해당 파일을 3D 모델 제작자에게 다시 넘겨서 추가적 조각 과정을 통해 세밀한 부분을 묘사합니다. 3D 모델이 완성되면 노멀맵(normal map)과 위치변환맵(displacement map)이 생성되어 해당 모델을 보는 여러가지 방식을 제공합니다.

3D 스캔

메쉬 재구성

Low poly

High poly

조직

모션 캡처

테시는 “인체와 두상을 주로 스캔하는 3D 스캐닝 기업으로서 모션캡처 분야까지 사업을 확장하게 된 건 자연스러운 발전과정일 겁니다.”라고 말합니다. 모션캡처는 정지된 물체에 생명을 불어넣는 기술이라고 할 수 있습니다. 3D 스캔은 대상 인물의 피부와 의상의 질감을 캡처합니다. “3D 이미지 조합이 완료되면, UV 좌표들을 언랩하고 메쉬를 재구성(remesh)하여 텍스처 작업을 준비합니다. 그리고 바로 모델을 렌더링할 수 있긴 하지만 우선 관절을 삽입해서, 인물의 피부를 움직이게 하는 골격을 만듭니다. 이 과정을 우린 ‘리깅(rigging)’이라고 부르죠.”라고 테시는 설명합니다.

컴퓨터로 만들어진 디지털 더블에 골격 삽입이 성공적으로 완료되면, ‘웨이팅(weighting)’이라는 작업에 들어가게 됩니다. 웨이팅 단계는 각 관절에서 얼만큼의 피부가 움직이도록 할 것인지를 계산하는 과정입니다. 각각의 무게 할당이 완료되면 해당 인물의 3D 모델이 움직일 때 실물과 똑 같은 움직임을 보입니다. 직접 관절을 하나하나 조작하지 않고 움직이도록 하기 위해 방향제한이 가해져서 각 관절에 연결된 그래픽 유저 인터페이스(GUI)를 생성합니다. 이를 통해 애니메이터가 보다 손쉽고 직관적으로 3D 인물을 연출할 수 있습니다. 이 작업이 완료되면 여러 컴퓨터가 네트워크된 렌더팜(render farm)에 비디오 파일의 프레임을 하나하나 렌더링합니다.

디지털 인물 생성하기(create) vs. 디지털 인물 만들기(develop)

처음부터 인물을 모델로 하거나, 생성된 인물의 축소 모형을 생성하거나, 스턴트맨을 고용하거나, 애니마트릭스(animatronics)를 사용하거나, 인물을 3D로 스캔하는 방법들이 있습니다. 가장 빠르고 효과적인 방법은 물론 3D 스캔입니다.

3D 기술로 인물을, 그것도 유명한 배우를 완벽하게 ‘만들어내는’ 작업에는 표정, 머리카락, 옷을 입히고, 조명을 적용하고, 최종 비율을 조절하는 등 보다 많은 노력이 필요합니다. 게다가 효율을 위해 매 작업마다 실제 배우와 똑같은지 계속 확인해야만 합니다. 예를 들어, 현재 작업중인 3D 모델이 주인공이어서 화면에 등장하는 시간이 긴 경우에는 컴퓨터 모델과 실제 배우가 매치되는 지를 확인하기 위해 아주 많은 시간을 투자해야만 합니다.

반면, 카메라로부터 원거리에 위치하거나 잠깐 동안만 등장하는 인물들의 경우에는 디테일이나 정확한 외모의 일치에 신경쓰기 위한 노력이 비교적 덜어지기도 합니다. 물론 완벽히 똑같을 것이라는 관객의 생각은 유지시켜야 합니다.

그리고 만약 촬영을 해야 하는데 배우가 오지 못한 상황이라면 ‘보험 스캔’이라는 개념의 방법을 사용할 수도 있습니다. 예비 스캔이라는 의미의 ‘보험 스캔’은, 필수적이라고 고려되는 모든 것들을 스캔하여 필요한 순간에 사용할 수 있도록 보관해두는 것을 뜻합니다. 이를 통해 어떻게든 작품을 완성할 수 있는 보험이 되는 것이죠. 또한 보관된 스캔 자료는 인터랙티브 분야나 해당 영화의 비디오 게임을 만드는 데에도 사용될 수 있으며, 반대로 게임을 위해 만들어진 스캔 자료를 영화로 만들 수도 있습니다.

3D 스캔

재구성된 메쉬

렌더링 완료

디지털 더블의 생동감, 어떻게 을 생동감있게 만드는 방법

테시에 따르면 훌륭한 3D 인물을 생성하는 방법에는 세 가지 요소가 필요합니다. 첫 번째는 인물이 진짜 사람처럼 보이게 디자인하도록 하는 것입니다. 몸의 전체적 구조, 피부의 모습 등 모든 것이 실제 사람처럼 보이도록 해야 합니다. 관객이 실제 인물과 가상 인물을 구분하기 어려울 정도로 표현해야 한다는 건 두말할 것 없이 당연한 입니다.

두 번째 요소는 전신의 움직임을 똑같이 구현하는 것입니다. 딱딱함, 변칙성, 둔함과 빠름, 심지어는 달에 착륙한 우주인처럼 아주 매끄러운 움직임까지도 재현해내야 합니다. 실제 인물과 똑같이 움직이도록 유동적인 움직임을 만들어야 합니다.

원본 참조 사진

피부 면도 구성요소 3D 스캔

마지막으로 얼굴의 표정은 실제 표정과 매우 흡사해야 합니다. 매일 보는 얼굴인 만큼 모두가 잘 알고 있어서 얼굴을 보면 인물의 감정을 바로 알 수 있지만, 3D 상에서는 이러한 표정을 임의로 만들어내야 합니다. 표정을 제대로 만들지 않는다면 먼곳을 응시하는 멍한 눈과 인상을 쓰는 듯한 어울리지 않는 이미지로 모든 것을 망쳐버릴 수 있습니다. 눈은 정확한 비율로, 특히 안쪽과 바깥쪽 눈꼬리를 최대한의 디테일을 묘사해야 합니다. 입과 귀도 마찬가지로 디테일한 묘사가 필요합니다. 그리고 마지막으로 코의 크기와 특징을 표현할 때에는 비대칭적 크기의 콧구멍을 적절히 위치시켜야 합니다.

원본 참조 사진

피부 면도 구성요소 3D 스캔

시각효과의 미래

3D 스캔과 3D 모델을 만드는 기술이 진화함에 따라 미래에는 컴퓨터로 생성된 디지털 더블과 실제 인물을 구분하기가 거의 불가능할 것이기 때문에 아주 직접적이면서도 현실적인 경험을 가능하게 해 줄 것입니다. 앞으로 나올 영화나 비디오 게임과 같은 TV 영상물은 전적으로 디지털화 될 것입니다. 배경, 전경(foreground), 등장인물 등이 전부 디지털로 제작되어 모든 매체에서 예측하지 못한 때에 완벽히 디지털화된 엔터테인먼트를 즐길 수 있을 겁니다.

시는, “3D 스캐닝 기술을 통해 시각효과, 모션캡처를 비롯한 다양한 시각 효과가 사용되고 있는 만큼 세계는 이 트렌드를 따라갈 것입니다.”라고 말했습니다.

재구성된, 질감이 입혀진, 렌더링 완료된 스캔 데이터

3D 스캔 서비스나 장비에 소모되는 비용과 시간이 점점 줄어들면서도 높은 품질을 유지하고 있는 현 상황을 보았을 때, 미국이 아닌 아시아, 유럽, 라틴 아메리카 등지의 비(非)헐리우드 영화 제작자들 역시 3D 스캔 기술로 영화의 시각효과를 연출하는 트렌드를 따라가게 될 것입니다. 3D 스캔 서비스나 제품의 가격 하락, 장비 렌탈 에이전시, 서비스 지점 등을 통해 접근성이 향상될 것이며, 3D 스캔 기술이 전문가의 도움 없이도 손쉽게 스캔할 수 있을 정도로 발전한다면 앞으로 3D 모델 제작 업계의 판도가 또 어떻게 될 지 모르는 일입니다.

테시는 다음과 같은 견해를 밝혔습니다. “과거에는 TV에서 영화에 비해 시각적 효과가 비교적 많이 사용되지 않았어요. 그러나 이제는 TV에서도 이따금씩 사용되고 심지어 광고에서도 시각적 효과를 활용하고 있습니다. 이들은 큰 예산을 들여 최신 기술을 활용하고 있고, 이를 통해 각 시장 내에서 의미있고 개성있는 작품으로 남을 것입니다.”

CG 스캔 데이터 – 재메쉬되고 질감이 입혀짐

참조 사진

CG 스캔 데이터 – 재메쉬됨

3D로 스캔된 데이터를 자동으로 조합 및 완벽히 채색하여 영상 제작에 바로 사용이 가능한 고품질 디지털 자산으로 만들 수 있다면 큰 혁신이 될 것입니다. 소요시간이 더 이상 문제가 되지 않을 것이므로 컴퓨터 제작된 자산의 가능성은 무한합니다.

테시는 가까운 미래에 영화, 광고, TV 프로그램이 90~100% 디지털화되어 관객이 스스로 엔딩을 만들 수도 있게 될 것이라고 생각합니다. “우리가 자각하기도 전에 이미 가상 라이브러리를 통해 모든 업계에 개방된 방대한 양의 디지털 이미지가 만들어질 겁니다. TV쇼나 프로젝트에 나오는 등장인물, 무기, 심지어 장소까지도 전부 컴퓨터로 만들어질 것입니다. 실제 인물은 모션 캡처와 목소리를 통해서만 등장하겠죠. 지금은 스토리를 쓰는 작가들이 있지만, 십여 년 후에는 아마 컴퓨터 프로그램이 블록버스터 작품용 스토리를 만들어내지 않을까 합니다.”

오늘날 3D 스캔 기술은 디지털 자산을 만드는 시작점에 놓여 있습니다. 위와 같은 예측이 현실이 된다면, 여러분은 완전한 디지털 세계를 맞을 준비가 되어 있습니까?