게임용 사진 측량
지난 10년 동안 CGI와 비디오 게임의 캐릭터 모델과 환경은 하드웨어 업그레이드뿐만 아니라 사진과 비디오를 아름다운 3D 모델로 변환하는 사진 측량과 같은 디지털화 기술의 도입으로 비약적인 발전을 이루었습니다. 다음 글에서는 작업 흐름 단계부터 3D 스캐닝을 대안으로 활용할 수 있는 가능성까지 모든 것을 다루며 이 주제에 대해 자세히 살펴보겠습니다.
개요
스마트폰에서 재생 중인 비디오 게임
용도에 대해 알아보기 전에 다음과 같은 질문을 할 수 있습니다. 사진 측량이란 무엇입니까?
간단히 말해서 여러 각도에서 대상 물체의 이미지를 중첩하여 촬영하는 프로세스입니다. 이러한 사진에서 동일한 지점을 식별하고 일관된 카메라 위치, 초점 거리 및 왜곡을 확보하여 이들 지점의 좌표를 얻고 3D 공간에서 그 위치를 삼각 측량하여 3D 모델로 복제할 수 있습니다.
비디오 게임 세계에서 실제 소품, 위치, 심지어 배우의 얼굴을 캡처하고 게임에 추가하는 데 사진 측량이 점점 더 많이 사용되고 있습니다. 이 기술을 통해 개발사는 이제 사실적인 그래픽으로 세상을 구축할 수 있을 뿐만 아니라 수동으로 생성하는 데 걸리는 시간보다 훨씬 단축된 시간 내에 작업할 수 있습니다.
그래픽 아티스트는 사진 측량으로 전환하기 전에 게임 플레이 및 리드 타임 제한에 대한 미학적 균형을 유지하면서 타협을 초래한 작업 흐름에서 이러한 3D 자산을 처음부터 시작해야 하는 경우가 많았습니다.
게임이 진화함에 따라 코딩을 지속적으로 테스트해야 하는 기존의 '화이트 박스' 설계 방식도 프로젝트가 하나로 합쳐지기 전까지 시스템을 완전히 평가할 수 없어 의구심을 낳았습니다. 그에 반해서 스튜디오는 이제 사진 측량을 사용하여 모델을 캡처하고 업로드하여 사전에 세계 '키트'를 미리 만들 수 있습니다. 이를 통해 개발사는 더 잘 준비하여 예정한 시간에 제공할 수 있습니다.
이 기사의 나머지 부분에서 일부 개발사가 이를 위해 수행하는 개별 작업 흐름 단계를 분석할 것입니다. 또한 이를 수행하기 위한 수단으로 효율적으로 사용할 수 있는 다양한 기술을 자세히 살펴보고 각 접근 방식의 잠재적 이점을 평가할 것입니다.
비디오 게임에서 사진 측량은 어떻게 사용됩니까?
현대 게임 산업에서 높은 그래픽 충실도와 짧은 출시 주기가 성공의 열쇠이기 때문에 사진 측량의 채택을 통해 얻는 이점은 명확합니다. 이와 같이 이 기술은 빠르게 업계 표준이 되고 있습니다. 그런데 전체 프로세스는 실제로 어떻게 작동할까요?
다른 사진 측량 애플리케이션과 마찬가지로 작업 흐름은 객체를 선형적인 행렬 모양의 패턴으로 다양한 각도에서 캡처하는 것으로 시작하며, 각 사진은 다음 사진과 완전히 겹쳐집니다. 큰 객체를 캡처할 때 개발자는 360도 광각으로 촬영한 후 시야를 좁혀 가까이 다가가 세밀한 디테일을 캡처할 수 있습니다. 그러나 일반적으로 장거리 장치가 이러한 종류의 애플리케이션에 더 적합하므로 이러한 장거리 장치를 사용하는 것이 더 쉽습니다.
비디오 게임 산업에서 사용되는 사진 측량. 이미지 출처: smns-games.com
그렇긴 하지만, 이 모든 것을 달성하는 것은 말처럼 쉽지 않으며, 게임 스튜디오는 올바른 모양과 비율을 가진 완전한 모델을 얻기 위해 많은 함정을 피해야 합니다. 우선 개발사는 사용할 장비를 고려해야 합니다. 고해상도 카메라를 사용할 경우, 사진이 겹치는지 확인해야 할 것입니다.
LiDAR(빛 감지 및 거리 측정) 장치를 사용할 때는 객체의 재질도 고려해야 합니다. 예를 들어, 객체가 역반사성 재질이라면 그 표면에서 신호 손실을 최소화하면서 빛을 스캐너의 수신기로 반사할 가능성이 높습니다. 반대로, 객체가 반짝이거나 불투명한 경우 디지털화하기가 더 까다로울 수 있습니다.
요점
오랫동안 지형도를 만들기 위해 측량에 사용된 사진 측량은 이제 3D 환경을 만드는 비디오 게임 개발사에게 유용한 도구임이 입증되고 있습니다.
개발사가 이러한 문제를 해결하고 완전히 겹치는 측정값 세트를 캡처한 후에 Adobe Photoshop과 같은 프로그램으로 시작해서 이를 처리해야 합니다. 이렇게 하면 조명 및 그림자와 같은 측면을 조정하여 최종 모델이 제공하도록 설계된 게임의 분위기와 일치하게 할 수 있습니다. 색상 보정 후에는 RealityCapture와 같은 프로그램으로 내보내어 이미지를 포인트 클라우드로 정렬하고 텍스처링된 3D 메시로 변환할 수 있습니다.
초기 모델은 나중에 게임 내에서 렌더링하기 쉽도록 모델의 폴리곤 수가 감소하는 것을 확인하는 프로세스인 '리토폴로지화(retopologize)'될 수 있습니다. 마지막으로, 이러한 3D 메시에 저장된 정보가 텍스처 파일로 구워지면 표면을 여러 방식으로 조정하여 더 사실적으로 보이게 할 수 있습니다.
그것들을 그림자와 마모와 같은 시각적 효과를 추가하는 '마스크'와 결합할 수 있고, 절차나 텍스처 맵을 사용하여 물체 형상을 더 잘 시뮬레이션한 후에 Unreal Engine과 같은 많이 사용하는 게임 엔진으로 내보낼 수 있습니다.
AI Photogrammetry로 작업 흐름 향상
Artec Studio의 새로운 기능인 AI Photogrammetry는 많은 동일한 작업 흐름 단계를 수행하며 전체 프로세스를 간소화합니다. 사진 세트 또는 비디오를 업로드하면 Artec Studio가 나머지 작업을 처리합니다. 이 작업은 소프트웨어가 사용자가 수정할 수 있는 초기 모델을 생성하는 희소 재구성(sparse reconstruction) 단계부터 시작됩니다. 그다음에는 모델 경계 상자를 조정하고 밀도 재구성 버튼(dense reconstruction)을 누르기만 하면 됩니다.
이렇게 하면 사실적인 3D 메시가 실시간으로 생성되어 눈앞에서 메시가 '성장'하는 것을 볼 수 있습니다. 물론, 생성된 메시에는 일반 사진 측량으로 생성된 메시와 동일한 텍스처링 및 기타 후처리 단계를 모두 거쳐야 합니다. 하지만 AI Photogrammetry는 거의 모든 장치(스마트폰 포함)에서 캡처한 이미지 데이터에 적용할 수 있고, 비교적 높은 정확도와 함께 놀라운 사실감을 제공하므로 비디오 게임 외의 다양한 분야에 활용할 수 있다는 몇 가지 독특한 이점이 있습니다.
이 플랫폼의 또 다른 강점은 하드웨어 다용도성입니다. Artec Studio는 LiDAR, 레이저 그리고 구조광 3D 스캔 데이터와 호환되므로 전례 없는 디테일을 제공하는 데이터 세트를 결합할 수 있는 잠재력이 있습니다.
비디오 게임에서 사진 측량의 예
사진 측량 자체는 진화는 하고 있지만 완전히 새로운 기술은 아닙니다. 이 프로세스는 품질 관리 및 측량과 같은 영역에서는 오랫동안 효율적으로 사용되어 왔지만 게임 분야에서는 최근에야 주목을 받았습니다. 사진 측량을 본격적으로 수용한 최초의 주요 스튜디오 중 하나는 2015년 엄청난 인기를 끌었던 Star Wars: Battlefront 프랜차이즈를 재부팅한 스웨덴의 개발사 DICE였습니다.
빡빡한 출시 일정, 60FPS 게임 플레이에 대한 요구, 새로운 세대의 콘솔을 파악해야 하는 필요성에 직면한 DICE는 프로덕션을 향한 도전에 부족함이 없었습니다. 그러나 스튜디오는 여전히 원시 자료에 충실한 세계를 만들고 싶었습니다. 이를 달성하기 위해 이 개발사는 사진 측량으로 3D 모델링하기 전에 아카이브를 조사하여 원래 Star Wars 영화의 소품을 찾아냈습니다.
DICE Star Wars Battlefront 비디오 게임 캐릭터. 이미지 출처: battlefront.fandom.com
DICE는 이 접근 방식을 사용하여 각 자산을 디지털화하는 데 걸리는 시간을 이전 타이틀인 Battlefield 4에 비해 절반 이상 단축할 수 있었습니다. 또한 이 스튜디오는 작업을 통해 Star Wars 소품, 캐릭터 모델, 배경으로 구성된 '레벨 구성 키트'를 개발할 수 있었으며 최종 게임의 기반이 되었습니다. DICE는 또한 자사의 접근 방식을 통해 출시 훨씬 전에 작업 흐름을 수립할 수 있었으며, 이로써 내부 기한을 앞당길 수 있었습니다.
이 개발사의 선구적인 작업이 처음 알려진 이후로 다른 블록버스터 비디오 게임들도 비슷한 방식으로 제작되었습니다. Infinity Ward는 2019년 Call of Duty Modern Warfare 프랜차이즈를 자체적으로 재출시하기 위해 사진 측량을 통해 수집한 데이터를 사용하여 표면 세부 해상도를 개선한 '타일링(tiling)' 프로세스를 수행할 수 있음을 알았습니다.
요점
사진 측량은 광범위한 3D 환경을 구축하는 데만 사용되는 것이 아니라 소품, 나뭇잎, 캐릭터 모델 등 많은 구성 요소에도 사용됩니다.
타이틀의 개발이 계속됨에 따라 스튜디오는 실험을 더 진행했습니다. 어떤 경우에는 팀원들이 시체 모델의 기초로 스캔되었으며 더 큰 환경을 캡처하기 위해 드론으로 비행하는 스캐너를 사용하기도 했습니다. 궁극적으로 소품, 풍경, 총, 차량 및 캐릭터 모델을 신속하게 생성할 수 있는 사진 측량을 통해 이 프로젝트는 이 기술의 비디오 게임 적용이 어디까지 발전했는지 보여주었습니다.
CGI 및 비디오 게임용 사진 측량 소프트웨어
이 기사의 앞부분에서 RealityCapture에 대해 언급은 했지만 이것이 높은 수준의 정확도로 비디오 게임용 3D 모델을 만들 수 있는 유일한 사진 측량 소프트웨어는 아닙니다. 예를 들어, 업계를 선도하는 게임 개발사인 EA(Electronic Arts)는 PhotoModeler를 사용하는 것으로 알려져 있습니다. 이 소프트웨어의 이상화(Idealize) 기능을 활용하면 처리 중에 렌즈 왜곡을 제거할 수 있습니다. 이를 통해 원시 자료와 더 잘 어울리는 선명한 게임 및 애니메이션 배경을 훨씬 쉽게 만들 수 있는 것으로 알려져 있습니다.
이 프로그램은 또한 널리 사용되는 CAD 형식으로 내보낼 수 있는 텍스처가 매우 정확한 모델을 생성하는 자동 포인트 클라우드 생성 알고리즘을 갖추고 있습니다. 그렇긴 하지만, 이 프로그램은 사진 측량용으로 엄격하게 만들어진 것은 아닙니다. 결과적으로 이 소프트웨어에는 전용 경쟁 제품의 자동화된 포토-투-솔리드(photo-to-solid) 작업 흐름이 없습니다.
RealityCapture의 자동차 사진 측량
놀라운 풍경의 디지털화를 위해 설계된 프로그램을 찾는 사람들을 위해 Unity는 Speed Tree를 내놓고 있습니다. 이 소프트웨어를 통해 3D 아트 도구에서 절차 생성 알고리즘에 이르기까지 모든 것을 사용하여 식물 생명체를 충실하게 재현할 수 있습니다. 따라서 Bungie 및 Ubisoft와 같은 게임 업체가 이 소프트웨어를 선택한 것은 놀라운 일이 아닙니다.
마찬가지로, 근접 및 원거리에서 캡처한 정교한 이미지 데이터를 처리할 수 있는 3D 모델 편집 소프트웨어인 Metashape를 제공합니다. 이 소프트웨어는 비디오 게임 개발보다는 연구, 조사, 방어에 더 많이 사용되지만 프로그램의 자동 보정 기능과 다중 카메라 지원은 복잡한 물체를 디지털화하거나 대규모 3D 환경을 만드는 사람들에게 매력적인 옵션입니다.
그러나 현재의 사진 측량 패키지를 사용하는 데는 몇 가지 단점이 있습니다. 많은 소프트웨어가 계층으로 판매되므로 사용자는 특정 기능에 액세스하려면 업그레이드해야 한다는 것을 알게 될 것입니다. 다른 소프트웨어에서는 프로그램에 기능이 아예 없을 수도 있습니다. 이는 신규 사용자가 특정 프로젝트에 필요한 추가 패키지를 파악하는 데 중점을 두기 때문에 신규 사용자의 진입 기준을 높입니다.
고전적인 Doom 비디오 게임 시리즈에 등장하는 괴물인 맨큐버스의 사진 측량
더욱 광범위하고 접근성이 높은 소프트웨어를 찾고 있다면 Artec Studio도 살펴볼 만합니다. Artec Studio는 3D 스캐너로 캡처한 데이터를 처리하는 것으로 더 잘 알려져 있지만, 최신 버전에는 AI Photogrammetry가 도입되었습니다. 앞서 언급했듯이 이 최첨단 기능은 3D 데이터 캡처의 매력을 일반화하고 넓혀줍니다.
AI의 힘을 활용하는 이 기술을 통해 사용자는 어떤 사진이나 비디오로도 형상적으로 상당히 정확하고 매우 사실적인 3D 모델을 만들 수 있습니다. AI Photogrammetry는 표면이 복잡하고 반투명하며 반짝이고 특징이 없는 객체도 캡처할 수 있습니다. 따라서 외관이 가장 중요한 비디오 게임 산업에 적합한 모델을 만들 수 있습니다.
요점
소프트웨어는 3D 세계 구축에 필수적이며 종종 프로그램 선택에 따라 캡처된 이미지를 수집하고 게임 내에서 표시하는 방법이 결정됩니다.
이러한 모델의 품질을 최적화하는 데 있어 이 프로그램의 Autopilot 기능은 몇 가지 체크박스 입력만으로 가장 효과적인 데이터 처리 알고리즘을 대신 선택할 수 있어 초보자도 그 어느 때보다 쉽게 작업할 수 있습니다.
또한 Artec Studio 사진 텍스처링을 사용하면 고해상도 사진의 3D 스캔에 텍스처를 적용하여 모델 색상의 선명도를 향상할 수 있습니다. 기술에 구애받지 않는 사진 측량을 통해 대형 객체와 풍경을 캡처할 수 있을 뿐만 아니라 드론으로 캡처한 이미지도 사용할 수 있어 대규모 애니메이션의 가능성을 열어줍니다.
대안으로서 3D 스캐닝
사진 측량은 유용한 비디오 게임 모델링 도구로 입증되었지만 한계가 있습니다. 결과물로 생성된 3D 자산의 정확도는 대상 물체를 촬영하는 데 사용되는 카메라의 해상도에 따라 달라집니다. 변하기 쉬운 날씨와 함께 보정, 각도 및 중복 문제로 인해 세밀하지 않은 모델이 생성될 수 있습니다 또한, 중복된 이미지를 캡처하고 결합하는 데 당연히 시간이 많이 걸립니다. 이러한 문제는 ‘더 효율적인 3D 모델링 방법이 있습니까?’라는 질문을 제기합니다.
World War 3: Artec Leo & Space Spider 스캐닝, Artec Space Spider로 스캔한 Glock 17 권총, Artec Leo로 만든 얼굴 스캔 이후 후기 캐릭터 개발
비디오 게임용 3D 모델을 생성하는 프로세스를 가속하고자 하는 사용자는 3D 스캐닝을 택하는 것을 고려해 볼 수 있습니다. 초당 최대 44 프레임의 놀라운 스캔 속도를 제공하는 Artec Leo와 같은 최첨단 장치는 사진 측량 사용자가 작업 흐름을 가속할 수 있는 잠재적인 수단이 될 수 있습니다.
과거에 스튜디오 The Farm 51은 이것을 달성했습니다. 이 개발사는 Leo를 다른 3D 스캐너인 Artec Space Spider와 결합하여 믿을 수 없을 정도로 사실적인 World War 3 비디오 게임 모델을 만들 수 있었습니다. 사실, 이 회사는 이전 타이틀을 개발할 때 사용한 사진 측량 방식에서 전환하여 단 몇 시간 만에 온라인 슈팅 게임용 캐릭터, 차량 및 무기 모델을 생성할 수 있었습니다.
Artec Leo로 검토 중인 World War 3 게임 플레이 및 초기 단계 캐릭터 개발 스캔
인기 있는 Xbox 비디오 게임 프랜차이즈인 Hellblade 또한 Artec 3D 스캐닝을 통해 만들어진 전신 3D 모델을 특징으로 합니다. Microsoft 소유의 Ninja Theory 스튜디오에서 모션 캡처 기술의 도움으로 개발된 이 게임은 주연 배우 Melina Juergens의 놀라운 게임 내 모형을 특징으로 합니다. Artec Eva의 인상적인 유연성과 정확도 덕분에 이 개발사는 캐릭터를 실제처럼 보이게 만들 수 있었을 뿐만 아니라 실제 사람처럼 움직이는 피부와 근육으로 캐릭터를 설계할 수 있었습니다.
이제 3D 모델링에서 규모는 더 이상 장애물이 아닙니다. Artec Micro II를 Artec Micro II를 사용하면 작은 객체의 디지털 버전을 만들어 최대 40마이크론의 해상도로 복잡한 디테일을 캡처한 후 게임 속 세계에 적용하는 데 사용할 수 있습니다. 반면에 장거리 Artec Ray II를 사용하면 필요한 경우 구조용 헬리콥터 전체를 포함하여 거대한 객체도 3D 스캔할 수 있습니다. 이 기술이 계속해서 새로운 대규모 모델링 애플리케이션을 찾고 있는 상황에서 이러한 차량을 가상 세계로 옮기는 데 사용할 수 없다고 누가 단언할 수 있을까요?
Creative Mesh의 팀을 예로 들어보겠습니다. 이 개발자는 Leo & Ray II를 함께 사용하여 PC 게이머들 사이에서 인기 있는 Farming Simulator의 놀랍도록 사실적인 DLC를 만들었습니다. 비행기와 같은 이동 수단부터 더 넓은 지역까지 모든 것을 캡처한 이 개발자의 3D 데이터 캡처에는 정말 한계가 없는 듯합니다.
MD-902의 3D 모델과 Artec Leo로 3D 스캔 중인 헬리콥터
사진 측량과 3D 스캐닝의 결합
또 다른 옵션은 사진 측량과 3D 스캐닝을 함께 사용하는 것입니다. 이는 사진 측량으로 넓은 장면을 캡처한 다음 전문 3D 스캐너를 사용하여 이 영역 내의 개별 물품을 디지털화하는 방식입니다. 사진 측량은 거의 모든 사진 세트에서 작동하므로 드론을 활용하여 실제 장면을 캡처하고 이를 비디오 게임 형식으로 대규모로 재현할 수도 있습니다.
사진 측량과 3D 스캐닝 데이터 세트를 병합할 때 Artec Studio는 다른 제품보다 성능이 뛰어납니다. 완전히 다른 메시 데이터를 결합할 수 있을 뿐만 아니라 사진 텍스처링 기능도 탑재되어 있어 모델에 텍스처를 수작업으로 적용할 수 있습니다.
AI Photogrammetry를 고려하면 Artec Studio는 두 가지 장점을 모두 제공합니다. 즉, 3D 스캐닝과 사진 측량, 또는 애플리케이션에 필요한 경우 둘 다를 활용할 수 있습니다.
결론
위에서 설명한 실제 애플리케이션에 비추어 볼 때 사진 측량과 3D 스캐닝이 게임 산업의 그래픽 경계를 넓히는 데 도움이 되고 있다는 것은 분명합니다. 스캐닝을 사용하여 제작된 각 블록버스터는 조금씩 서로 다른 3D 플랫폼을 사용했기 때문에 현재로서는 특정 비디오 게임의 모델을 반복적으로 제작할 수 있는 만능 솔루션은 없지만, Artec Studio가 이러한 솔루션에 가까워지고 있습니다!
대신, 스튜디오에서는 게임 개발을 위해 특별히 설계된 하드웨어와 소프트웨어 패키지를 선택해야 하며, 더 광범위한 애플리케이션용으로 제작된 패키지도 있습니다. 이러한 패키지 중 하나를 선택할 때 개발자는 게임 내에서 재현하고자 하는 환경의 유형과 가상 세계의 객체에 구현하고자 하는 그래픽 충실도와 같은 요소를 고려해야 합니다.
다행히도 이러한 제작자들을 위해 게임 분야에서 사진 측량과 3D 스캐닝의 채택이 증가하면서 다양한 요구 사항을 충족하는 제품이 출시되고 있습니다. 모든 형태와 크기의 객체를 정확하게 재현하여 가상 세계에 업로드, 조정 및 통합할 수 있는 이 기술의 검증된 성능을 통해 제작자들은 새로운 최첨단 게임 개발을 가속화하고 있습니다. 또한 AI가 3D 모델링 프로세스의 자동화를 위협하고 있는 상황에서 AI Photogrammetry와 같은 기능은 개발자의 도구 상자를 더욱 효율적으로 만들어 줄 것입니다.
위의 모든 점을 고려할 때, CGI 및 비디오 게임 산업에서 사진 측량과 3D 스캐닝은 흥미로운 시기이며, 이 기술이 이러한 애플리케이션 등에서 어떻게 혁신을 계속 주도해 나가는지 지켜보는 것은 매우 흥미로울 것입니다.
다음으로 이것을 읽으십시오
3D 모델은 어디에나 있습니다. 우리가 마주치는 모든 물리적 물체 뒤에 있으며, 다양한 산업에서 널리 사용됩니다. 이 안내서에서는 처음부터 모델을 설계하는 것부터 3D 스캐너로 물리적 물체를 디지털화하는 데 이르기까지 가장 널리 사용되는 3D 모델링 방법을 다룹니다.
학습 센터에서
더 자세히 알아보기
사진 측량은 사진에서 신뢰할 수 있는 측정값을 얻는 과정입니다. 그것은 수 세기 동안 어떤 형태로든 우리와 함께해 왔으며 지구 표면과 같은 것에 대한 우리의 이해를 구체화하는 데 도움을 주었습니다. 오늘날, 사진 측량은 많은 산업 분야에서 중요한 역할을 합니다. 이것이 무엇이고, 어떻게 작동하는지에 대한 일반적인 이해를 돕기 위한 입문서가 여기 있습니다.
최근에는 한때 대부분의 사람들이 접근할 수 없었던 사진 측량의 진입 장벽(주로 가격과 사용 가능한 기술)이 상당히 완화되었습니다. 이는 사진 측량이 더욱더 광범위하게 채택될 수 있는 길을 열어 더 나아지고 성능이 우수하며 사용자 친화적인 소프트웨어의 개발을 장려했습니다. 여기에서 현재 시중에 나와 있는 소프트웨어를 살려봅니다. 호환성, 가격, 장단점 및 사진 측량 요구 사항에 대한 솔루션을 찾고 있는 경우 상황을 파악하는 데 도움이 되는 몇 가지 중요한 세부 사항에 대해 이야기해 보겠습니다.
3D 모델을 생성하는 프로세스는 작업에 적합한 도구를 선택하는 것으로 시작하며, 이 선택은 주로 3D 모델이 필요한 용도, 즉 3D 모델의 사용 계획을 중심으로 이루어집니다. 가장 많이 사용되는 도구로는 3D 스캐닝과 사진 측량이 있으며, 이 기사에서는 특정 프로젝트에 대해 이 두 개의 도구 중 어떤 것을 선택해야 하는지 그리고 언제 이 두 개의 도구를 결합할 수 있는지 설명합니다.