서 론
요즈음의 디지털 영상 기술은 최근 AI 기술의 획기적인 발전과 함께
어느 누구라도 실물과 디지털 영상을 쉽게 구별하지 못할 정도로 발전하였다.
최근 오래된 유물의 유골을 가지고 고대인의 얼굴을 예측해 내고,
얼굴의 모양과 근육의 움직임 등 표정을 입혀서 실제 당시의 사람이 움직이는 것 처럼
표현해냈는데, 정말 현재 속에서 살아 있는 것인지 아니면 고대의 것인지 일반인이 봐서는
쉽게 잘 구분이 되지 않는다는 것이다.
요즘 영상 기술은 어디까지 갈 것인가?
최근 AI 기술은 그 표정이나 행동을 정말 자연스럽게 한 것을 보면서 감탄이 절로 나온다.
예를 들면,
이순신 장군의 유골을 가지고 당시 얼굴을 비슷하게 재연해 내는 것인데, 이게 가능하다!!
그래서 현재 진행되고 있는 메타 휴먼 기술의 현황을 함께 알아보고,
주요한 이슈 및 미래의 메타 영상 발전의 가능성을 살펴보고자 한다.
본 론
시장조사 기관, 이머전시 리서치(Emergency Research)는,
전 세계 디지털 휴먼 시장이 2020년 100억 달러(약 13조 원)에서,
2030년에는 약 5,300억 달러(약 690조 원) 로 증가할 것으로 예측한다.
디지털 휴먼은,
최근, 메타버스, 교육, 금융, 쇼핑, 의료, 금융 등 그 컨텐츠 서비스 영역이 대폭 확대되면서 특히 최근 소셜미디어, 게임, 엔터테인먼트 산업에서 급부상 중이다.
1. 디지털 휴먼이란 과연 무엇인가?
디지털 휴먼은, 실제와 구분하기 어려울 정도로 인간의 모습 과 행동이 유사한 3D 가상 인간이다.
최근 기술의 발전은 이러한 가상 인간의 제작을 용이하게 만들었고,
이들을 다양한 분야에서 활용할 수 있게 한다.
1996년에 일본에서 최초로 아이돌 가상인간, 다테쿄코가 등장했고,
1998년 우리나라에서는 사이버 가수 아담이 등장했는데 당시 기술 수준의 낮아서 얼마가지 못했다.
그런데 그 이후 최근 20여연 동안 컴퓨터 그래픽과 하드웨어 용량의 고도화로 인해
초기의 어색하고 뭔가 허접한 움직임은 찾아볼 수 없고, 매우 세련되고 정교한 움직임과 표정을 만들어냈다. 2021년 페이스북은 회사 이름을 메타로 바꾸면서, 상표 저작권으로 약 400억원을 지불한 것으로 알려졌다.
그만큼 디지털 휴먼이 대세이다 보니, 메타버스를 통한 디지털 휴먼 기술의 주도권을 잡겠다는 것이다.
혹시 애나(ANA), 로지(Rozy), 리나(RINA) 등의 이름을 들어보았는가?
요즘 MZ 세대 사이에서 화제가 되고 있는 SNS내 인플루언서들의 이름이다. 그들은 매력있는 외모, 노래와 춤은 물론 패션 감각이 뛰어나서, 이들의 차림새와 언행이 패션과 소셜 미디어를 주도하고 있고, 방송계, 광고계를 비롯 다양한 엔터테인먼트 영역에서 뜨거운 트렌드를 주도하고 있다. (Trend Setter)
이 중 리나는 2022년 3월 배우 송강호, 비의 소속사인 써브라임(SUBLIME) 아티스트 에이전시와 전속 계약도 맺었다. 즉 이들은 실제 인물이 아닌 가상의 디지털 아이돌이 된 것이다. 최근의 디지털 휴먼은 더욱 발전된 콘텐츠 제작 기술을 통해 가상공간에서 등장하여 현실공간에서도 활동하는 존재인 것이다.
가상과 현실의 경계가 허물어지면서, 디지털 휴먼이 일상 속에서 활용하는 사례가 점차 늘어나고 있는데,
가상의 공간에서 실제 인물을 대체하여 대면 서비스를 제공하는 가상 비서 서비스, 실제의 인물을 대신하는 버츄얼 유튜버(Vtuber), 현실의 공간에서는 실존하지 않지만,
가상의 공간에서만 존재하며 영향력을 발휘하는 디지털 인플루언서 등의 활용 사례는 대폭 증가하여,
그 영향력은 우리가 생각해왔던 것 보다 훨씬 강력해지고 있다.
코로나 팬더믹을 거치면서, 비대면 콘텐츠의 확장과 메타버스를 필두로 하는 혼합현실에 대한 다양한 수요가 증가하는 요즈음, 디지털 휴먼에 대한 수요 및 적용 분야는 지속해서 증가할 것이다.
2. 디지털 휴먼 기술 발전의 배경
이렇게 디지털 휴먼 기술의 발전의 배경에는 게임 산업 기술 발전이 가장 큰 역할을 하고 있다.
실제로 게임 속 등장인물이 현실에 좀 더 비슷하게 느껴지기 위해 다양한 기술이 발전해왔는데,
요즘에는 최고의 게임 캐릭터들이 컴퓨터 그래픽과 정교해진 3D 기술로 인해,
진짜 인간들과 구별할 수 없을 정도의 수준으로 인간의 모습을 만들어내고 있다.
또한 인공지능 기술을 적용하는 데서, 로봇 같은 존재가 아닌, 자신의 감정을 표정과 동작으로 나타낼 수 있는 인간 같은 존재로 표현해내고 있는데, 실제로 인간처럼 정교하게 만들어진
디지털 휴먼이 탄생하기 위해서는 다양한 AI 기술을 필요로 한다.
인간의 눈, 입, 귀, 두뇌를 보다 실제처럼 보이도록 하기 위해서는 대화형 인공지능, 딥러닝,
기계 독해, 실시간 음성/영상 합성 등 전반에 걸쳐 고도화된 기술이 필수로 요구된다.
이와 관련된 첨단 기술력을 보유한 다양한 기업들이,
다양한 분야에서 각기 기술을 발전시키고 서로 협력하여 한층 정교한 디지털 휴먼 생태계를 만들어가고 있다.
디지털 기술이 발전하면서 메타버스가 콘텐츠 시장에서 주요 화두가 되면서, 예전과는 차원이 다른 고품질의 3D 모델이 만들어지고
최근 현실과 혼합된 콘텐츠와 서비스 시장이 점차 확대되고, 3D 가상 아바타 제작과 관련된 엄청난 기술들이 급격히 발전되고 있다.
가상 인간이 등장한 1996년 경에는 기술적인 수준이 미미했지만, 지금의 디지털 휴먼의 그 표정과 행동이 실제와 매우 유사해 졌고
오히려 다양한 기술과 연계되면 실제보다 더 다이나믹한 콘텐츠를 만들어 낼 수 있음을 보여준다.
실제 사람과 같은 외형과 말을 하는 3D 가상 인간으로 정의할 수도 있고,
영화 아바타 개념에서 좀 더 발전한 형태의 3D 휴먼 모델 등, 디지털 휴먼을 활용한 가상 비서 서비스를
제공하는 인공지능 서비스가 더욱 확대되고 있는 추세인데,
피부 음영, 머리카락, 정확한 리깅 및 에니메이션 등 세밀한 움직임이 더해지면서,
가상 인간(Virtual Human) 및 복제 디지털인간 (Digital Double)의 개념을 포함하는 것이다.
VFX 기술과의 결합을 통해 대역 배우의 역할을 수행할 수도 있는 것이다.
(참고 : VFX(visual effect)는 특수영상이나 시각효과를 뜻한다. 영화나 애니메이션 그림 등에 적용되는 영상제작기법 중 현장에서 촬영하기 어려울 때 사용하는 기법으로 흔히 CG특수효과라고 함)
①실제 사람의 외형을 모방
②실제 사람의 행동양식을 모사
③사람의 역할을 대체 하는 단계로 나아가고 있는데,
사람의 역할을 대체할 목적으로 실제 사람의 특징과 외형을 본떠 만든 3D 인체 모델과 함께
AI가 추가 접목되면 향후 다양한 분야에서 사람들의 역할을 대체해 나갈 수 있을 것이다.
하지만 최근의 디지털 휴먼은, 더욱 발전된 콘텐츠 제작 기술을 바탕으로 가상공간에서 등장하여
현실공간을 배경으로 활동하는 존재이다.
가상과 현실의 경계가 허물어지면서 디지털 휴먼을 일상 속에서 활용하는 사례가 점차 늘어나고 있다.
가상의 공간에서 실제 인물을 대체하여 대면 서비스를 제공하는 가상 비서 서비스, 실재의 인물을 대신하는 버츄얼 유튜버(Vtuber), 현실의 공간에서는 실존하지 않지만,
가상의 공간에서만 존재하며 영향력을 발휘하는 디지털 인플루언서 등의 활용 사례는 점차 증가하고 있고,
그 영향력은 우리가 생각해왔던 것 보다 훨씬 강력해지고 있다.
코로나 19로 인하여 촉발된 비대면 콘텐츠의 확장과 메타버스를 필두로 하는 혼합현실에 대한 다양한 수요가 증가하는 현재 상황을 봤을 때, 디지털 휴먼에 대한 수요 및 적용 분야는 지속해서 증가할 것으로 예상한다.
4. 디지털 휴먼을 만드는 기술
3차원 모델을 표현하는 방법은 두가지가 있는데,
첫번째는 포인트 클라우드이고,
두번째는 메쉬이다.
포인트 클라우드(Point Cloud)는 물체를 구성하는 주요 좌표값의 집합을 의미하고,
Lidar, RGB-D 카메라 등의 장비를 통해 물체의 표면을 측정하여 데이터를 수집한다.
포인트 클라우드에 면을 형성하면 메쉬를 만들 수 있고, 포인트 클라우드를 메쉬의 정점(vertex)으로 취급한다면, 포인트 클라우드와 메쉬는 동일한 정보를 표현하는 데이터라고 볼 수 있다.
디지털 휴먼을 제작하는 방식은,
①스컬핑 등 3D 모델링을 기반 으로 하는 제작 방식과
②실사 모델을 기반으로 하는 제작 방식으로 구분되고,
최근에는 이 두 제작 방식을 혼합하여 콘텐츠를 효율적으로 생성하는
하이브리드 방식도 있다."
정밀한 디지털 휴먼을 제작하기 위해서는 다음 세 가지의 기술을 필요로 한다.
첫째는, 정밀한 3D 모델을 위해, 3D 모델링 기술, 리깅(Rigging, 뼈대 심음)과 택스쳐 맵핑과 에니메이션의 모션 캡쳐 및 키애니메이션 등이 있다.
실사 기반의 디디털 휴먼을 만들 때는 움직임과 모델의 기본이 되는 인물을 촬영하고 얼굴과 표정을 3D 맵핑해서 합성한다.
이 방법을 통해 빠르게 움직이는 인물에 대한 모션과 영상을 획득하고, 최종 결과물이 전신이 구현된 3D 모델은, 리깅으로 3D 모델에 변화를 줘서 자연스럽게 변형되게 하고
각 부위를 구분하여 가동 부위를 정해서 뼈대를 심는 과정이다.
정밀하게 리깅을 완료하여, 3D 모델의 형태와 관절을 유기적으로 잘 연결되게 해서, 3D 모델의 애니메이션에 대한 완성도를 높여준다.
둘째는, 자연스러운 움직임을 재생 또는 구현할 수 있는 모션 캡쳐 기술이다.
주로 사용되는 모션 캡쳐의 방식에는
표시(Marker)를 통해 움직임을 추적하는 마커 방식(광학식)과
센서를 이용한 마커리스 (Markless)(자이로식) 방식이 있다.
그밖에도 카메라를 통해 획득한 이미지를 기반으로 인공지능 기술을 이용하여 움직임을 추정하는
이미지 기반 (또는 비전 기반)의 모션 캡쳐가 있다.
또한 세밀한 감정 표현, 움직임 표현을 위한 안면의 움직임과 손가락의 움직임을 캡쳐하는 기술도 필요하다. (머리 고정형 얼굴 모션 캡쳐 리그, 크래킹 글러브, 또는 센서 이용)
셋째, 목적에 맞는 상호 반응 및 3차원 모델을 변형할 수 있는 인공지능이다.
빅데이터 처리와 데이터 마이닝을 통한 인공지능 고도화, 자연어 입력 및 출력 기술을 통해
주어진 상황과 입력된 질문에 자연스럽게 반응 및 처리하는 딥 러닝을 통한 이미지 학습과
정밀도 향상이 필요하다.