비자발적 불편함 HMD(Head Mounted Display)의 홀릭
김헌식(카이스트 미래세대 행복위원회 위원, 문화정보콘텐츠학 박사, 평론가)
사람은 기본적으로 내추럴 커뮤니케이션을 지향한다. 예컨대 안경이나 콘텐츠렌즈를 쓰기보다는 없이 사물이나 사람을 보기를 원한다. 그렇기 때문에 시력이 나쁜 사람들은 안경이나 렌즈를 벗기 위해 라식이나 라섹 수술을 한다. 이러한 상황에서 좀더 다른 세계를 보기 위해 무엇인가를 눈앞에 장착을 한다. 바로 HMD(Head Mounted Display)이다. 이는 주로 가상현실에 관련이 되는 것으로 보이지만, 증강현실이나 혼합 현실에도 적용될 수 있다. HMD(Head Mounted Display)는 과연 그렇게 머리에 착용할 만큼의 즐거움과 행복감을 주는 것일까.
HMD(Head Mounted Display)형 VR 기기는 머리에 장비를 쓰고 시각적 자극을 받아들이는 원리를 차용하고 있다. 텔레비전이나 컴퓨터, 스마트폰 디바이스와 같이 거리를 두고 이용하는것이 아니라 바로 눈앞에 보일 수있도록 머리 주변으로 둘러매게 된다.
GUI(Graphic User Interface, 오늘날 윈도 운영체제처럼 그래픽을 기반으로 한 컴퓨터 사용 환경)을 착용한 셈이다. 1965-1968년까지 반 서덜랜드(Ivan Sutherland)제자인 밥 스프로울(Bob Sproull)은 HMD 형태의 가상현실 기기와 증강현실 기기를 만든다. 처음에는 기기가 너무 무거워서 천장에 매달지 않으면 앞에 나오는 영상을 볼 수가 없었다. 원래 이 장비는 영상관람이 아니라 군사용으로 개발된 것이다. 특히 비행기 조송사의 헬멧에 착용하게 하고 그 헬맷 안으로 각종 정보가 제공되도록 고안했다. 이를 처음으로 콘텐츠 분야에 적용한 곳은 닌텐도였다. 바로 버추얼보이가 여기에 해당하는데 닌텐도는 게임에 이를 응용해보았던 것이다. 말은 휴대용이라고 하였지만 2kg이나 무게가 나갔기 때문에 탁자에 장착을 하거나 누워서 사용을 해야 했다. 양안시차 즉 오른쪽 눈과 왼쪽 눈의 각도의 차이로 사물을 입체적으로 볼 수 있는 원리를 응용해 주목을 받았다. 그러나 3D초점이 맞지 않아 두통을 유발해 곧 사라졌다. 그러나 이때까지만 해도 아날로그 방식이었을 뿐만 아니라 모니터에 반드시 붙어 있어야 했다. 오늘날 오큘러스VR이 만든 HMD는 센서가 달려 있다. 그렇기 때문에 착용자가 움직이면 화면이 이를 반영해서 각도와 위치를 자동적으로 변화시킨다. 소니가 공개한 모피어스는 플레이스테이션4의 다양한 입력장치를 이용해 몸체의 움직임까지 인식하고 오큘러스 리프트가 놓친 소리의 움직임까지 구현한다.
HMD가 가상현실 중심의 기기로 생각하는 경향이 있는데 증강현실에서도 충분히 사용될 수 있다. 그것의 대표적인 예가 마이크로 소프트 사의 홀로렌즈이다. 홀로렌즈하면 단골로 언급되는 영화가 바로 ‘마이너리티 리포트’(majority report, 다수 의견)다. 주인공 톰 크루즈가 허공에 손가락으로 다양한 이미지를 불러내고 자료처리를 하는 모습이 인상적이었다. 가상현실은 그냥 착용자가 그 환경에 맞게 적응하고 수동적으로 반응을 보여 결과를 만드는 것이라면 증강현실은 좀 더 능동적이라고 할수 있다. 컴퓨터와 상호작용을 할 수가 있어서 문서를 작성하거나 저장된 문서를 불러내고 그래픽을 만들거나 그것을 전송할 수도 있다. 허공에 물체나 대상을 띠워놓고 자신이 원하는대로 뭔가 작업을 할 수 있다. 게임으로 치자면 실제 공간에 뭔가 가상의 이미지를 띄워 놓는데 그 이미지와 상호활동을 하게 된다.어쨌든지 가상현실이나 증강현실이나 머리에 뭔가를 둘러써야 한다는 점에서는 여전히 공통점을 가지고 있다.
머리에 뭔가를 둘러써야 한다는 것은 쉽지 않을 수 있으며 사람의 머리 모양도 다 다르기 때문에 입체감이나 실제감도 조금씩 다를 수가 있다.
실제 사람의 눈에 받아들이게 되는 화각보다 좁고 가까운 거리에 영상을 두게 된다. 가까운 영상에서는 강한 빛의 깜박임 등이 나와서 시신경을 자극하게 된다. 이 때문에 시력저하, 근시, 망막 이상, 습관성 시신경 경련등이 일어날 수 있다. 사이버멀미라는 현상도 있다. 착용자의 시선을 돌리는 속도와 화면에 나타나는 이미지 사이에 실시간으로 매칭이 이뤄지지 않는 지연이 발생한다. 눈으로 보는 것과 뇌로 판단하는 것 사이에 차이가 생긴다. 이것이 계석 누적적으로 계속되면 일시적인 공황상태나 광 과민성 발작 증상, 뇌전증(간질) 등을 일으킬 수 있다. 멀미나 어지러움증을 해결하기 위해서 트래킹 기술, 직관적인 제츠처 기술, 실시간성을 보완한 모션캡쳐 기술 등이 연구되고 있지만 해결방법은 없다.
중독 증상에 따른 부작용도 우려한다. 이 가상현실의 경우에는 다른 영상 콘텐츠나 게임에 비해 몰입감을 더 강하게 할 뿐더러 현실과 가상을 구분하지 못하게 할 수있다. 특히 이런 것에 익숙하지 않거나 쉽게 취약성을 갖게 되는 심리적 약자나 어린이등은 더 우려된다. 청소년이라도 감정과 충동을 조절하는 전전두엽이 성숙하지 않아 강한 자극에 계속 닿으면 정서 발달, 감정 통제, 분노 조절 등에 부정적인 영향을 주게 된다.
이 때문에 문제 증상을 예방하기 위한 기술도 발전하고 있다. VR/AR에 관해 '아이지에스트림(IGSTRIM–생체 데이터 수집 솔루션)'은 실감형 콘텐츠가 사람에게 어떤 영향을 미치는지 측정하는 장비로 뇌파(EEG – Electroencephalography)를 분석하는 것을 목적으로 개발되었다. IGSTRIM 장비를 착용하고 그 위에 HMD를 착용하면 장비는 뇌 곳곳을 측정한다. VR/AR 테스트베드 플러스 내에서는 총 3대의 카메라와 콘텐츠 녹화 시스템이 있어 뇌파 측정과 동시에 기록이 된다. 콘텐츠 영상과 실험자의 행동, 뇌파의 변화를 같이 기록해 어떤 구간에서 뇌에 영향을 주는지 분석 한다.
한국정보통신기술협회(TTA)는 가상현실(VR) 콘텐츠 경험시 어지럼증과 멀미, 구토감을 제어하고 몰입감을 극대화하기 위한 VR 제작지침일 제시한바가 있다. 지연시간, 프레임률, 가상카메라 움직임, 모션플랫폼 ,사운드, 사용자인터페이스 등에 관해서였다. 지연시간(Motion-to-photon Latency)최적화가 필요하다. 지연시간은 사용자 몸의 동작시간과 HMD상의 영상신호가 표현되는 시간 차이다.머리 움직임 추적 반응시간, 렌더링, 영상전송, 디스플레이 응답속도 등에 차이를 만든다. 사용자의 몰입감과 불편감을 좌우한다. 가상현실 콘텐츠에서 지연시간은 가능한 20ms 이하가 좋다. 20ms 이하일 때 지연시간을 인지못하기 때문이다. 프레임률 최적화가 필요하다. 프레임률은 초당 재생되는 프레임 수이며 HMD 영상장치의 재생률에 반영되어야 한다. VR 영상 콘텐츠는 초당 30프레임 이상, 그래픽 기반 게임과 같은 콘텐츠는 초당 90프레임 이상 재생될 수 있어야 한다. 만약 프레임률이 낮으면 화면이 깜박거리거나 일그러지는 플리커링 현상이 나타나 두통, 눈의 피로 광과민성 발작 등을 유발한다. 또 가상 카메라의 가속움직임(전후/좌우 이동. 줌, 회전) 은 가능한 빈도 수가 낮도록 하고 일정한 이동속도로 움직여야 한다. 사용자인터페이스배치에서 3차원 객체화시켜 3차원 공간상에 배치해야한다. 사용자인터페이스 카메라가 움직임에 따라 화면상에서 움직이는 사용자 메뉴인 전방표시장치(HUD) 형태로 보이면 멀미를 일으킬 수 있다. 모션플랫폼 탑승 사용자는 신체 움직임과 VR 영상에서 제공되는 시각적 경험 간의 일치를 위해 VR 입력과 VR 모션 출력 간의 전달 지연시간을 150ms이하로 맞춰야 한다. 사운드도 사용자의 움직임에 따라야 한다. 사용자의 머리가 움직이는 방향에 맞춰 사운드 위치를 조정한다. 이럴 때 멀미 및 어지럼증을 적게 느낄 수 있다. 머리 방향에 맞춰 음향 자극이 되면 실제 상황과 유사하게 느낀다.
두통이 시각적인 측면 때문에 시각적인 측면을 제외하고 오디오를 통해서 가상현실을 구현하는 노력도 이뤄진 것이 사실이다. 일반적인 WAV, MP3 음원으로 서라운드 입체 음향을 구현해 사물의 움직임과 주변의 상황을 소리만으로 표현한 것이 바로 오디오 VR이다. 고가의 VR HMD가 없어도 핸드폰과 이어폰만으로 즐길 수 있는 VR 게임 '움벨트(Umwelt)’를 예로 들 수가 있다. 움벨트의 오디오 VR은 게임 내 모든 대사의 100% 성우 더빙과 모바일의 자이로 센서, 시점에 따라 바뀌는 3D 사운드 효과를 냈다.
가벼우면서도 고해상도의 HMD를 개발하는 노력도 계속되고 있다. 2019년 3월 12일 한국과학기술연구원 등은 국내 기술로 4K급 고해상도 증강현실(AR) 머리착용 디스플레이(HMD)를 개발했다고 밝혔다. 기존 AR HMD는 크기가 크고 무거우며 저해상도의 디스플레이를 탑재한 반면, 이 기술은 국내 최초로 홀로그래픽 광학 소자를 이용한 초박형 고효율의 조명 광학 시스템을 이용해 부피와 무게를 대폭 줄였다. 또 초정밀 비구면 플라스틱 컴바이너 설계기술을 바탕으로 4K급 해상도의 선명한 영상으로 AR이 가능하도록 했다. 국외에서도 핵심기술인 홀로그래픽 광학 소자가 AR HMD에 적용돼 UHD급 4000 픽셀 해상도인 4K를 구현한 사례는 전무했다. 다만 그보다 낮은 해상도인 풀HD급 '2K' 수준의 영상을 탑재한 사례는 있었다. '홀로그래픽 광학 소자'(HOE)를 이용한 초박형 고효율의 조명 광학 시스템을 적용한다. 이렇게 하면 전체적인 부피와 무게를 줄이고 4K급 해상도 영상 구현이 가능하다는 것이다. 풀HD급인 2K보다 훨씬 해상도가 높아진 UHD급인 4K수준으로 해상도를 올리는데 사용된 홀로그래픽 광학 소자는 홀로그래피 기술을 이용해 제작된 일종의 회절 광학소자이다. 이는 홀로그램에 기록된 파형을 재생시키거나 변형시켜서 투과되거나 반사된 빛의 형태를 원하는 형태로 만들고자 제작된 광학소자를 말한다.
미국에서는 매직리프 기술이 개발되기도 했다. 의문점은 홀로그램을 여러 사람이 볼 수 있는 방안에 보내는 것이 아니라 눈과 뇌가 잘 인지할 수 있도록 보내면 되지 않겠는가 하는 점이다. 매직리프 기기에서는 투명렌즈에 빛을 투사해 망막에 반사하는 초소형 프로젝터를 탑재하고 있다. 망막에 반사되는 빛 때문에 사용자가 현실세계에서 받아들이는 빛과 일치율이 높아 시각피질이 인공 객체를 실제 객체와 거의 구분하지 못한다. 스탠퍼드대 전기공학과의 컴퓨터 이미징 및 디스플레이 연구자 고든 웨츠스타인 교수는 이렇게 하면 더 편하게 볼 수 있다고 했다. 이 기술을 HMD에 적용해 눈 가까이 이미지를 보여주고 모든 이미지가 선명하게 보일 수 있게 초점을 일관되게 계속 맞출 수 있다면 3D 이미지를 훨씬 불편감 없이 접할 수 있다는 것이다. 실제로 이는 국내 업체와도 공급계약이 이뤄지기도 했다. 집안에서 가상의 초대형 TV를 여러 대 동시에 볼 때 단지 고개를 돌려 원하는 채널을 볼 수 있고, 복합 쇼핑몰에서 현실세계에서 쉽게 길안내를 받을 수 있고 매장에 들어가지 않고도 3D로 품목을 보고 선택할 수 있다는 것이다.
HMD(Head Mounted Display)는 딜레마가 있다. 불편함을 감수하고 이것을 머리에 장착을 할때는 그 때문에 발생하는 부작용을 최소하면서도 더 멋진 광경이나 체험을 제공해야 한다. 그런데 그것을 제공할수록 중독에 따른 몸에 부정적인 영향은 커진다. 이 때문에 여러 가지 제어책이 필요하다는 주장이 나오게 되는 것이다. 강요된 불편함이라면 그것이 얼마나 지속될지 알 수 없다. 개인적으로나 사회적으로도 말이다.