비정형 데이터와 시각화(Data Visualization) 그리고 디자인, 데이터 아티스트
김헌식(카이스트 미래세대 행복위원회 위원, 문화정보콘텐츠학 박사)
아마도 인간이 존재하면서 지금까지 춤이 없었던 적이 없으며 앞으로 마찬가지일 것이다. 가장 원초적이면서 창조적인 춤이다. 원초적으로 남녀간에 선호하는 춤은 같을까, 다를까. 같다면 이런 질문을 던지지도 않았을 것이다.
지난 2010년 영국 뉴캐슬 노섬브리아 대학(Northumbria University)의 심리학자들이 연구한 결과를 <네이처>지에 발표했다. 18세에서 35세 사이 19명의 남성의 춤을 데이터로 기록하고, 3D 모션 캡쳐 기술을 이용해 아바타를 만들었다. 이는 인간의 주요 부위에 센서를 부착해 입체적으로 움직임을 포착해 동작을 구현하는 기술이다. 이 아바타는 얼굴이 없었고 원과 구형의 관절형태로 이뤄져 인체를 표현할 뿐이었다. 이렇게 한 이유는 외모가 선택의 의사결정에 영향을 미칠 것을 우려했기 때문에 이를 사전에 차단하는 조치였다. 그 결과 여성들이 좋아하는 춤은 다양한 동작이었다. 몸을 전체적으로 잘 움직여줘야 했다.
그렇다면 남성들이 여성에게 매력적으로 느끼는 춤은 어떨까? 39명의 여성들에게 춤을 추게 하고, 그것을 데이터에 기록한 뒤 3D 모션 캡쳐 기술을 활용해 여성 아바타를 만들었다. 여성아바타도 외모상에얼굴등을 그리지 않았고 옷도 없었다. 다만 가슴과 엉덩이를 남성 아바타와 달리 그렸다. 여성의 춤은 엉덩이와 허벅지, 팔이 중심이었다. 남성들이 매력적으로 느낀 춤동작은 엉덩이를 많이 움직이고 허벅지를 좌우 비대칭으로 움직이며 팔동작을 하는 것이었다. 좋아하는 춤은 문화 권 별로 다르기 때문에 절대적으로 말할 수 없다. 다만, 평균적으로 그럴 수 있다고 유형화 할 수 있을 뿐이다. 그럼에도 이렇게 데이터를 분석해서 선호도를 파악할 수 있는 것이 디지털 기술을 통해서 가능해졌다는 점이다. 이전에는 설문조사에 의존하는 방식으로 선호하는 춤을 알아낼 수 있었지만 이는 상당히 불완전한 것이었다. 아마도 나라와 문화권 별로 데이터를 수집한다면 좀더 개별적으로 다른 선호의 춤을 만들어낼 수도 있을 것이다. 특정 춤 장르가 왜 상호간에 선호에 영향을 미치고 미치지않는 지를 알 수가 있다.
이는 비정형 데이터(unstructureed data)라고 할 수 있다. 비구조화된 데이터, 비구조적 데이터라고 하는데 어떤 모델링에 따라체계적으로 정리되지 않은 정보를 말한다. 대표적으로 움직임에 관한 데이터들 동적인 데이터들이라잘 정의할 수 없었던 데이터를 말한다. 비정형 데이터는 정형 데이터가 숫자로 되어 있는 것과 달리 영상이란 그림등 처럼 구조와 형태가 단순하지 않은 데이터이다. 이미지(PNG, GIF, TIF, PDF등), 음성파일이나 영상 콘텐츠 등을 포괄한다.
이런 비정형 데이터는 패션에도 밀접하게 영향을 미친다. 디지털 공간에서는 사람들이 좋아하는 옷의 이미지를 기록 저장할 수 있는 환경이 조성되었다. 말이 아니라 사진을 통해서 각각 원하는 패션 스타일을 맞춰 줄 수 있기 때문이다. 사람들이 원하는 옷에 관해 숫자와 말로 설명이 이뤄진다면 그 과정에서 착오가 많이 일어날 수밖에 없다. 또한 자신이 정말 원하는 옷이 무엇인지 제대로 알지 못하거나 인식을 할 수 없게 된다. 이렇게잘 구조화된 정보인 것 같지만 잘 구조화되었다고 해서 그것이반드시 적절한 정보 나아가 유용한 정보인지 알 수 없다. 단지 잘 구조화만 된 것이고 실제적인 효용은 적게 때문에 비용대비 비생산적이게된다. 무엇보다 만족도는 떨어진다. 단순히 이미지화했기 때문에 정보의가치가 높아지는 것이 아니라 그러한 이미지화를 적절하게 사람들의 요구에맞춰주는 것이 큐레이션 서비스라고 할 수가있다. 딥러닝을 통한 새롭게 업그레이드 된 인공지능 프로그램에 바탕을 둔다. 사람들의 과거 선택을 통해 연관되는 이미지 즉 상품 사진을 보여줄 수 있는데 이를 두고 정확히 예측했다고 말하기는 힘들 것이다. 그것은 과거이고 선택은 미래이며 인간의선택은 항상 살아 움직이기 때문이다.
사실 데이터를 활용하는 방식에는 두 가지가 있다. 하나는 우선 데이터 분석을 들 수 있다. 데이터가 어떤데이터인지 분석하는 것이다. 여기에는 분석 방법과 분석 툴, 분석 모델이 있어야 한다. 데이터를 많이 모은다고 자동적으로 의미있는 결과물이 나오지 않는다. 아무리 금광석을 많이 모아 놓아도 그것을 어떤 기술로 녹여내고 추출할 수 있는지 노하우를 가지고 있어야 한다. 일단 금광석인지 아닌지부터 판별을 해야 할것이다.
인간은 시각을 통해 정보의 80%를 얻는다고 한다. 이는 시각적으로 정보를 전달하는 것이중요함을 말한다. 이렇게 분석한 것을 잘 이해할 수 있도록 만드는 것이 데이터 시각화라고 할 수 있다. 많은 정보를 시각으로 표현하고 인사이트를 얻을 수 있으며 좀 더 정확한 분석의 강화는 물론 그것을 통해서 더 많은 공유가 가능해진다.
시각화에서 가장 쉬운 예는 표나 차트이다. 도형에 크기나 위치나 색의 정도를 통해 데이터 분석 결과가 갖는 의미와 가치를 잘 표현하는 것이 필요하다.
그런데 여기에서 인포그라픽이라는 개념과 혼동 될 수 있다. 인포그라픽은 고정 정보만 전달하는 시각적 디자인에관한 개념이다. 시각화 차트를 보면 막대 차트, 버블 차트 같은 ‘비교’도 있고 시간의 흐름에 따른 변화를 보여주는 선, 영역, 타임라인 차트도 있다.
언론 기관에서도 데이터 저널리즘을 표방하면서 데이터 시각화를 적극적으로 적용하고 있다. 이는 스마트 모바일화가 급속하게 진행되면서 더욱 심화되었다. 데이터 시각화를 통해서데이터 인사이트를 구현하고자 뉴욕타임즈는 물론이고 워싱턴포스트도 부단히 노력해왔다. 물론 이러한 영역은 데이터 과학의 영역일 수 있지만 시각화에는 디자인 역량이 필요하다 그렇기 때문에 데이터 분석에는 디자이나 트레이닝을 받았거나 디자이너 감각이 있는 이들의 참여가 필요하다. 문화예술적인 감각이나 능력도 매우 중요하게 작용할 수 있고 그것이 이해력은 물론 수용력을 높일 수 있기 때문이다. 만약 같은 데이터를 통한 분석이라고 인사이트을 달리 도출하거나나 주의 집중력을 높일 수 있기 때문에 그들의 역할이 매우 중요해질 것이다. 갈수록 스마트 모바일 환경에서 시각적인 콘텐츠가 텍스트 정보를 추월하는 현상이라면 더욱 그러하다.
예술의 영역에서도 이를 데이터 아티스트 개념으로 만들었다. Alice Thudt은 라이프 인 클레이 프로젝트에서 자신의 일상 데이터를 시작적 패턴으로 표현한 도자기를 만들었다. Nathalie Miebach의 Sculptural Musical Score 프로젝트 조각에서는 기상 데이터를 작품화했다. 2007년 11월 2일~5일 뉴잉글랜드에서 발생한 허리케인의 데이터를작은 가지나 색깔비즈로 구성한 작품 Hurricane Noel III이라는 작품이 있다. 기상데이터에 관해서는 다른 작품을 통해 기상 데이터로 악보를 만들고 작곡가 음악가들과 함께 연주하고 콘서트를 열기도 했다. 이렇게 예술작품으로 만들 수 있다면 각종 데이터를 통해서 의미부여하는 작업이 가능할 수 있게 된다.
다시 춤으로 돌아가면, 데이터 처리에 관한 인공지능 역량을 비정형 데이터에 접목시킨다. 미국의 정보기술(IT) 전문매체 <더 버지>는 춤에 관한 `아카이브'(arXiV)에 실린 연구팀 논문을 소개한 적이 있다. 얼굴을 바꿔치기 하는 기술에이어 춤동작을 바꿔치기 할수 있는 앱에 관해 담고 있다. 이를 몸치가 댄스의 달인이 될 수 있도록 영상을 교체할 수 있는 앱이다. 우선 몸치의 춤추는 동작을 촬영한 후 사람의 몸을 원과 막대기로 연결하는 봉선화 작업을 실시한다. 원과 선으로만 연결하여 춤동작을 표현하기 때문에 관절 중심으로 움직임을 포착하는데 매끄럽게 이어질 수 있도록 하려면 좀더 고도의 기술이 필요하다. 또한 옷을 헐렁하게 입고 추는 것은 적용시킬 수 없기 때문에 몸에 달라 붙는 옷을 입어야 한다. 완전히 춤꾼과 몸치의 동작이 일치하지 않을 수 있다. 또한 손바닥을 드러내보이는 등의 정교한 동작은 한계를 보이고 있다. 만약 이것이 좀 더 고도화가 된다면 자신이 춤을 잘 추지 못해도 비정형 데이터를 통해 자신이 마치 춤을 잘 추는 것처럼 만들 수 있을 것이다. 이는 원본의 가치를 생각할 때 페이크 영상이 주는 부작용을 연상하게 할수 있다. 가짜 동영상을 통해 마치 자신이 한 것인냥, 속일 수 있다. 이는 단지 춤에만 해당하는 것이 아니라 성관계 영상도 이런 측면에서 가짜로 만들어 해당 당사자들을 곤욕스럽게 만들 수 있다. 한편으로는 이제 세상에 없는 유명인들이 춤을 추고 움직이는 모습을 구현할 수 있을 것이다.
비정형 데이터를 정형 데이터로 바꾸어주는 작업도 활발하고 그 가운데 악보 변환 플랫폼도 가능하다. 악보는 창작자가 종이에 그려서 만들고는 했다. 이는 당연히 비정형 데이터이다. 악보는 이미지나 PDF형태로 유통되는 경우가 많았다. 주스(Juice)는 음악 데이터 변환 기술을 통해서 악보같은 비정형화 데이터를 정형 데이터로 만들어준다. 예컨대 국립국악원이 PDF로 배포하는 국립음악원 악보 문화 데이터를 정형 데이터로 제공한다. 그렇게 하면 악보 편집이 쉬워진다. 아마추어 음악가들에게 커버송을 만드는데 필요한 악보를 제공하는 것이 쉬워진다. 정형 데이터로 남여 목소리 키(Key)를 조정하거나 조를 쉽게 바꿔줄 수 있다.
숫자로 되어 연산 가능하면 정형 데이터, 형태가 있지만 연산 가능하지 않은 것을 반정형 비정형 데이터라고 한다. 비정형데이터가 형태도 없고 연산 가능하지 않은 영상, 이미지, 음성으로 나타나는데 그것은 정형화로 이동할 수도 있는 것이다. 거꾸로 분석된 데이터는 다시 비정형의 형태로 창출될수있다. 그러므로 정형 데이터와 비정형 데이터는 상호 영향을 주고 받으면서 새로운 창조물을 만들어내는 상호 작용적인 데이터이다.