[원초적인 생각] 정말 실사를 구현하는게 과연 불가할까?

가상 환경의 그래픽 처리?

가상 세상 또는 제 2세계는 영화, 애니메이션 에서 종종 소재 거리로 활용된다.
영화계에선 꿈 세계에 직접 들어가는 인셉션이라는 유명한 영화가, 어릴 때 본 애니메이션에서는 명탐정 코난의 극장판 중 하나인 베이커가의 망령에서, 또 이 가상 현실을 메인으로 하고 있는 소설 및 애니메이션인 소드 아트 온라인이라는 만화에서도 메인 주제로 담고 있다. 이러한 콘텐츠에서의 가상 세계를 정말 구현 할 수 있을까? 라는 생각에 깊이 빠지게 되었다.

뇌의 데이터를 조작하거나 신경을 전송하는 기술?

아직 전자적 신호로 뇌의 데이터를 조작하거나 반영하는 기술은 만들어지지 않았다. 상기 콘텐츠들을 보면, 어떤 장비나 기계를 통해 수면 모드로 진입시킨 뒤 보여지거나 느낄 수 있는 신경 데이터를 시뮬레이션하고 있다. 신경 관련된 데이터들을 직접 신호로 외부에서 전달하기에는 무리가 있고 (전기적인 신호로 움직임과 같은 신호를 강제로 보내어 근육이 움직이도록 할 수는 있다고 배웠다.) 이를 하이재킹하기에는 또 안정성 등의 문제가 우려될 수 있다.

그래픽 기술은..? 현재 비약적인 발전을 이룬 그래픽분야는 어떨까? 현재 그래픽은 빛 연산을 추적하거나 트레이싱 하는 방식대로 구현된다. 그래픽 처리에서 모든 연산을 직접 작업할 수는 없기 때문에 여러 이론에 의해 반사 값을 추정하거나, 수식적인 계산을 통해 해당 face나 면의 광량을 구하고, Pixel shader 을 통해 색칠하게 된다. 하지만 실제 세계와 유사한 렌더링을 하기 위해서는 제법 시간이 소요되는 편이고, 리얼 타임 렌더링에서도 매우 높은 성능을 요구하는 상황이다. 이러한 상황에서 더 많은 데이터를 요구하는 (적어도 모니터의 1080p 해상도, 1440p 해상도 보다는 수 천배 많은 이미지 데이터가 요구되리라 생각한다.) 가상 세계의 초 현실적인 구현은 생각보다 쉽지 않으리라 본다.

결국 사람의 감각 기술보다는, 그 감각 데이터에 기반이 되는 이미지 기술, 그래픽 렌더링 기술이 이 보다 더 크게 발전이 되어야 할 것이다.

당연하겠지만..

만화 매체 등에서 묘사되는 초 현실적인 가상 세계는 마치 모든 작업들이 독립적으로 운영되는 것으로 보인다. 주인공이 가상 세계속의 잔디에 누워 산듯한 바람을 맞는 장면에서도, 잔디 풀은 하나 하나 독립적으로 움직이고, 바람 또한 독립적으로, 이 세계의 모든 데이터들이 독립적으로 구현된다. 하지만 디지털로 구현하기 위해서는 이 모든 데이터들은 하나의 객체 Object이며, 원칙적으로는 잔디 풀 잎 하나 하나 Object로 보는 것이 타당할 것이다. 그러나 사소한 객체 모두 단독적인 Object로 보는 것은 성능 상의 이유로 사실상 불가능하며, 여러가지 최적화 기법을 통해 구현되어야 한다. 최적화 기법을 통해 구현되다보니 아무래도 현실과는 사소한 차이를 보일 것이다.

세계(World)또한 마찬가지다, 컴퓨터 그래픽에서는 카메라 시야에 들어오는 객체들만 렌더링하며, 빛 연산에 포함시킨다. (결국 보이는 것도 다 빛의 연산이기 때문이다.) 현실의 빛 연산을 직접 모두 시뮬레이션 하지 못하는 이유도 여전히 성능상의 문제이다. 카메라로 보고 있지 않는 부분은 컴퓨터가 빛 처리를 진행하지 아니한다. (의도적으로 구현하지 않는 이상) 상식적으로 생각해도 맞는 말이다. 만약 초현실적인 세계를 구성하기 위해 5억 개의 꽃, 잔디, 풀, 돌멩이, 나무를 모두 배치하더라도 리얼 타임 렌더링은 불가능하다. 멀리 있는 객체는 보이는 것 처럼 효과를 주거나, 뭉쳐서 처리하거나, 텍스처(이미지)로 대신하거나 하는 속임수를 사용하게 된다.

사람의 이미지 신경을 전송하기 전에 이미지는 완성되어 있어야 하기 때문에, 이러한 연산은 그래픽 분야에서도 쉽지 아니할 것이다.

그래도.. 만약 성능상의 문제가 모두 해결된다면?

난 성능상의 문제가 없어진다면, 이러한 속임수 방법이 아니라 직접 시뮬레이션으로 리얼 타임 렌더링을 구현해보고 싶다. 지금은 원 구를 그리기 위해서 무얼하는가? 테두리를 구성하는 버텍스 지점을 찍어 버텍스끼리 잇는다. 이건 결국 사람 눈에 들어오는 최종 이미지본을 선으로 구성한 것이며, 객체의 그 자체는 아니라고 생각한다. 즉 실제처럼 원자라는 개념으로 시작해, 원자가 모여 하나의 객체를 이루듯, 게임이나 가상 세계 안에서도 원자 시스템을 구현해 이 시스템을 기반으로 객체를 구성 해 보고 싶다. 그렇게 된다면, 원자간의 물리 충돌을 구현 해 놓으면, 추후 어떤 객체를 만들더라도 원자에 의한 물리 충돌로 처리 할 수 있기 때문에 매우 현실적인 가상 세계를 만들 수 있지 않을까?
빛 처리도 마찬가지다. 최적화가 필요 없다면, 그냥 반사 되는 데이터를 처리해주다보면 정말 현실적인 이미지가 알아서 나오지 않을까 생각한다. 지금은 적어도 현실적인 이미지 처리를 위해 난반사광 + 정반사광을 합치는 등의 작업을 쉐이더 단에서 진행한다. (정반사광의 경우 카메라벡터와 빛의 반사벡터간의 내적으로 구하는 등...) 정말 이 정도면 현실을 시뮬레이션하는 것이라 봐도 되겠다 ㅋㅋㅋ

이상 뻘 생각이었다. 그래도 위 영화, 애니메이션, 만화는 잘 만든 것 같다. 나도 가상 세계에 들어가 보고 싶다. 애들끼리 모여 공부할 공간을 마련하고 싶다. 임대 받을 수도 없고, 가상 세계에서 땅 사면 되는거아닌가? 과금 문제가 있으려나 아니 프로토콜만 구현된다면 서버는 직접 구성할 수도 있을터이니 말이다.