유니티 엔진에서 임의 뷰 행렬 및 프로젝션 행렬로 나만의 객체 그리기

저작물 참고 필자도 해당 내용을 공부하고 있는 입장으로 주로 오픈 문서, 포럼, AI 질의 응답을 활용하여 관련 내용을 공부하였습니다. 따라서 틀린 내용이 있을 수 있습니다. 다만, 타인(AI 등)의 저작물을 침해하지 않도록 순서, 과정, 스크린샷, 코드 등 다른 저작물을 활용 또는 포함하지 않았으며, AI 등 인터넷 자료는 오로지 기술 원리 이해의 목표로만 활용하고, 본 게시글에 언급된 과정, 흐름, 본문, 게시한 코드는 AI의 복붙 없이 모두 필자가 사전에 알고 있는 그래픽스 기술과 인터넷 상에 공개된 개념을 통해 모두 직접 시도하며 직접 작성하였음을 밝힙니다. 부득이하게 어떤 자료를 인용하는 경우는 링크로 출처를 남기고 인용합니다.

임의 뷰 행렬과 프로젝션 행렬을 넘겨주기 위해서는 그렇게 복잡하지는 않다. 다만 헷갈릴 수 있는 부분이 있는데 출력 상황에 따라서 y를 뒤집어줄 필요가 있다는 것이다. 게다가, Unity 엔진에서는 월드 좌표 기준 화면 안쪽으로 들어갈 수록 z가 양의 범위로 확장되지만, View 공간에서는 화면 안쪽으로 들어갈수록 z가 음의 범위로 확장돼야 한다고 한다.

즉 카메라 뷰 공간으로 변환하기 위해서는 다른 그래픽스에 비해서 z를 반전해주는 작업이 필요하다.

즉 월드 기준으로는 x +우측, y +상, z +안쪽 인데, 카메라 뷰 공간 기준으로는 z가 역전되어 , x+ 우측, y +상, z-안쪽으로 요구하기 때문에 이 파이프라인에 맞춰서 넣어줘야 하는 듯 싶다.

여기까지는 유니티 엔진의 내부 규격 규칙이고... 이후에 나오는 또 다른 변환식들은 이제 실제 그래픽스 엔진에 매칭되기 위한 변환 함수들이다...

다시 돌아가서 ViewMatrix 를 직접 내가 원하는 벡터 뷰 공간으로 하려면 Matrix4x4 LookAt 기능을 사용하면 된다.

다만 이 LookAt 기능은 월드 공간 기준으로 변환 행렬을 만들어주는 것이기 때문에, 카메라 공간으로 사용하기 위해서 z를 반전해야 한다고 한다.

여기서는 벡터 식을 넣는게 아니라 행렬 식 하나로 삽입해야하므로, 기존 LookAt 을 구하고 이의 역행렬(비로소 월드좌표 -> 카메라 뷰)를 만든 뒤에 다시 TRS (Transform,Rotation,Scale) 행렬을 만들어, Scale z -1 행렬을 혼합한 다음에 ViewMatrix로 담아준다.

이 부분에서 또 제법 헤맸는데... AI 가 안알려주더라.. 프로그램 문서 https://docs.unity3d.com/ kr/2021.3/ScriptReference/ Rendering.CommandBuffer.SetViewMatrix.html에서 Note 각주에 설명이 되어있었는데 변환 과정 때문에 z를 -1 범위로 곱해서 이동해줘야 한다고 친절하게 설명되어 있었다. ProejctionMatrix는 동일하다.

여기서는 원근으로 했는데, 임의 방향 렌더 타겟을 뽑아내기 위해서 하는 것이라면 (데이터 버퍼용) 원근이 아닌 직교가 나을 것이다.

한편, 게임 뷰에서는 위와 같이 적용하고, 일반 에디터 상에서는 카메라 행렬을 그대로 적용할 것이라면 기본 행렬을 다시 적용해줘야 한다.

카메라 기본 뷰 행렬과 프로젝션 행렬을 담아주려면 cameraData 로부터 가져오면 된다. cameraData 는 해당 RecordRenderGraph 메서드의 frameData에서 UniversalCameraData 클래스로 부터 가져올 수 있다.

웃긴건, 엔진이 에디터용, 게임 장면을 서로 다른 파이프라인으로 렌더하는게 아닌건지 값을 적용안해줘도 혼합될 가능성이 있다. 즉 Game 의 경우에만 ViewMatrix, ProjectionMatrix 를 조절하더라도, 이것이 추후 SceneView 렌더링시에도 이전에 요청한 렌더 (정확히는 다른 뷰의 같은 패스)에 기존 렌더 옵션이 적용되는지 여전히 SceneView 에서도 임의로 변환한 Matrix가 적용될 수 있다. 따라서 명시적으로 각 렌더마다 사용안하는 것은 다시 정상적인 값으로 대입시켜줘야 한다.

다만, 다른 Pass로 넘어가면 엔진이 다시 기본 값을 넣어준다. 즉 여기서 다 바꾸어서 출력하면, 이 Pass에서 직접 출력하는 메시 데이터들만 해당 행렬이 적용되고 다음 다른 기능 패스에서는 모두 원래 값 설정으로 돌아간다. 필자가 잘못 알고 있었던 부분이 하나 있는데, 지금 이 작업에서 그리는 시점은 AfterRenderingOpaque 시점이다. 즉 이미 정상적인 카메라 행렬 시점에서 객체가 그려지고 난 뒤이기 때문에 execute 시점에 setViewProjection을 했다면 그 후 실행되는 모든 패스들이 변경된 정보로 구동 될 가능성이 있다. 따라서 내부 렌더 용도라면 다시 카메라 정보를 되돌려 줘야 한다.

아무튼 이렇게 구현을 하고 이제 실제 ExecutePass 시에 아래와 같이 SetViewProjectionMatrices 하면 해당 내부 쉐이더 글로벌 Matrix들이 반영된다.

위 코드는 주의 해야 할 것이, 현재는 Opaque를 그리고 난 다음에 다시 임의로 메시를 그리는 것이기에 그 후 그리는 메시가 없어 Projection 처리에 문제가 없겠지만, 이를 BeforeRenderingOpaque 시점에 구동하는 경우 개조된 행렬이 Opaque 드로우 콜에 적용될 수 있다. 따라서 다시 다른 패스에서는 원래대로 돌려놓기를 원하는 경우, Draw 한 뒤 setViewProjectionMatrices 를 다시 호출하여 원래 행렬 정보로 변경해야 한다.

인터넷 정보에 따르면 엔진의 좌표계와 실제 그릴때 좌표계는 또 다르기 때문에 (라이브러리에 따라 다르다고 한다.) 그 변환을 위해서 사용하는 것이 GetGPUProjectionMatrix 라고 하는데, 정확한 사용 방법은 이해하지 못하였다. 이 부분은 특별한 이슈나 새로운 정보를 알게되면 기록할 예정이다.

카메라 뷰, 게임 뷰에서는 각각 렌더된 것을 볼 수 있다. 게임 뷰에서는 카메라 뷰와 빛 행렬로부터 렌더된 것은 완전 별개인데, 노란색 객체는 하나의 Renderer Feature 에서 따로 출력한 것이기에 일관성이 없는 것이다. (다른 렌더 기능에서 현재 화면 카메라에 추가로 출력을 한 것이다.)