유니티 엔진에서 Fragment Shader 에서 월드 좌표 구하기

이 때 동안 엔진을 다루면서 몇 가지 헷갈리는게 있었는데, 그 중 한 가지가 딱 해결 되었다. 바로 z 뒤집는 부분이다.

Unity 엔진에서는 Vertex Shader -> Fragment Shader 로 넘기기 위해서 positionHCS 를 다음과 같이 넘긴다.

그리고 OUT.positionHCS 로 내보낸 값은 Fragment Shader 의 IN으로 받을 수 있다. 하지만 여기서 받으면 다른 값으로 나오는데, 먼저 화면 픽셀 좌표로 변환되어 있고, z는 프로젝션 행렬을 거쳐 w로 나눈 NDC 영역의 비선형 z값이 된다.

즉 w를 나누는 순간 비선형이 되는 것인데, 이것은 그래픽스 GPU가 알아서 처리하기 때문에 Fragment Shader 가 이 값을 수신하는 시점은 이미 w로 나눠진 후이다. w로 나눠진 후에는 w 값이 손실되었기 때문에 다시 w를 곱하는 식으로 NDC 영역을 선형 공간인 Clip 으로 이동할 수 없다.

그렇기 때문에 단순히 역행렬을 바로 곱한다고 되는 것이 아니라, ScreenUV 와 깊이 정보를 해석해서 역으로 돌릴 수 있도록 가공해야 한다.

저수준 그래픽스 라이브러리의 경우 그냥 해당 그래픽 라이브러리의 좌표계에 맞춰서 넣어주면 되겠지만 유니티 엔진의 경우 내부에서 그래픽 라이브러리에 따라 좌표계가 이리저리 바뀌기 때문에 (특히 프로젝션 행렬에서 다 바꾸는 듯 싶다.) NDC z를 다시 복구하고자 하는 경우 NDC 깊이를 프로젝션 행렬에 맞추어 다시 부호와 범위를 재가공해야한다.이러한 정보는 w에 저장되어 있었는데, 내부에서 나누면서 다 사라졌기 때문이다.

그래서 이런 번거로움을 피하기 위해 직관적인 해결 방법이 하나 있는데, TEXCOORD공간 하나를 사용해서 Clip 포지션을 또 따로 내보내는 것이다. 이것은 그대로 보간만 되어 fragmentShader로 넘어가기 때문에 역행렬을 그대로 곱하면 된다.

이 TEXCOORD1 영역은 GPU가 알아서 w로 나누는 비선형 작업을 하지 않기 때문에 클립 공간이 그대로 전달된다.

이렇게 클립 공간으로 구성된 좌표 정보는 당연히 Project의 역행렬을 곱하면 뷰 좌표로 돌아온다. 여기서 w로만 다시 나눠주면 된다. (동차 좌표계)

z를 -1 곱하고 하는 이상한 작업을 할 필요가 없는 것이다. 애초 이런것들은 그래픽 라이브러리에 맞춰 Projection 행렬안에 다 적용이 되어 있기 때문이다. 임의로 프로젝션 행렬을 만든 것이 아니라면 이 과정을 거치면 된다.

제대로 월드 좌표에 따른 색상이 표시되는 것을 볼 수 있다. 다음은 UV 와 관련된 문제들도 Z 깊이 버퍼에 관련된 사항들도 정리해서 업로드 할 예정이다. 이부분이 안되니 데칼 프로젝터 하나 구현하는데 삽질만 몇 십시간 했었고, 지금 또 공부중인 임포스터 쉐이더 구현에서 바로 막혀버렸다... 좌표가 내가 생각하는대로 안나와서 머리가 너무 아프더라..