렌더링 파이프라인 DirectX11

 렌더링 파이프라인

렌더링 파이프라인(Rendering Pipeline) 또는 그래픽스 렌더링 파이프라인(Graphics rendering pipeline)이라 부르는 과정은 3차원으로 만들어진 모델을 2차원에 투영하는 렌더링 과정의 프로세스를 자세하게 표현한 것이다. 컴퓨터에 데이터로 존재하는 3D 리소스가 모니터에 출력되는 과정이 렌더링 파이프라인을 따르게 된다.

 

• 정점처리
• 래스터화
• 프래그먼트 처리
• 출력 병합

크게 4 단계로 나눠지는데, DirectX11에서는 이와 같은 단계를 좀 더 세부적으로
Input Assembly -> Vertex Shader -> Hull Shader -> Tessellation -> Domain Shader -> Geometry Shader -> Rasterizer -> Pixel Shader -> Output Merger 단계로 나누어 제어할 수 있습니다.

• 정점처리 : Vertex Shader -> Hull Shader -> Tessellation -> Domain Shader -> Geometry Shader
• 래스터화 : Rasterizer
• 프레그먼트 처리 : Pixel Shader
• 출력 병합 : Output Merger

으로 구별 할 수 있고, 각각의 단계가 하는 일에 대해서 모델 하나가 출력되는 과정을 예를 들어 설명하려고 합니다.

· Input Assembler

3차원 모델 하나를 3차원 세상에 나타내기 위해서는 가장 먼저 무엇을 해야 할까요?
우선 모델의 정보를 GPU로 전달해야 합니다.
여기서 모델은 삼각형(폴리곤)의 집합을 의미하고, 삼각형은 정점(Vertex) 3개의 집합이기 때문에 실제로 dx와 같은 렌더링 라이브러리에서는 모델의 최소단위인 정점들의 집합을 GPU로 전달하게 되는데요, 이 때 이 정점들을 운반하는 자료구조를 정점 버퍼 라고 합니다.

여기서 잠깐

정점 버퍼와 같이 등장하는 용어로 인덱스 버퍼(Index Buffer)라는 것이 있다. 이 인덱스 버퍼는 쉽게 생각하면 정점들의 인덱스를 저장하고 있는 버퍼라 할 수 있는데 사각형을 예를 들어 생각 해보자. 사각형 하나를 그리기 위해서 이것을 최소 단위의 도형(삼각형)으로 쪼개면 삼각형 두 개가 생긴다. 그렇다면 이 삼각형 두 개를 그리기 위해서는 당연히 2*3 =6 개의 정점이 필요 할 것이다. 그런데 실제로 사각형은 몇 개의 점으로 구성되어 있는가?

4개의 점으로 구성되어 있다.
6개의 정점으로 사각형을 표현한다면 2개의 점이 중복되어 메모리 낭비가 된다고 할 수 있다.만약 사각형 하나가 아니라 사각형 10,000개로 구성된 모델이라고 가정하면 20000개의 정점이 낭비되는 것이고 이것은 엄청낭 손해이다! 또한 단순한 메모리의 낭비일 뿐만 아니라 같은 정점에 대한 작업을 GPU에서 여러번 처리해야 하기 때문에 불필요한 계산량까지 늘어난다.

 

이러한 중복되는 정점을 해결하기 위한 방법이 바로 Index Buffer이다. 위의 사각형의 예를 들면 정점 버퍼는 Vertex Bufer[] = { P0,P1,P2,P3} 이렇게 4개의 데이터만 갖고, 인덱스 버퍼를 추가로 생성하여 Index Buffer[] = {0,1,2,1,3,2,} 요런식으로 정점을 어떤 순서로 그려야 하는지 알려주는 목록을 제공하면 위에서 설명한 두 가지 문제를 해결할 수 있다. 인덱스 버퍼를 생성하는데에도 메모리가 드는데 이것은 낭비가 아니냐고 생각 할 수도 있겠지만

1. 인덱스버퍼는 그냥 정수이기 때문에 위치,색깔,법선,UV등등의 많은 데이터를 갖는 정점 구조체보다 훨씬 메모리를 적게 차지하기 때문에 별 문제가 되지 않는데다가
2. 중복되는 정점에 대해서 중복된 GPU 계산을 하지 않는다는 메리트가 굉장히 크기 때문에 인덱스 버퍼에 소요되는 메모리는 걱정하지 않아도 된다.

[정점 버퍼]

자 다시 이제 정점버퍼로 돌아와서 설명하겠습니다.
정점 버퍼는 그냥 정점들을 연속적인 메모리에 저장하는 자료구조에 불과하기 때문에 실제로 GPU에서는 이러한 정점들을 이용하여 어떤 도형을 만들어야 할 지 정보가 필요합니다. 예를 들면 이 정점을 두 개씩 엮어서 선분을 구성할 수도 있고, 세 개씩 엮어서 삼각형을 구성할 수도 있죠. 이러한 기본도형을 형성하는 방식을 알려주는데 쓰이는 수단으로 Direct3D에서는 Primitive Topology라는 형태를 이용합니다. 이 프리미티브 토폴로지는 해석하자면 “위상 구조”라 할 수 있는데 DX11 에서는 point list, line list, triangle strip, triangle list 등이 있습니다. 여기서 Triangle list를 선택하여 기본도형을 삼각형으로 선택했다고 가정 해 봅시다. 그러면 이제 모델 하나를 형성하기 위해서는 GPU에서 수많은 삼각형들을 이어 붙이기만 하면 되는 거죠.
입력 조립기 단계(Input Assemble) 에서는 이런 정점들을 읽어서 삼각형과 같은 기본 도형으로 조립하는 일을 합니다. 그래서 입력 조립 단계죠.

· Vertex Shader

Input Assembler 단계에서 받은 정점들의 정보로 도형은 생성되었지만 공간 좌표계를 변환할 필요가 있다.

기본적으로 도형들은 자신만의 좌표계인 Local Space의 좌표를 가지는데, 모든 물체들이 하나의 월드에 위치하도록 Local Space에서 World Space로 변환하고, 실제 플레이어가 바라보는 카메라가 중심이 되는 공간인 View Space로 변환해준다.

그리고 마지막으로 Projection 변환을 거쳐서 최종적으로 투영까지 정의된 투영공간 Clip Space로 변환해준다.

 

최종적으로 변환과정을 나열하면 [오브젝트 공간] * 월드 변환 -> [월드 공간] * 뷰 변환 -> [카메라 공간] * 투영 변환 -> [클립 공간] 을 거치게 되는데 각각의 과정에 대해서 간략하게 설명하겠다.

 

월드 변환

우선 지역공간(local space)라고도 불리는 오브젝트 공간은 3차원 세상에서 표현될 각각의 오브젝트들이 정의된 공간인데요, 하나의 물체가 자신만의 공간에서 고정 불변의 좌표를 가지는 것이라고 생각할 수 있습니다. 그런데 이러한 오브젝트 공간의 물체는 다른 오브젝트의 공간과는 전혀 관계가 없기 때문에 3차원 세상에 표현하고자 하는 모든 오브젝트들은 하나의 단일 공간으로 모아질 필요가 있습니다. 지금 우리가 보는 모든 물체와 사람들이 같은 세상에 존재하듯이 3차원 세상을 표현하고자 하려면 당연히 모든 오브젝트들이 하나의 단일 공간에 있어야 하는거죠. 이 때 모든 대상들이 모아질 공간을 월드 공간이라 하고, 각각의 대상을 월드 공간에 모으는 과정을 월드 변환이라 합니다.

카메라 변환

월드 변환이 완료되어 모든 물체가 월드 공간에 모아지면 이제 우리가 원하는 시점에서 물체들을 관찰할 수 있어야 합니다. 이 때 관찰자로써 가상의 카메라가 필요하고, 이 카메라(관찰자)가 볼 수 있는 영역의 공간을 카메라 공간 혹은 뷰 공간이라고 합니다. 월드 공간의 모든 물체를 카메라 공간으로 변환하게되면 보다 효율적인 랜더링 알고리즘을 설계할 수 있기 때문에 월드 공간의 모든 물체는 카메라 공간으로 변환되는데 이를 카메라 변환이라고 부릅니다.

그런데 여기서 잠깐 카메라가 바라보는 세상에 대해 생각해 봅시다. 가상의 카메라는 컴퓨터의 성능의 한계 때문에 실제 세상의 카메라와는 다르게 시야가 제한되어 있을 수밖에 없습니다. 이 떄 이 시야는 fovy(시야각), aspect(종횡비)에 의해 결정되는데 이러한 시야의 가시 영역을 뷰 볼륨(view volume)라고 부르고, 이렇게 생성된 뷰 볼륨은 n(근평면), f(원평면)에 의해 절단되어 View Frustum(절두체)의 영역으로 다시 정의됩니다.

[view volume]

[view frustum]

카메라 공간 내의 물체는 절두체 공간 밖에 있는 물체는 그리지 않게 되는데, 우리가 살고 있는 3차원의 카메라의 세상은 이렇지 않지만 이는 계산상의 효율성을 위해 어쩔 수 없이 도입된 개념입니다. 만약 물체가 절두체의 경계에 걸치게 되면 어떻게 되냐고요? 하! 아주 예리한 질문이었습니다. 만약 물체(폴리곤)이 절두체의 경계에 걸치게 되면 바깥쪽에 있는 부분은 잘려져 버려지게 되는데요 이를 클리핑이라고 합니다. 이 클리핑은 카메라 변환에서 일어나지 않고 나중에 클립 공간에서 수행되는데 이에 대해서는 조금 있다가 설명하도록 하겠습니다.

투영 변환

자 카메라 변환에서 월드의 모든 물체를 카메라 공간으로 이동시켰고, 이제 카메라 시점에서 세상을 바라 볼 수 있게 되었는데요. 그런데 우리가 카메라를 통해 바라보는 가상의 세상은 현실 세계처럼 3차원 세상이지만 실제로 우리가 바라볼 모니터는 2차원의 평면입니다. 3차원 공간을 어떻게 2차원 공간에 표현할 수 있을까요???

사람이 그림을 그릴 때를 생각해 보세요. 어떻게 그리죠? 원근법에 따라서.

“멀리 있는 물체일수록 작게”, “멀리있는 물체일수록 소실점에 가깝게”

3차원 세상을 2차원 평면에 표현하는 방법은 다행히 이미 화가들에 의해 개발되었기 때문에 우리도 이러한 방법을 따르면 됩니다.

투영 변환은 이러한 원근법을 구현하기 위해 카메라 공간에서 정의된 절두체를 축에 나란한 직육면체 볼륨으로 변경하여 카메라 공간의 모든 물체를 3차원 클립 공간으로 변환하는 것을 의미합니다. 여기서 투영 변환이라는 이름과는 달리 3차원 카메라 공간의 물체를 2차원 평면으로 투영하는 것이 아니라 또 다른 3차원 물체로 ‘변형’함을 주목합시다. 이러한 투영 변환을 거친 물체들을 관찰해보면 절두체 뒤쪽에 있던 영역의 폴리곤은 상대적으로 작아지는 것을 볼 수 있는데 우리가 원했던 원근법이 적용된 것이라고 볼 수 있고요. 다시 정리하자면 투영변환은 3차원 공간 내에서 원근법을 실현한 것입니다.

그리고 하나 더 생각해야 할 것이 원근법을 3차원 공간에서 실현하기 위해 직육면체 볼륨으로 물체들을 변환시켰는데 여기서 부가적으로 얻게되는 이점이 있습니다. 바로 나중에 설명할 클리핑(clipping)에 관한 건데요. 아까 클리핑은 뷰 프러스트럼 바깥쪽의 폴리곤들을 잘라 내는 것이라고 설명하였는데 현재 투영 변환을 거치면서 절두체 공간이 직육면체의 클립핑 공간으로 변형되었죠? 절두체 도형과 직육면체 도형 중에 클리핑을 하기에 더 쉬운 도형이 뭐인지는 안봐도 비디오죠? 투영 변환을 통해 모든 물체가 클립 공간으로 변환되면서 클리핑하기가 더 쉬워졌습니다!!

다시 Vertex Shader로…

지금까지 설명한 월드 변환, 카메라 변환, 투영 변환이 정점 처리 과정 중에서도 변환 과정이었습니다. 변환 과정은 주로 정점 셰이더에서 수행되는데 만약 테셀레이션이나 기하 셰이더 단계가 추가되면 정점 셰이더에서의 변환 과정은 생략되고 테셀레이션이나 기하 셰이더에서 대신 수행하기도 합니다. 기하셰이더와 테셀레이션은 각각 shader4.0, shader5.0 이상부터 지원하는 정점 변환 단계의 파이프라인으로써 간략하게 설명하자면 기하 셰이더는 정점 셰이더로부터 전달받은 정점 하나를 이용하여 새로운 프리미티브와 기하 도형을 만들 수 있는 파이프라인이고, 테셀레이션 단계는 입력조립기로부터 전달받은 패치(patch)의 제어점(control point)으로부터 더 많은 기하구조를 추가할 수 있는 단계입니다. 정점 셰이더와 더불어 이 두 단계에서 수행되는 과정이 정점 처리 단계입니다. 이 두 파이프라인에 각각에 대해서 설명하기엔 이 포스팅의 수준을 벗어나는 내용이므로 나중에 따로 포스팅하도록 하고 이제 레스터화 단계로 넘어가도록 하겠습니다.

· Tesselation(생략 가능)

Tesselation 단계는 주어진 모델의 정점을 더 잘게 쪼개어 디테일하게 표현할 때 사용한다.

일반적으로 가까운 거리의 물체는 고해상도로, 먼 거리의 물체는 저해상도로 표현하여 성능을 향상시키는데, 고해상도로 표현되었을 때 보여져야 할 텍스쳐 형태를 높이 맵으로 저장해놓고 실제 모델에 필요한 만큼의 레벨만큼만 적용하는 식으로 테셀레이션을 활용하면 하나의 모델에 대해 여러 해상도의 모델 데이터를 가지고 있을 필요가 없다.

이는 LOD(Level of Detail)을 적용하여 여러 해상도로 표현 가능한 모델을 마련했는데, 그 모델들끼리의 변환이 부자연스러운 경우를 Tesselation으로 자연스럽게 표현할 수 있는 것이다.

· Geometry Shader(생략 가능)

기본 도형에서 정점을 추가하거나 삭제하여 모델을 변경할 수 있는 셰이더이다. Geometry Shader로 정점 정보를 조금 추가하여 표현할 수 있는 모델이라면 그만큼의 정점 정보를 빼고 저장할 수 있으니 디스크 용량과 그래픽 메모리 절약에 도움이 될 수도 있으며, 테셀레이션 등으로 추가된 정점들을 표현할 때도 사용된다.

· Rasterization

정점 처리 단계를 지난 정점은 이제 랜더링 파이프라인의 다음 단계인 레스터화 단계로 들어갑니다. 우선 정점들은 삼각형 등과 같은 프리미티브(primitive)로 묶여지는데, 이 시점 이후 부터는 프리미티브가 독자적인 개체로 처리됩니다. 삼각형을 예를 들어서 설명하겠습니다. 우선 화면에 그려질 2차원 삼각형의 세 정점 좌표가 결정되면 다음과 같은 일이 일어납니다.

1. 이 삼각형이 포함하는 모든 픽셀마다 픽셀셰이더가 생성된다.
2. 삼각형의 세 정점에 할당되었던 여러 데이터(position, color, uv …)등은 보간(Interpolation)되어 삼각형 내부의 각각의 픽셀셰이더에 할당된다.

Direct3D에서는 이러한 과정을 통틀어서 레스터라이저(resterizer)라고 부릅니다. 이 레스터라이저는 고정 파이프라인 단계로 프로그래밍이 불가능하여 하드웨어 자체 알고리즘을 통해 동작하며,

• 클리핑(Clipping)
• 원근 나눗셈(perspective division)
• 뒷면 제거(back-face culling)
• 뷰포트 변환(view-port transform)
• 스캔 변환(sacn transform)

등의 요소로 구성됩니다. 이제 각각의 요소들에 대해 살펴보도록 하겠습니다.

클리핑(clipping)

클리핑은 투영변환 이후의 클립공간볼륨 바깥에 놓인 폴리곤을 잘라 내는 작업을 말합니다. 이전부터 몇 번 언급되었던 이 작업은 바로 이 레스터화 단계에서 일어납니다.

원근 나눗셈(perspective division)

현재 단계에서 투영변환을 통해 원근법이 적용된 3차원 물체들은 직육면체 볼륨의 3차원 클리핑 공간(Clip Space)에서 정의되어 있습니다. 그러나 우리가 최종적으로 필요한 것은 모니터 화면에 출력될 2차원 사각 영역이죠. 그렇다면 3차원 공간을 어떻게 2차원 공간으로 변환시킬 수 있을까요?

단순히 생각하면 그냥 차원을 줄이면 됩니다. 바로 z좌표로 모든 성분을 나눠버리는 것이지요. 실제 z값은 투영변환행렬을 곱한 후 동차좌표계의 (x,y,z,w)에서 w성분에 저장되어 있기 때문에 투영변환 이후 w에 저장된 값으로 좌표를 나누는 연산을 마치면 원근법 구현이 완료되고 이를 원근 나눗셈이라 부릅니다. 원근 나눗셈이 적용된 이후에는 (x,y,z,w)의 동차 좌표계에서 (x,y,z)의 카테시안 좌표계로 변화게 되는데요 이 때 이를 NDC(normalized device coordinates) 공간이라 부릅니다. 여기서 정규화라는 이름이 붙는 이후는 이 좌표의 xy범위가 [-1,1]이고 z범위가 [0,1]이기 때문입니다.

뒷면 제거(back-face culling)

다음으로 레스터라이저에서 하는 기능으로 뒷면 제거가 있습니다. 뒷면 제거는 카메라에 등을 돌리고 있어 보이지 않는 폴리곤을 제거하는 작업입니다. 이런 보이지 않는 폴리곤을 주로 뒷면(back-face), 보이는 면을 앞면(front-face)라고 부릅니다. 원리는 간단한데 카메라의 시선벡터 V0가 있고, 폴리곤의 법선벡터 V1이 있다고 가정하면 이 둘이 이루는 각도가 예각인지 둔각인지에 따라 뒷면을 판별할 수 있습니다. 여기서 폴리곤의 법선벡터를 구할 때는 외적(cross product)를 사용하여 구하는데 이 때 외적은 순서에 따라 방향이 다르게 나올 수 있잖아요? Direct3D에서 등장하는 와인딩 오더(시계방향 혹은 반시계)는 이것을 정하는 방법인데 기본적으로 시계 방향으로 감긴 삼각형을 앞면으로, 반시계 방향으로 감긴 삼각형을 뒷면으로 간주하지만 이는 랜더 상태 설정에 따라 변경 가능합니다.

뷰포트 변환(view-port transform)

컴퓨터 화면 상의 윈도우는 스크린 공간(screen-space)을 갖는데요. 이 스크린 공간 내에 2차원 이미지가 그려질 뷰포트(view-port)가 정의되는데 NDC 공간의 물체들을 스크린 공간으로 이전시키는 변환을 뷰포트 변환이라 합니다.

스캔 변환(scan transform)

이제 레스터라이저의 마지막 단계인 스캔변환만이 남았습니다. 이전의 변환들은 자세한 사항을 몰라도 프로그래밍 하는데 있어 별다른 영향을 미치지 않지만 이 스캔변환은 랜더링 프로그램에서 직접적인 영향을 미치기 때문에 꽤 중요한 내용입니다. 우선 스캔변환이란 삼각형 하나가 내부에 차지하는 프레그먼트를 생성하는 과정입니다. 좀 더 자세하게 설명하면 개별 삼각형이 차지하는 스크린 공간의 픽셀 위치를 결정하고, 삼각형의 정점별 속성을 보간(interpolation)하여 이를 각 픽셀 위치에 할당하는 일을 수행합니다. 여기서 정점별 속성이란 프로그램마다 다르지면 대체로 position, uv, normal과 같은 값을을 의미합니다. 이때 보간 과정은 하드웨어가 수행하기 떄문에 그에 깔린 수학적 내용을 몰라도 지장은 없지만 대충 설명하자면 삼각형을 구성하는 각 변마다 기울기를 계산하여 모서리를 따라 선형보간(Linear Interpolation)하는 과정을 통해 계산됩니다.

· Pixel Shader

Fragment Shader라고도 부르며, 래스터화된 도형에 텍스쳐 매핑, 범프 매핑, 노말 매핑 등의 기법으로 텍스쳐를 입혀 색을 표현한다. 또한, 정점의 법선 벡터 정보를 통해 조명(Lighting) 처리도 해당 셰이더에서 이루어진다.

 

지금까지 한 내용을 다시 복습해보자면 응용프로그램으로 부터 정점버퍼를 입력받아 입력조립기에서 이 정점들을 프리미티브 단위로 조립하고, 각각의 정점은 정점 변환 단계를 거쳐 변환되어 레스터라이저로 넘어갑니다. 레스터화 단계에서는 클리핑을 통해 폴리곤을 잘라내고, 뒷면 제거를 통해 보이지 않을 면을 제거하고, 원근 투영 나눗셈을 하여 원근법을 구현하고, 뷰포트 변환을 통해 NDC상의 물체들을 스크린 공간으로 사상하고, 마지막으로 스캔변환을 통해 삼각형을 구성하는 정점별 속성을 보간하여 내부의 프레그먼트들에게 할당하였습니다. 이제는 각각의 프레그먼트의 색상을 결정하는 일만 남았습니다. 조명을 계산한다던가, 텍스쳐를 입힌다던가 하는 작업을 통해 프래그먼트를 색칠하는 단계를 바로 프래그먼트 처리 단계라 합니다. Direct3D의 세이더 파이프라인에서는 Pixel Shader 단계에서 이러한 일들을 수행합니다.

프래그먼트 처리 단계에서 화면에 그려질 모든 프레그먼트의 색상을 결정한 뒤에는 출력 병합 단계로 넘어갑니다. 출력 병합 단계에서는 깊이-스텐실 테스트와 블랜딩(추가적으로 알파 블렌딩도 가능)이 일어납니다.