[ 2025 03 21 ] 편미분 및 계산 그래프 공부

AI 인공지능 개발을 할 때 보통 Pytorch Tensorflow keras 를 사용하는데, 나는 이러한 라이브러리 없이 직접 딥러닝을 수행하고 더 나아가 GPU 공간에서 연산을 수행해 최종적으로 이미지를 학습, 추론하는 라이브러리를 개발하고자 한다. 장기 프로젝트이며, 공부해야할 사항이 매우 많겠지만, 좋은 경험이 될 것으로 보인다.

기본적으로 딥러닝에서 사용되는 편미분 처리를 계산 그래프 기법을 활용해 수행하는 클래스를 구현해보았다.

이러한 계산 노드 그래프를 원활하게 구현하기 위해서 모든 계산 그래프 노드의 부모가 되는 추상 클래스를 구현하였다. 여기서는 이 노드에 대해서 어떤 입력이 들어오고 하나의 결과를 내보내는 함수를 생성할 수 있다. 그리고 이 함수에 대해서 forward 순방향 수행, backward 역방향 수행을 구현해야 한다.

각 노드 마다 구현 사항이 다르겠지만, 순방향 수행에서는 보통 입력 값을 아웃풋으로 내보낸다. 이 때 현 노드의 입력 값은 이전 노드와 연결되어 있는 경우 해당 이전 노드의 결과 값을 가져오도록 추상 클래스에서 구현한다.

마찬가지로, 역방향 수행에서는 미분 값을 넘겨야 한다. 시작점은 1로, 각 노드의 파라메터에 대한 미분 값을 넘긴다.

MultiplyNode 구현

예를 들어, 곱셈 노드는 두 개의 입력을 받고, 곱셈을 하여 내보낸다. 반면 역방향 연산에서는 서로 다른 파라메터와 다음 노드의 이전 미분 값을 곱하여 이전 노드의 아웃풋 미분에 전달해야 한다. 이러한 방식으로 각 노드에 대해서 미분을 처리하여 연쇄적으로 전달할 수 있다. 이는 연쇄 법칙 때문에 성립되는 것인데, 이 사항은 인터넷에 매우 많은 정보가 있으나, 나중에 다시 공부하여 방법과 정리를 나만의 방식대로 게시할 예정이다.

최종 구현

이제 위에서 구현된 사항을 토대로 각 곱셈 노드, 덧셈 노드, 제곱 노드를 활용하여 x^2 * x + 4*x 식을 미분한다. 여기서 알아둘 사항은 해당 식을 처음부터 미분해서 미분된 식에 x 값을 넣는 것이 아니다. 실시간으로 역전파를 통해 미분하여 연산한 x 값에 대해 미분 값을 구한다는 사실에 중점을 둬야한다. 이러한 작업을 하는 이유는 신경망이 매우 복잡해지면 각 신경망의 파라메터를 기준으로 미분식을 생성할 수 없기 때문에 각 노드마다 실시간으로 미분하는 과정을 적용하는 것이다.

한편 여기서는 임의로 x 미분 값을 구하기 위해 x 파라메터가 들어가는 영역의 미분 값을 모두 더해주는데 기본적으로 위 계산 그래프의 노드는 각각의 입력 파라메터가 독립적인 변수이기 때문에 동일한 x를 넣어주더라도 서로 각각 하나의 파라메터로 간주하여 각 파라메터로 편미분되기 때문에 x로 편미분된 영역을 모두 더해야 비로소 식으로 미분한 결과와 동일하게 나온다.

이는 하나의 변수를 여러 파라메터에 넣었을 때 해당되는 것으로, 그런게 아니라면 해당 파라메터만 편미분해서 사용하면 된다. 이제 이 순전파, 역전파를 한번 진행하면 미분 값이 나오는데, 이 과정을 반복하여 x 0부터 300까지 수행한 결과를 그래픽 API를 활용하여 출력해본다.

미분 식인 3*x*x + 4와 거의 동일한 것을 확인할 수 있다.