딥러닝과 행렬

딥러닝을 공부하던 중 막상 코드로 짜보려니 햇갈리는 부분이 많아 결국 키보드 대신 펜을 잡기로 하였고, 펜으로 정리된 것을 이곳에 적어보려 한다.

딥러닝 관련 자료를 보면 많은 경우 이러한 그래프를 보게 된다. 

input layer는 입력 레이어, output layer는 최종 출력값을 내어주는 레이어다.

그런데 이를  식을 이용해서 코드로 구현하자니(손으로 써도 마찬가지..) 입력값만 봐도 8개이며 히든 레이어는 무려 9개씩 3층으로 이루어져 있다. 식도 길어질 대로 길어지고 나중에 알아보기도 힘들어진다.

이를 간단히 표현할 수 있는 방법이 바로 행렬이다. (비록 고등 교과과정에서 삭제되었지만....) 행렬을 간단히 소개하면 다음과 같은 개념이다.

일단, 행렬은 이와 같이 정의된다.

내용을 보면,  라는 행렬은 i개의 행과 j개의 열을 가지고 있다. 각 항은 i와 j값으로 표현된다.

프로그래밍 언어를 배웠다면 간단히 배열과 비슷한 형태라고 생각할 수 있다.

행렬과 행렬이 더해질 때는 i와 j 값이 같은 항끼리 더해진다. 

특이한 것은 행렬의 곱샘이다. 위키피디아의 정의는 다음과 같다.

예시는 다음과 같다.

따라서, 입력 레이어는 다음과 같이 행렬로 표현할 수 있겠다.

일단 입력 레이어는 행렬로 표현을 하였다. 그런데 우리가 원하는 식은  형태이다. 

여기서 행렬 연산의 특징이 이용된다. 위에서 소개한 행렬의 곱셈 연산 중 B*A 예시에 주목해 보자.

행렬의 정의에서 알 수 있듯이 앞에 행렬의 행이 1행이고, 뒤의 열이 1열일 때, 이를 곱하면 다항식이 도출된다.

다만, 곱할 때 앞 행렬의 행의 수와 뒷 행렬의 열의 수가 같지 않으면 (혹은 반대) 행렬의 곱샘은 정의될 수 없다.

이 점에만 주의하면 행렬로써 딥 러닝 그래프를 표현할 수 있다.

간단한 예제 코드를 살펴보며 행렬로 표현해 보자.

import tensorflow as tf import numpy as np xy = np.loadtxt('train.txt', unpack=True) x_data = np.transpose(xy[0:-1]) y_data = np.reshape(xy[-1], (4, 1)) print x_data print y_data X = tf.placeholder(tf.float32) Y = tf.placeholder(tf.float32) w1 = tf.Variable(tf.random_uniform([2, 5], -1.0, 1.0)) w2 = tf.Variable(tf.random_uniform([5, 10], -1.0, 1.0)) w3 = tf.Variable(tf.random_uniform([10, 10], -1.0, 1.0)) w4 = tf.Variable(tf.random_uniform([10, 10], -1.0, 1.0)) w5 = tf.Variable(tf.random_uniform([10, 10], -1.0, 1.0)) w6 = tf.Variable(tf.random_uniform([10, 10], -1.0, 1.0)) w7 = tf.Variable(tf.random_uniform([10, 10], -1.0, 1.0)) w8 = tf.Variable(tf.random_uniform([10, 1], -1.0, 1.0)) b1 = tf.Variable(tf.zeros([5])) b3 = tf.Variable(tf.zeros([10])) b2 = tf.Variable(tf.zeros([10])) b4 = tf.Variable(tf.zeros([10])) b5 = tf.Variable(tf.zeros([10])) b6 = tf.Variable(tf.zeros([10])) b7 = tf.Variable(tf.zeros([10])) b8 = tf.Variable(tf.zeros([1])) L2 = tf.nn.relu(tf.matmul(X, w1) + b1) L3 = tf.nn.relu(tf.matmul(L2, w2) + b2) L4 = tf.nn.relu(tf.matmul(L3, w3) + b3) L5 = tf.nn.relu(tf.matmul(L4, w4) + b4) L6 = tf.nn.relu(tf.matmul(L5, w5) + b5) L7 = tf.nn.relu(tf.matmul(L6, w6) + b6) L8 = tf.nn.relu(tf.matmul(L7, w7) + b7) hypothesis = tf.sigmoid(tf.matmul(L8, w8) + b8) cost = -tf.reduce_mean(Y * tf.log(hypothesis) + (1-Y) * tf.log(1 - hypothesis)) cost_summ = tf.scalar_summary("cost", cost) a = tf.Variable(0.1) optimizer = tf.train.GradientDescentOptimizer(a) train = optimizer.minimize(cost)

이 코드는 XOR을 학습하는 코드이며 tensorflow를 이용하였다.

XOR을 수행하기 위해서는 2가지의 값이 필요하다. train.txt 에는 해당되는 데이터가 저장되어 있다.

코드에서 6, 7번째 줄이 이 데이터들을 읽어와 x_data와 y_data에 저장해 주는 역할을 한다.

코드의 15번째 줄부터 22번째 줄까지를 보자. 

이부분이 weight값을 행렬로 생성하는 곳이다. tf.random_uniform 함수는 제일 처음 인자의 형태로 행렬을 만들고, 각 항들을 2번째 3번째 인자 사이의 값들 중 임의의 값으로 채운다.

즉, 15번째 줄은 2*5 행렬을 생성하고, 각 항들을 -1부터 +1 사이의 값들 중 임의의 값으로 채운다는 것을 의미한다

처음 2*5 행렬을 생성한 이유는 입력 레이어에서 입력받는 값이 2개임으로 1*2 행렬을 만들어 전달하기 때문이다.

행렬을곱할 때 앞 행렬의 행의 수와 뒷 행렬의 열의 수가 같지 않으면 (혹은 반대) 행렬의 곱샘은 정의될 수 없기 때문이다. 

이제 33번째 줄을 보자. 입력값인 X행렬과 w1행렬을 곱하고, 바이어스 값을 더한 후 이에 대해 relu 연산을 수행한다.

괄호 안쪽부터 차례대로 따라가보자.

우선 행렬의 곱을 수식으로 나타내면 다음과 같다.

이를 연산하면 다음과 같다.

결과적으로 열의 갯수가 5개인 행렬이 생성된다.

다음으로 바이어스 값을 더하게 된다. 바이어스 값은 24번째 줄에서 열의 갯수가 5개인 행렬로 정의되어 있다.

앞서 곱연산 후 나온 행렬의 크기가 1*5임으로 각각의 식에 바이어스 값을 더하려면 바이어스도 1*5 크기여야 한다.

결국 덧샘 연산까지 마친 후 도출되는 행렬은 열이 5개인 행렬이다. 즉 1*5인 행렬이다. 1*2 행렬과 2*5 행렬을 연산하여 1*5 행렬을 얻어낼 수 있게 되었다. 

더불어  형태의 식도 얻을 수 있게 되었다.(물론 연산중에는 실제 값들이기때문에 계산이 완료된 상수값이다)

34~40번째 줄은 각각 16~22 번째 줄과 25~31번째 줄의 weight 와 바이어스 값에 대해 비슷한 연산을 수행한다.

그렇게 출력 레이어 직전에는 100개의 계산결과가 나오게 된다. 그리고 마지막 출력 레이어에서 이를 곱연산을 통해 모든 항을 더한 값을 출력한다.

딥러닝에서는 위와 같이 상당히 많은 weight 와 바이어스 값들을 이용한다. 이때문에 1차식으로 일일히 이를 구현하는것은 노가다도 그런 노가다가 없으며, 나중에 코드를 다시 볼 때에도 상당히 불편해진다. 

어찌된 이유든 딥려닝에서는 행렬을 사용하여 코드를 구현하고, 결국 수학을 모르면 코드를 짜다가도 햇갈린다;;

혹여나 이글을 읽으시는 분들은 햇갈리실 일이 없길 바라며, 서술 중 잘못된 부분이 있으면 지적 부탁드립니다ㅎㅎ