딥러닝의 이해(2) - 가중치

퍼셉트론을 구성하는

y = w1x1 + b 에서 식에서 기울기(w1,가중치)를 조정하여 비용을 최소화하는 지점을 찾아야한다.

 

- 미분의 개념

Calculus (mathsisfun.com) 미적분 설명사이트

미분값은 x에 대한 f(x)의 순간변화량(기울기)입니다. 

함수의 기울기는 미분으로 구할 수 있습니다.

접점의 기울기(미분)를 찾아가는 과정

We know f(x) = x2, and we can calculate f(x+Δx) :

Start with:		f(x+Δx) = (x+Δx)2
Expand (x + Δx)2:		f(x+Δx) = x2 + 2x Δx + (Δx)2

 The slope formula is:f(x+Δx) − f(x)Δx

Put in f(x+Δx) and f(x):x2 + 2x Δx + (Δx)2 − x2Δx

Simplify (x2 and −x2 cancel):2x Δx + (Δx)2Δx

Simplify more (divide through by Δx):= 2x + Δx

Then, as Δx heads towards 0 we get:= 2x

 

Result: the derivative of x2 is 2x

In other words, the slope at x is 2x

 

  
    - 편미분
    변수가 여럿인 함수에 대한 미분을 편미분이라하며 편미분 또한 미분과 마찬가지로 
    특정 장소의 기울기를 의미합니다. 여러 변수의 편미분을 벡터로 정리한 것이 또한
    기울기입니다.(기준이 아닌 변수를 상수취급)

    경사법은 현 위치에서 기울어진 방향으로 일정 거리만큼 이동합니다. 그런 다음 이동한 
    곳에서도 마찬가지로 기울기를 구하고, 또 그 기울어진 방향으로 나아가기를 반복합니다.
    이것을 경사법(gradient method)이라고 한다.

가중치(x축,기울기)를 통해 SSR(y축)의 미분 기울기를 최소화하는 과정

 

    신경망 학습에서는 최적의 매개변수(가중치와 편향)를 탐색할 때 비용 함수의 값을 
    가능한 한 작게 하는 매개변수 값을 찾습니다. 이때 매개변수의 미분(정확히는 기울기)을 
    계산하고, 그 미분 값을 단서로 매개변수의 값을 서서히 갱신하는 과정을 반복합니다.

    "가중치 매개변수의 비용함수의 미분"이란 '가중치 매개변수의 값을 아주 조금 변화시켰을 때, 
    비용함수가 어떻게 변하나'라는 의미입니다. 만약 이 미분 값이 음수면 그 가중치 매개변수를
    양의 방향으로 변화시켜 비용함수의 값을 줄일 수 있습니다. 반대로 이 미분값이 양수면
    그 가중치 매개변수를 음의 방향으로 변화시켜 비용함수의 값을 줄일 수 있습니다. 그러나
    미분 값이 0이면 가중치 매개변수를 어느 쪽으로 움직여도 비용함수의 값은 달라지지 않습니다.
    그래서 그 가중치 매개변수의 갱신은 거기서 멈춥니다.