[ML] 머신러닝 단기집중과정(2)

구글에서 제공하는 머신러닝 단기집중과정

3. 손실 줄이기

반복 방식

반복을 통해 손실을 줄이는 모델 찾기

위의 그림은 머신러닝 알고리즘이 모델을 학습하는 과정이다.

위의 식에서 와 의 값을 임의로 변경하며 예측 값을 출력하고 실제 값과 비교를 한다.

비교 결과를 검토하고 새로운 와 을 값을 선정한다.

이 과정을 비교한 결과가 변하지 않거나 느리게 변할 때 까지 반복한다.

경사하강법

반복 방식에서 언급한 에서 에 모든 값을 대입 할 시간과 자원이 있다고 가정을 한다.

그 결과를 과 손실에 대해 그래프를 그리면 아래 그림이 나온다.

위의 그래프에서 손실이 가장 작은 지점은 그래프의 기울기가 0인 지점이다.

처음 시작 점에서 기울기의 값을 더하거나 빼면서 최소값에 점점 접근한다.

보통 가중치의 값을 0 또는 낮은 숫자부터 시작하여 기울기를 더하며 이동한다.

학습률

경사하강법 알고리즘은 기울기에 학습률(보폭)을 곱하여 다음 지점을 결정

위의 그림은 학습률이 작을 때와 클 때를 나타내 그림이다.

학습률이 작은 경우 속도가 느리고, 큰 경우에는 정확한 값을 계산하기 힘들다.

출처

머신러닝 단기집중과정 https://developers.google.com/machine-learning/crash-course/