<div id="readability-page-1" class="page"><section itemprop="text">
        <h2 id="최적화optimization">최적화(Optimization)</h2>

<p><code>최적화(Optimization)</code>란 <code>목적 함수(Objective Function)</code>의 결괏값을 최적화 시키는 변수를 찾는 알고리즘을 의미합니다.</p>

<p>앞선 <a href="https://076923.github.io/posts/Python-pytorch-4/">제 4강 - 손실 함수(Loss Function)</a>에서 <code>인공 신경망(Neural Network)</code>은 오찻값을 최소화 시켜 정확도를 높이는 방법으로 학습이 진행되는 것을 확인했습니다.</p>

<p>즉, <code>손실 함수(Loss Function)</code>의 값이 최소가 되는 변수를 찾는다면 새로운 데이터에 대해 보다 정교한 <code>예측(predict)</code>을 할 수 있게 합니다.</p>

<p>그러므로 실젯값과 예측값의 차이를 계산하여 오차를 최소로 줄일 수 있는 <strong>가중치(Weight)</strong>와 <strong>편향(Bias)</strong>을 계산하게 됩니다.</p>



<h2 id="경사-하강법gradient-descent">경사 하강법(Gradient Descent)</h2>

\[H(x) = 0.879x - 0.436\]



<table>
  <thead>
    <tr>
      <th>X</th>
      <th>Y(실젯값)</th>
      <th>예측값</th>
      <th>오차(손실)</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <td>1</td>
      <td>0.94</td>
      <td>0.443</td>
      <td>0.497</td>
    </tr>
    <tr>
      <td>2</td>
      <td>1.98</td>
      <td>1.322</td>
      <td>0.658</td>
    </tr>
    <tr>
      <td>3</td>
      <td>2.88</td>
      <td>2.201</td>
      <td>0.679</td>
    </tr>
    <tr>
      <td>4</td>
      <td>3.92</td>
      <td>0.84</td>
      <td>0.84</td>
    </tr>
    <tr>
      <td>5</td>
      <td>3.96</td>
      <td>3.959</td>
      <td>0.001</td>
    </tr>
    <tr>
      <td>6</td>
      <td>4.55</td>
      <td>4.838</td>
      <td>-0.288</td>
    </tr>
    <tr>
      <td>7</td>
      <td>5.64</td>
      <td>5.717</td>
      <td>-0.077</td>
    </tr>
    <tr>
      <td>8</td>
      <td>6.3</td>
      <td>6.596</td>
      <td>-0.296</td>
    </tr>
    <tr>
      <td>9</td>
      <td>7.44</td>
      <td>7.475</td>
      <td>-0.035</td>
    </tr>
    <tr>
      <td>10</td>
      <td>9.1</td>
      <td>8.354</td>
      <td>0.746</td>
    </tr>
    <tr>
      <td>…</td>
      <td>…</td>
      <td>…</td>
      <td>…</td>
    </tr>
  </tbody>
</table>

<p>위 데이터는 이미 최적의 <strong>가중치(Weight)</strong>와 <strong>편향(Bias)</strong>을 계산한 결과입니다.</p>

<p>그러므로 <code>비용 함수(Cost Function)</code>를 활용하여 해당 가중치와 편향에 대한 <code>비용(Cost)</code>을 계산했을 때 <strong>다른 가중치(Weight)와 편향(Bias) 값보다 가장 작은 값이 나오게 됩니다.</strong></p>

<p>즉, 가중치(Weight)와 편향(Bias)의 값이 <code>0.879</code>과 <code>-0.436</code>에서 멀어질수록 <code>비용(Cost)</code>이 커지게됩니다.</p>

<p>만약 몇개의 <code>가중치(Weight)</code>에 따른 <code>비용(Cost)</code>의 값을 2차원 그래프로 표현한다면 다음과 같이 그려질 수 있습니다.</p>

<center>


</center>

<p>그래프에서 확인할 수 있듯이 <strong>최적의 가중치(Weight)에서는 비용(Cost)이 가장 작아지며, 최적의 가중치에서 멀어질수록 비용(Cost)이 커지는 것을 확인할 수 있습니다.</strong></p>

<p>이를 수학적으로 바라본다면, 가중치와 비용의 그래프에서 <code>기울기(Gradient)</code>가 0에 가까워질 때 최적의 가중치(weight)를 갖게 되는것을 알 수 있습니다.</p>

<p>위 그래프를 \(x^2\)로 근사한 다음, 특정 지점에서 어떠한 기울기를 갖는지 확인해보도록 하겠습니다.</p>

<center>


</center>

<p>위 그래프 처럼 <code>기울기2</code>의 형태를 갖는 지점을 찾기 위해서는 초깃값(\(W_{0}\))을 설정하고 적합한 가중치를 찾을 수 있을 때까지 반복하게 됩니다.</p>

<p>다음과 같은 공식을 통해, 어느 지점에서 시작하더라도 <code>극값(Extremum Value)</code>을 찾을 수 있게 연산이 진행됩니다.</p>



<h2 id="학습률learning-rate">학습률(Learning Rate)</h2>

\[\begin{multline}
\shoveleft W_{0} = \text{Initial Value}\\
\shoveleft W_{i+1} = W_{i} - \alpha \nabla f(W_{i})
\end{multline}\]

<p>새로운 <code>가중치(Weight)</code>를 구하기 위해서 \(\alpha\)를 적용하는데 이 값은 <code>간격(Step Size)</code>으로 <code>학습률(Learning Rate)</code>을 의미합니다.</p>

<p>초깃값(\(W_{0}\))을 임의의 값으로 설정해주듯이 이 학습률도 임의의 값으로 설정하게 됩니다.</p>

<p>다음 그래프들은 학습률에 따른 가중치 최적값을 찾아가는 방식을 보여줍니다.</p>



<h3 id="학습률이-적절할-때">학습률이 적절할 때</h3>

<center>


</center>

<h3 id="학습률이-낮을-때">학습률이 낮을 때</h3>

<center>


</center>

<h3 id="학습률이-높을-때">학습률이 높을 때</h3>

<center>


</center>

<h3 id="학습률이-너무-높을-때">학습률이 너무 높을 때</h3>

<center>


</center>



<h2 id="최적화의-문제">최적화의 문제</h2>

<p>위 그래프에서 확인할 수 있듯이 초깃값이나 학습률을 너무 낮거나 높게 잡는다면 <strong>최적의 가중치(Weight)를 찾는 데 오랜 시간이 걸리거나, 발산하여 값을 찾지 못할 수 있습니다.</strong></p>

<p>하지만, 위 그래프에서는 학습률을 가장 낮게 잡고 많은 연산을 하면 시간은 오래 걸리겠지만, 최적의 가중치를 찾을 수 있는 것처럼 보입니다.</p>

<p>만약, <code>가중치(Weight)</code>와 <code>비용(Cost)</code>이 다음과 같은 그래프의 형태를 지니게 된다면 다음과 같은 이유로 최적화된 값을 찾을 수 없게됩니다.</p>

<center>


</center>

<p>기울기가 0이 되는 지점인 <code>극값(Extremum Value)</code>은 <code>최댓값</code>(Global Maximum), <code>최솟값(Global Minimum)</code>, <code>극댓값(Local Maximum)</code>, <code>극솟값(Local Minimum)</code>으로 구분할 수 있습니다.</p>

<p>초기 가중치나 학습률을 설정할 때, 시작점이 적절하지 않거나 학습률이 너무 낮다면 <code>최솟값(Global Minimum)</code>이 아닌, <code>극솟값(Local Minimum)</code>에서 가중치가 결정될 수 있습니다.</p>

<p>또한 <code>안장점(Saddle Point)</code>이 존재하는 함수에서도 적절한 가중치를 찾을 수 없게됩니다.</p>

<p>안장점은 다음 그래프 처럼 말의 안장 모양처럼 생긴 그래프를 의미하며, 특정 방향에서 바라볼 경우 극댓값이 되지만 다른 방향에서 보면 극솟값이 되는 지점을 의미합니다.</p>

<center>


</center>

<p><code>최적화(Optimization)</code> 알고리즘은 <code>경사 하강법(Gradient Descent)</code>처럼 <code>목적 함수(Objective Function)</code>가 최적의 값을 찾아갈 수 있도록 최적화되게끔 하는 알고리즘입니다.</p>

<p>어떤 최적화 알고리즘을 사용하느냐에 따라 모델의 정확도가 달라지게 됩니다.</p>

<p>최적화 알고리즘은 경사 하강법 이외에도 <code>모멘텀(Momentum)</code>, <code>Adagrad(Adaptive Gradient)</code>, <code>Adam(Adaptive Moment Estimation)</code> 등이 있습니다.</p>


        
      </section></div>

076923 : Main

최적화(Optimization) 최적화(Optimization)란 목적 함수(Objective Function)의 결괏값을 최적화 시키는 변수를 찾는 알고리즘을 의미합니다. 앞선 제 4강 - 손실 함수(Loss Function)에서 인공 신경망(Neural Network)은 오찻값을 최소화 시켜 정확도를 높이는 방법으로 학습이 진행되는 것을 확인했습니다. 즉, 손실 함수(Loss Function)의 값이 최소가 되는 변수를 찾는다면 새로운 데이터에 대해 보다 정교한 예측(predict)을 할 수 있게 합니다. 그러므로 실젯값과 예측값의 차이를 계산하여 오차를 최소로 줄일 수 있는 가중치(Weight)와 편향(Bias)을 계산하게 됩니다. 경사 하강법(Gradient Descent) \[H(x) = 0.879x - 0.436\] X Y(실젯값) 예측값 오차(손실) 1 0.94 0.443 0.497 2 1.98 1.322 0.658 3 2.88 2.201 0.679 4 3.92 0.84 0.84 5 3.96 3.959 0.001 6 4.55 4.838 -0.288 7 5.64 5.717 -0.077 8 6.3 6.596 -0.296 9 7.44 7.475 -0.035 10 9.1 8.354 0.746 … … … … 위 데이터는 이미 최적의 가중치(Weight)와 편향(Bias)을 계산한 결과입니다. 그러므로 비용 함수(Cost Function)를 활용하여 해당 가중치와 편향에 대한 비용(Cost)을 계산했을 때 다른 가중치(Weight)와 편향(Bias) 값보다 가장 작은 값이 나오게 됩니다. 즉, 가중치(Weight)와 편향(Bias)의 값이 0.879과 -0.436에서 멀어질수록 비용(Cost)이 커지게됩니다. 만약 몇개의 가중치(Weight)에 따른 비용(Cost)의 값을 2차원 그래프로 표현한다면 다음과 같이 그려질 수 있습니다. 그래프에서 확인할 수 있듯이 최적의 가중치(Weight)에서는 비용(Cost)이 가장 작아지며, 최적의 가중치에서 멀어질수록 비용(Cost)이 커지는 것을 확인할 수 있습니다. 이를 수학적으로 바라본다면, 가중치와 비용의 그래프에서 기울기(Gradient)가 0에 가까워질...

Python Pytorch 강좌 : 제 5강 - 최적화(Optimization)

댓글