<div id="readability-page-1" class="page"><section itemprop="text">
        <h2 id="손실-함수loss-function">손실 함수(Loss Function)</h2>

<p><code>손실 함수(Loss Function)</code>는 <code>비용 함수(Cost Function)</code>라고도 하며, 실젯값과 예측값이 차이가 발생했을 때 그 오차가 얼마인지 계산하는 함수입니다.</p>

<p><code>인공 신경망(Neural Network)</code>의 학습 방법은 실젯값과 예측값의 오차를 최대한 줄이는 방법으로 진행하는 데 이 때 발생하는 오찻값을 계산하기 위해 사용합니다.</p>

<p>즉, 손실 함수는 오차를 0에 가깝게 만들어 예측의 정확도를 높이는 것에 목적을 둡니다.</p>

<p>다음 표와 그래프는 앞선 <a href="https://076923.github.io/posts/Python-pytorch-3/">제 3강 - 가설(Hypothesis)</a>의 데이터에서 <strong>선형 회귀 그래프에 대한 예측값과 실젯값의 오차를 포함합니다.</strong></p>

<div>
<div>
<table>
  <thead>
    <tr>
      <th>X</th>
      <th>Y(실젯값)</th>
      <th>예측값</th>
      <th>오차</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <td>1</td>
      <td>0.94</td>
      <td>0.443</td>
      <td>0.497</td>
    </tr>
    <tr>
      <td>2</td>
      <td>1.98</td>
      <td>1.322</td>
      <td>0.658</td>
    </tr>
    <tr>
      <td>3</td>
      <td>2.88</td>
      <td>2.201</td>
      <td>0.679</td>
    </tr>
    <tr>
      <td>4</td>
      <td>3.92</td>
      <td>0.84</td>
      <td>0.84</td>
    </tr>
    <tr>
      <td>5</td>
      <td>3.96</td>
      <td>3.959</td>
      <td>0.001</td>
    </tr>
    <tr>
      <td>6</td>
      <td>4.55</td>
      <td>4.838</td>
      <td>-0.288</td>
    </tr>
    <tr>
      <td>7</td>
      <td>5.64</td>
      <td>5.717</td>
      <td>-0.077</td>
    </tr>
    <tr>
      <td>8</td>
      <td>6.3</td>
      <td>6.596</td>
      <td>-0.296</td>
    </tr>
    <tr>
      <td>9</td>
      <td>7.44</td>
      <td>7.475</td>
      <td>-0.035</td>
    </tr>
    <tr>
      <td>10</td>
      <td>9.1</td>
      <td>8.354</td>
      <td>0.746</td>
    </tr>
    <tr>
      <td>…</td>
      <td>…</td>
      <td>…</td>
      <td>…</td>
    </tr>
  </tbody>
</table><p>

$$
\begin{multline}
\shoveleft H(x) = Wx + b\\
\shoveleft W = 0.879\\
\shoveleft b = -0.436\\\\
\shoveleft \therefore \ H(x) = 0.879x - 0.436
\end{multline}
$$

</p></div>
<p><img data-src="/assets/posts/Python/PyTorch/lecture-4/1.webp" width="100%" height="100%" src="/assets/posts/Python/PyTorch/lecture-4/1.webp">
</p>
</div>

<p>위 표의 <code>오차</code>는 <code>실젯값 - 예측값</code>에 대한 수치입니다.</p>

<p>우측 그래프에서 오차는 <code>녹색 화살표</code>로 표현하였습니다.</p>

<p>오차는 <strong>예측값이 얼마나 실젯값을 잘 표현하는지 알 수 있습니다.</strong></p>

<p>하지만, 이러한 방법은 각각의 데이터에 대한 오차를 확인할 수 있는 방법이므로 <code>가설(Hypothesis)</code>이 얼마나 실젯값을 정확하게 표현하는지는 알 수 없습니다.</p>

<p>그러므로, <code>평균 제곱 오차(Mean Squared Error, MSE)</code>을 적용하여 생성된 가설이 얼마나 정확하게 표현하는지 계산합니다.</p>



<h2 id="제곱-오차squared-error-se">제곱 오차(Squared Error, SE)</h2>

<p>위 수식에서 사용된 <code>평균 제곱 오차(Mean Squared Error, MSE)</code> 방법은 <code>제곱 오차(Squared Error, SE)</code>와 <code>오차 제곱합(Sum of Squared for Error, SSE)</code>를 활용합니다.</p>

<p>먼저 <code>제곱 오차(Squared Error)</code>는 <code>실젯값</code>과 <code>예측값</code>을 <strong>감산한 값의 제곱을 의미합니다.</strong></p>

<p>수식으로 표현한다면 다음과 같습니다.</p>



\[SE = (\hat{Y_{i}} - Y_{i})^2\]



<p>만약, 제곱을 취하지 않는다면 양의 방향이나 음의 방향의 오차의 차이를 알 수 있지만 방향보다는 <strong>오차의 크기</strong>가 중요한 요소기 때문에 제곱을 취하게 됩니다.</p>

<p>제곱 대신에 절댓값을 취하지 않는 이유로는 <strong>제곱을 적용하면 비교적 오차가 작은 값보다 오차가 큰 값을 확대시키기 때문에 오차의 간극을 빠르게 확인할 수 있습니다.</strong></p>

<p>즉, 제곱을 취하기 때문에 오차가 커질수록 각 데이터마다 오차의 크기를 빠르게 확인할 수 있습니다.</p>



<h2 id="오차-제곱합sum-of-squared-for-error-sse">오차 제곱합(Sum of Squared for Error, SSE)</h2>

<p><code>오차 제곱합(Sum of Squared for Error)</code>은 <code>제곱 오차(Squared Error)</code>를 모두 더한 값이 됩니다.</p>

<p><code>제곱 오차(Squared Error)</code>는 각 데이터마다의 오차를 의미하므로 <code>가설(Hypothesis)</code> 또는 <code>모델(Model)</code> 자체가 얼마나 정확히 예측을 하는지 알 수 없습니다.</p>

<p>그러므로, 모든 제곱 오차를 더하여 하나의 값으로 가설이나 모델을 평가할 수 있습니다.</p>

<p>수식으로 표현한다면 다음과 같습니다.</p>



\[SSE = \sum_{i=1}^{n}(\hat{Y_{i}} - Y_{i})^2\]



<p>만약 여기서도 오찻값들을 제곱하지 않고 모두 더하는 방법이라면 문제가 발생하게됩니다.</p>

<p>오찻값이 <code>(-1, 1, -1, 1)</code>과 같은 형태라면 <strong>모든 합계가 0이 되어 오차가 없는 것처럼 보여집니다.</strong></p>

<p>이러한 현상을 방지하기 위해 모든 값을 제곱한 값에 대한 평균으로 오차를 계산합니다.</p>



<h2 id="평균-제곱-오차mean-squared-error-mse">평균 제곱 오차(Mean Squared Error, MSE)</h2>

<p><code>평균 제곱 오차(Mean Squared Error, MSE)</code> 방법은 단순하게 <code>오차 제곱합(Sum of Squared for Error, SSE)</code>에서 <strong>평균</strong>을 취하는 방법입니다.</p>

<p>오차 제곱합과 평균 제곱 오차는 의미로는 큰 차이가 없지만, 데이터가 많아질수록 오차 제곱합도 동일하게 커지게 됩니다.</p>

<p>이렇게 되는 경우 오차가 많은 것인지 데이터가 많은 것인지 구분하기가 어려워지므로, 모든 데이터의 개수만큼 나누어 평균을 취합니다.</p>

<p>평균 제곱 오차 방법을 수식으로 표현하고 위 데이터의 값을 적용한다면 다음과 같습니다.</p>



\[\begin{multline}
\shoveleft MSE = \frac{1}{n} \sum_{i=1}^{n} (\hat{Y_{i}} - Y_{i})^2\\
\shoveleft MSE = \frac{1}{30} ((0.94-0.443)^2 + (1.98-1.322)^2 + (2.88-2.201)^2 + (3.92-3.08)^2 + ...)\\
\shoveleft MSE = \frac{1}{30} (0.497^2 + 0.658^2 + 0.679^2 + 0.84^2 + ...)
\end{multline}\]



<p>평균 제곱 오차는 <strong>가설의 품질을 측정할 수 있으며, 오차가 0에 가까워질수록 높은 품질을 갖게 됩니다.</strong></p>

<p>주로 <strong>회귀 분석(Regression)</strong>에서 많이 사용되는 손실 함수이며, <code>최대 신호 대 잡음비(Peak Signal-to-noise ratio, PSNR)</code>를 계산하는데에도 사용됩니다.</p>

<p>또한, 이 값에 <code>루트(Root)</code>를 씌우는 경우에는 <code>평균 제곱근 오차(Root Mean Squared Error, RMSE)</code>가 됩니다.</p>

<p>루트를 통해 <code>평균 제곱 오차(Mean Squared Error, MSE)</code>에서 발생한 왜곡을 감소시켜, <strong>정밀도(Precision)</strong>를 표현하는데 적합한 형태가 됩니다.</p>

<ul>
  <li>Tip : 오차에 제곱을 적용하여 오차량이 큰 값을 크게 부풀렸기 때문에 왜곡이 발생합니다.</li>
</ul>


        
      </section></div>

076923 : Main

손실 함수(Loss Function) 손실 함수(Loss Function)는 비용 함수(Cost Function)라고도 하며, 실젯값과 예측값이 차이가 발생했을 때 그 오차가 얼마인지 계산하는 함수입니다. 인공 신경망(Neural Network)의 학습 방법은 실젯값과 예측값의 오차를 최대한 줄이는 방법으로 진행하는 데 이 때 발생하는 오찻값을 계산하기 위해 사용합니다. 즉, 손실 함수는 오차를 0에 가깝게 만들어 예측의 정확도를 높이는 것에 목적을 둡니다. 다음 표와 그래프는 앞선 제 3강 - 가설(Hypothesis)의 데이터에서 선형 회귀 그래프에 대한 예측값과 실젯값의 오차를 포함합니다. X Y(실젯값) 예측값 오차 1 0.94 0.443 0.497 2 1.98 1.322 0.658 3 2.88 2.201 0.679 4 3.92 0.84 0.84 5 3.96 3.959 0.001 6 4.55 4.838 -0.288 7 5.64 5.717 -0.077 8 6.3 6.596 -0.296 9 7.44 7.475 -0.035 10 9.1 8.354 0.746 … … … … $$ \begin{multline} \shoveleft H(x) = Wx + b\\ \shoveleft W = 0.879\\ \shoveleft b = -0.436\\\\ \shoveleft \therefore \ H(x) = 0.879x - 0.436 \end{multline} $$ 위 표의 오차는 실젯값 - 예측값에 대한 수치입니다. 우측 그래프에서 오차는 녹색 화살표로 표현하였습니다. 오차는 예측값이 얼마나 실젯값을 잘 표현하는지 알 수 있습니다. 하지만, 이러한 방법은 각각의 데이터에 대한 오차를 확인할 수 있는 방법이므로 가설(Hypothesis)이 얼마나 실젯값을 정확하게 표현하는지는 알 수 없습니다. 그러므로, 평균 제곱 오차(Mean Squared Error, MSE)을 적용하여 생성된 가설이 얼마나 정확하게 표현하는지 계산합니다....

Python Pytorch 강좌 : 제 4강 - 손실 함수(Loss Function)

댓글