<div id="readability-page-1" class="page">
                
                
                



<nav id="global-navigation">


</nav>
<main id="wrap" aria-hidden="false">

<div>



                
                    


<article>
<header id="global-header">



<div>
<h2>로지스틱 회귀 모델의 비용 함수 미분해보기</h2>
<ul>
<li role="text" aria-label="2023년 12월 18일 17시 26분에 작성된 글."><time datetime="2023-12-18T17:26">2023.12.18 17:26</time></li>
<li><a href="/category/Deep%20Learning/%EA%B3%B5%EB%B6%80%20%EB%85%B8%ED%8A%B8" aria-label="Deep Learning/공부 노트">Deep Learning/공부 노트</a></li>
</ul>
</div>


</header>
<div id="article">



<ins data-ad-client="ca-pub-9527582522912841" data-ad-slot="8674651030" data-ad-format="auto" data-full-width-responsive="true" data-ad-type="inventory"></ins>


                    
        
        

            <div><p data-ke-size="size16">로지스틱 회귀는 입력을 두 가지의 범주로 분류하는 선형 이진 분류 모델이다.<br>선형 회귀 식에 로지스틱 함수를 씌워 출력값을 0-1 사이의 확률 값으로 만들어 분류를 수행한다.</p>
<p data-ke-size="size16">$$ \hat p = h_\theta (\mathbf{x}) = \sigma(\theta^\top_\mathbf{x})\\<br>\sigma(t) = \frac{1}{1+\exp(-t)}$$</p>
<p data-ke-size="size16">입력 $\mathbf x$에 대한 예측 $\hat y$는 다음과 같다.</p>
<p data-ke-size="size16">$$\hat y = \begin{cases} 0 &amp;\text{if }\hat p &lt; 0.5 \\ 1 &amp; \text{if } \hat p \geq 0.5&nbsp; \end{cases}$$&nbsp;</p>
<p data-ke-size="size16">로지스틱 회귀의 비용 함수는 다음과 같다.</p>
<p data-ke-size="size16">$$ J(\theta) = -\frac{1}{m}\sum^m_{i=1}[y^{(i)} \log(\hat p^{(i)}) + (1-y^{(i)}) \log(1-\hat p^{(i)})] $$</p>
<p data-ke-size="size16">비용함수를 가중치 $\theta$에 대하여 미분 과정은 다음과 같다.</p>
<p data-ke-size="size16">$$ \frac{\partial }{\partial \hat p}J(\theta) = [\frac{y^i}{\hat p^i} - \frac{1-y^i}{1-\hat p^i}]'\\<br>= [\frac{y^i - y^i\hat p^i - \hat p^i + y^i\hat p^i}{\hat p^i(1-\hat p^i)}]'\\<br>=[\frac{y^i - \hat p^i}{\hat p^i (1-\hat p^i)}]'$$</p>
<p data-ke-size="size16">이때, $p = \sigma(Z), Z^i = \theta^\top\mathbf x^i$이므로,</p>
<p data-ke-size="size16">$$\frac{\partial \hat p^i}{\partial Z^i} = \frac{\partial}{\partial Z^i}[\frac{1}{1+e^{-Z^i}}]\\<br>= \frac{\partial}{\partial Z^i}(1+e^{-Z^i})^{-1}\\<br>=(-1)(1+e^{-Z^i})^{-2}(e^{-Z^i})(-1)\\<br>=\frac{e^{-Z^i}}{(1+e^{-Z^i})^2} = \frac{1}{1+e^{-Z^i}}\frac{e^{-Z^i}}{1+e^{-Z^i}}\\<br>= \sigma(Z^i)(1-\sigma(Z^i))$$</p>
<p data-ke-size="size16">$$\frac{\partial Z^i}{\partial \theta^i}=\frac{\partial}{\partial \theta^i}[\theta^{i\top}x^i_j] = x^i_j$$</p>
<p data-ke-size="size16">위 미분을 이용하여, $J(\theta)$를 $\theta$로 미분하면 아래와 같다.</p>
<p data-ke-size="size16">$$\frac{\partial}{\partial \theta^i}J(\theta) = -\frac{1}{m}\sum^m_{i=1}[\frac{y^i-\hat p^i}{\hat p^i(1-\hat p^i)}(\hat p^i(1-\hat p^i))x^i_j]\\<br>= -\frac{1}{m}\sum^m_{i=1}[(y^i-\hat p^i)x^i_j] = \frac{1}{m}[x^i_j(\hat p^i-y^i)]\\<br>= \frac{1}{m}\sum^m_{i=1}(\sigma(\theta^\top x^i)-y^i)x^i_j$$</p></div>
                    
        
        


                    

                    




</div>


<nav>
<ul>
<li></li>
<li></li>
<li></li>
</ul>
</nav>



















</article>


                    
                
</div>
</main>














                




                
                







                
                


                
</div>

컴퓨터와 수학, 몽상 조금

로지스틱 회귀는 입력을 두 가지의 범주로 분류하는 선형 이진 분류 모델이다.
선형 회귀 식에 로지스틱 함수를 씌워 출력값을 0-1 사이의 확률 값으로 만들어 분류를 수행한다.
$$ \hat p = h_\theta (\mathbf{x}) = \sigma(\theta^\top_\mathbf{x})\\
\sigma(t) = \frac{1}{1+\exp(-t)}$$
입력 $\mathbf x$에 대한 예측 $\hat y$는 다음과 같다.
$$\hat y = \begin{cases} 0 &\text{if }\hat p < 0.5 \\ 1 & \text{if } \hat p \geq 0.5  \end{cases}$$ 
로지스틱 회귀의 비용 함수는 다음과 같다.
$$ J(\theta) = -\frac{1}{m}\sum^m_{i=1}[y^{(i)} \log(\hat p^{(i)}) + (1-y^{(i)}) \log(1-\hat p^{(i)})] $$
비용함수를 가중치 $\theta$에 대하여 미분 과정은 다음과 같다.
$$ \frac{\partial }{\partial \hat p}J(\theta) = [\frac{y^i}{\hat p^i} - \frac{1-y^i}{1-\hat p^i}]'\\
= [\frac{y^i - y^i\hat p^i - \hat p^i + y^i\hat p^i}{\hat p^i(1-\hat p^i)}]'\\
=[\frac{y^i - \hat p^i}{\hat p^i (1-\hat p^i)}]'$$
이때, $p = \sigma(Z), Z^i = \theta^\top\mathbf x^i$이므로,
$$\frac{\partial \hat p^i}{\partial Z^i} = \frac{\partial}{\partial Z^i}[\frac{1}{1+e^{-Z^i}}]\\
= \frac{\partial}{\partial Z^i}(1+e^{-Z^i})^{-1}\\
=(-1)(1+e^{-Z^i})^{-2}(e^{-Z^i})(-1)\\
=\frac{e^{-Z^i}}{(1+e^{-Z^i})^2} = \frac{1}{1+e^{-Z^i}}\frac{e^{-Z^i}}{1+e^{-Z^i}}\\
= \sigma(Z^i)(1-\sigma(Z^i))$$
$$\frac{\partial Z^i}{\partial \theta^i}=\frac{\partial}{\partial \theta^i}[\theta^{i\top}x^i_j] = x^i_j$$
위 미분을 이용하여, $J(\theta)$를 $\theta$로 미분하면 아래와 같다.
$$\frac{\partial}{\partial \theta^i}J(\theta) = -\frac{1}{m}\sum^m_{i=1}[\frac{y^i-\hat p^i}{\hat p^i(1-\hat p^i)}(\hat p^i(1-\hat p^i))x^i_j]\\
= -\frac{1}{m}\sum^m_{i=1}[(y^i-\hat p^i)x^i_j] = \frac{1}{m}[x^i_j(\hat p^i-y^i)]\\
= \frac{1}{m}\sum^m_{i=1}(\sigma(\theta^\top x^i)-y^i)x^i_j$$

로지스틱 회귀 모델의 비용 함수 미분해보기

댓글