<div id="readability-page-1" class="page"><div id="post-4482">
        <h2>04-6 Gradient Boosting Machine (GBM)</h2>
<h2>개요</h2>
<ul>
<li>****<a href="https://www.youtube.com/watch?v=d6nRgztYWQM">04-6: Ensemble Learning – Gradient Boosting Machine (GBM)</a>** <a href="https://www.youtube.com/watch?v=d6nRgztYWQM">강의를 보고 내용을 정리해둔다.</a></li>
</ul>
<h2>내용정리</h2>
<ul>
<li>Gradient Boosting = Gradient Descent + Boosting
<ul>
<li>순차적 순서로 앙상블 하는 기법</li>
<li>각 스테이지에서 앞선 weak learning의 단점을 보완하기 위한 weak learner가 등장함</li>
<li>Ada Boost에서는 단점이 조금 더 높은 가중치로 반영되는 반면 Gradient Boosting에서는 단점이 gradient에서 반영됨</li>
</ul>
</li>
<li>GBM은 3가지 Task 가 모두 수행가능함
<ul>
<li>Regression, Classification, Ranking</li>
</ul>
</li>
<li>Motivation (for regression problem)</li>
</ul>
<p><img src="http://www.kwangsiklee.com/wp-content/uploads/direct/machine_learning/Untitled.png" alt="Untitled"></p>
<ul>
<li>Main Idea</li>
</ul>
<p><img src="http://www.kwangsiklee.com/wp-content/uploads/direct/machine_learning/Untitled%201.png" alt="Untitled"></p>
<ul>
<li>GBM 동작 예시</li>
</ul>
<p><img src="http://www.kwangsiklee.com/wp-content/uploads/direct/machine_learning/Untitled%202.png" alt="Untitled"></p>
<ul>
<li>결과적으로 linear regression  아이디어와 매우 유사함</li>
</ul>
<p><img src="http://www.kwangsiklee.com/wp-content/uploads/direct/machine_learning/Untitled%203.png" alt="Untitled"></p>
<ul>
<li>동작 예시
<ul>
<li>Iteration을 반복하며 에러를 이는 방향으로 Decision Boundary가 형성됨</li>
</ul>
</li>
</ul>
<p><img src="http://www.kwangsiklee.com/wp-content/uploads/direct/machine_learning/Untitled%204.png" alt="Untitled"></p>
<ul>
<li>
<p>Regression용 loss</p>
<p><img src="http://www.kwangsiklee.com/wp-content/uploads/direct/machine_learning/Untitled%205.png" alt="Untitled"></p>
</li>
<li>
<p>Classification용 loss</p>
<p><img src="http://www.kwangsiklee.com/wp-content/uploads/direct/machine_learning/Untitled%206.png" alt="Untitled"></p>
</li>
<li>
<p>GBM이 가진 큰 Risk 중 하나는 Overfitting</p>
<ul>
<li>
<p>모델 갯수가 많을수록 overfit 되기 쉬움</p>
<p><img src="http://www.kwangsiklee.com/wp-content/uploads/direct/machine_learning/Untitled%207.png" alt="Untitled"></p>
</li>
</ul>
</li>
<li>
<p>Regularization</p>
<ul>
<li>
<p>subsampling</p>
<p><img src="http://www.kwangsiklee.com/wp-content/uploads/direct/machine_learning/Untitled%208.png" alt="Untitled"></p>
</li>
<li>
<p>Shrinkage</p>
<p><img src="http://www.kwangsiklee.com/wp-content/uploads/direct/machine_learning/Untitled%209.png" alt="Untitled"></p>
<ul>
<li>Shrinkage 방법은 의도적으로 점점 후속 모델들의 가중치를 떨어트림</li>
</ul>
<p><img src="http://www.kwangsiklee.com/wp-content/uploads/direct/machine_learning/Untitled%2010.png" alt="Untitled"></p>
</li>
<li>
<p>Early Stopping</p>
<ul>
<li>validation error을 통해 일정 수준 error가 증가할것 같으면 일찍 끝내 버림</li>
</ul>
<p><img src="http://www.kwangsiklee.com/wp-content/uploads/direct/machine_learning/Untitled%2011.png" alt="Untitled"></p>
</li>
</ul>
</li>
<li>
<p>Random Forest vs GBM importance 계산</p>
<ul>
<li>RF 대비 중요도 계산이 단순하다.</li>
<li>변수 j의 단일 트리 T에대한 중요도 계산 방법
<ul>
<li>L개의 종단 노드가 있다면 L-1개의 스필릿이 존재하니 그 갯수만큼 순회하면서 J변수 사용여부로 0/1로 계산</li>
</ul>
</li>
<li>j에 대한 전체 영향도 계산
<ul>
<li>M개의 트리에서의 각 영향도를 다 더한뒤 평균냄</li>
</ul>
</li>
</ul>
</li>
</ul>
<p><img src="http://www.kwangsiklee.com/wp-content/uploads/direct/machine_learning/Untitled%2012.png" alt="Untitled"></p>
 
    </div></div>

KWANGSIK LEE’s log

04-6 Gradient Boosting Machine (GBM) 개요 ****04-6: Ensemble Learning – Gradient Boosting Machine (GBM)** 강의를 보고 내용을 정리해둔다. 내용정리 Gradient Boosting = Gradient Descent + Boosting 순차적 순서로 앙상블 하는 기법 각 스테이지에서 앞선 weak learning의 단점을 보완하기 위한 weak learner가 등장함 Ada Boost에서는 단점이 조금 더 높은 가중치로 반영되는 반면 Gradient Boosting에서는 단점이 gradient에서 […]

[내용정리] DSBA 04-6 GBM에 대해 알아보자.

댓글