<div id="readability-page-1" class="page"><div id="post-4473">
        <h2>개요</h2>
<p>Ada Boost에 대해 알아 본 뒤 정리해둔다.</p>
<h2>컨셉</h2>
<h3>strong model vs weak model</h3>
<ul>
<li>weak 모델은 랜덤 추측보다 조금 더 잘하는것</li>
<li>weak 모델은 strong model 까지 부스팅 될 수 있음</li>
</ul>
<h3>boosting 컨셉</h3>
<p>ㄱ,ㄴ,ㄷ,ㄹ,ㅁ 가 모델이고 B alpha, beta, …이 데이터라 가정하자.</p>
<p>이걸 더 단순화 해서 공부에 대입하면 ㄱ~ㅁ 의 사람이 B alpha 등등의 문제지를 푼다고 가정하자.</p>
<p>ㄱ보고 B alpha플 풀게 해보니 과학은 잘 맞추면 그건 넘어가고 잘 못하는 예술 역사 문제들로 집중해서 다음 ㄴ에게 풀게 만든다.</p>
<p>왜냐면 과학은 ㄱ이 이미 잘 풀기 때문이다.</p>
<p><img src="http://www.kwangsiklee.com/wp-content/uploads/direct/machine_learning/border/ada_0100.png" alt=""></p>

<ul>
<li>학습데이터셋 준비</li>
<li>get some rule of thumb(weak model)</li>
<li>앞선 모형이 잘 풀지 못하는 문제에 한해 학습데이터셋에 대한 가중치를 다시 결정</li>
<li>다시 새로운 rule of thumb을 유도해냄</li>
<li>… 반복하면</li>
<li>지금 까지 찾아낸 규칙을 조합해 하나의 합쳐진 strong model을 만듦</li>
</ul>
<h2>idea</h2>
<ul>
<li>모델 트레이닝을 순차적으로 진행함(한턴에 하나의 모델을 학습)</li>
<li>오분류된 example을 찾아다가 새로운 트레이닝 셋에 대해서는 더 많이 나올수 있게 가중치를 조절</li>
<li>앞선 모델의 큰 에러는 다음 모델에서 데이터를 더 많이 학습하게 되어 줄어들게 만듦</li>
</ul>
<p><img src="http://www.kwangsiklee.com/wp-content/uploads/direct/machine_learning/border/ada_0510.png" alt=""></p>
<h2>수도코드</h2>
<p>Ada Boost의 수도코드를 정리해본다.</p>
<p><img src="http://www.kwangsiklee.com/wp-content/uploads/direct/machine_learning/border/ada_0200.png" alt=""></p>
<h2>데이터 예시</h2>
<p><img src="http://www.kwangsiklee.com/wp-content/uploads/direct/machine_learning/border/ada_0700.png" alt=""></p>
<h2>Bagging vs Boosting</h2>
<p>아래와 같은 차이를 지닌다.</p>
<p><img src="http://www.kwangsiklee.com/wp-content/uploads/direct/machine_learning/border/ada_0300.png" alt=""></p>
<p>데이터 샘플을 뽑는 과정을 보면 Bagging/Boosting의 차이가 더 커진다.</p>
<p><img src="http://www.kwangsiklee.com/wp-content/uploads/direct/machine_learning/border/ada_0400.png" alt=""></p>
<h2>Reference</h2>
<ul>
<li>https://www.youtube.com/watch?v=HZg8_wZPZGU&amp;list=PLetSlH8YjIfWMdw9AuLR5ybkVvGcoG2EW&amp;index=25</li>
</ul>
 
    </div></div>

KWANGSIK LEE’s log

개요 Ada Boost에 대해 알아 본 뒤 정리해둔다. 컨셉 strong model vs weak model weak 모델은 랜덤 추측보다 조금 더 잘하는것 weak 모델은 strong model 까지 부스팅 될 수 있음 boosting 컨셉 ㄱ,ㄴ,ㄷ,ㄹ,ㅁ 가 모델이고 B alpha, beta, …이 데이터라 가정하자. 이걸 더 단순화 해서 공부에 대입하면 ㄱ~ㅁ 의 사람이 B alpha 등등의 문제지를 푼다고 […]

Ada Boost에 대해 알아보자.

댓글