<div id="readability-page-1" class="page"><p><span>by</span>
            
            <span></span>
                            <span>Jul 31. 2017</span>
                    </p><div><p data-app="{&quot;type&quot;:&quot;text&quot;,&quot;data&quot;:[{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot;이전 글 \u0027Ridge와 Lasso Regression의 쉬운 풀이\u0027에서 우리는 Bias와 Variance를 훑어 보았습니다. 본 글은 bias와 variance의 개념을 다시 한 번 짚고 넘어가는 글입니다. 기계학습(Machine Learning)에 있어 중요한 개념이기 때문에 별도의 주제로 잡아보았습니다. &quot;}]}">이전 글 'Ridge와 Lasso Regression의 쉬운 풀이'에서 우리는 Bias와 Variance를 훑어 보았습니다. 본 글은 bias와 variance의 개념을 다시 한 번 짚고 넘어가는 글입니다. 기계학습(Machine Learning)에 있어 중요한 개념이기 때문에 별도의 주제로 잡아보았습니다.&nbsp;</p><p data-app="{&quot;type&quot;:&quot;text&quot;,&quot;data&quot;:[{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot;기계학습이든 딥러닝이든 답을 찾기 위해서는 bias-variance trade-off가 필수입니다. &quot;}]}">기계학습이든 딥러닝이든 답을 찾기 위해서는 bias-variance trade-off가 필수입니다.&nbsp;</p><p data-app="{&quot;type&quot;:&quot;text&quot;,&quot;data&quot;:[{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot;그렇다면 bias는 무엇이고, variance는 무엇일까요? &quot;}]}">그렇다면 bias는 무엇이고, variance는 무엇일까요?&nbsp;</p><p data-app="{&quot;type&quot;:&quot;text&quot;,&quot;data&quot;:[{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot;[목차]&quot;}]}">[목차]</p><p data-app="{&quot;type&quot;:&quot;text&quot;,&quot;data&quot;:[{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot;1. Bias란?&quot;}]}">1. Bias란?</p><p data-app="{&quot;type&quot;:&quot;text&quot;,&quot;data&quot;:[{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot;2. Variance란?&quot;}]}">2. Variance란?</p><p data-app="{&quot;type&quot;:&quot;text&quot;,&quot;data&quot;:[{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot;3. 모델의 복잡도&quot;}]}">3. 모델의 복잡도</p><h2 data-app="{&quot;type&quot;:&quot;text&quot;,&quot;data&quot;:[{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot;1. Bias란?&quot;}],&quot;size&quot;:&quot;h2&quot;}">1. Bias란?</h2><p data-app="{&quot;type&quot;:&quot;text&quot;,&quot;data&quot;:[{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot;기계학습이나 딥러닝 관련 글이나 정보를 찾아보신 분들은 이 분야에서 부르는 bias가 두 가지가 있다는 점을 아실 것입니다. 첫번째는 y \u003d ax + b의 \&quot;b\&quot;를 bias라고 부르는 경우가 있습니다. 지금 제가 언급하려는 bias는 이 bias는 아닙니다. 제가 이전 글에서부터 이야기했던 bias는 델타, 즉 실제값과 예측값의 차이를 말하는 것입니다. &quot;}]}">기계학습이나 딥러닝 관련 글이나 정보를 찾아보신 분들은 이 분야에서 부르는 bias가 두 가지가 있다는 점을 아실 것입니다. 첫번째는 y = ax + b의 "b"를 bias라고 부르는 경우가 있습니다. 지금 제가 언급하려는 bias는 이 bias는 아닙니다. 제가 이전 글에서부터 이야기했던 bias는 델타, 즉 실제값과 예측값의 차이를 말하는 것입니다.&nbsp;</p><div data-app="{&quot;type&quot;:&quot;img&quot;,&quot;align&quot;:&quot;inner-center&quot;,&quot;mobileAlign&quot;:&quot;content-full&quot;,&quot;url&quot;:&quot;http://t1.daumcdn.net/brunch/service/user/19LF/image/TyOQA8ZB9cdEsp5CR3J7M6N2twA.png&quot;,&quot;caption&quot;:&quot;&quot;,&quot;width&quot;:&quot;555&quot;,&quot;height&quot;:&quot;140&quot;,&quot;originalName&quot;:&quot;overunder1.png&quot;}"><p><img src="https://t1.daumcdn.net/thumb/R1280x0/?fname=http://t1.daumcdn.net/brunch/service/user/19LF/image/TyOQA8ZB9cdEsp5CR3J7M6N2twA.png" data-filename="overunder1.png"><span></span></p></div><p data-app="{&quot;type&quot;:&quot;text&quot;,&quot;data&quot;:[{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot;상단의 그림을 보시면 &quot;},{&quot;type&quot;:&quot;text&quot;,&quot;data&quot;:[{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot;왼쪽의 underfitting&quot;}],&quot;styleType&quot;:&quot;bold&quot;},{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot;을 나타내는 그림에 대해서는&quot;},{&quot;type&quot;:&quot;text&quot;,&quot;data&quot;:[{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot; bias가 높다&quot;}],&quot;styleType&quot;:&quot;bold&quot;},{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot;라고 이야기하고,&quot;},{&quot;type&quot;:&quot;br&quot;}]}">상단의 그림을 보시면 <b>왼쪽의 underfitting</b>을 나타내는 그림에 대해서는<b>&nbsp;bias가 높다</b>라고 이야기하고,<br></p><p data-app="{&quot;type&quot;:&quot;text&quot;,&quot;data&quot;:[{&quot;type&quot;:&quot;text&quot;,&quot;data&quot;:[{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot;오른쪽의 overfitting&quot;}],&quot;styleType&quot;:&quot;bold&quot;},{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot;을 나타내는 그림에 대해서는 &quot;},{&quot;type&quot;:&quot;text&quot;,&quot;data&quot;:[{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot;실제값(주황색 점)과 예측값(파란색 선)의 차이가 적으니&quot;}],&quot;styleType&quot;:&quot;bold&quot;},{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot; &quot;},{&quot;type&quot;:&quot;text&quot;,&quot;data&quot;:[{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot;bias가 낮다&quot;}],&quot;styleType&quot;:&quot;bold&quot;},{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot;라고 이야기합니다.  이런 표현 방식은 위의 그림과 같은 \u0027예측\u0027 모형에서도 적용되고, 하단의 그림과 같은 \u0027분류\u0027모형에서도 적용됩니다. &quot;}]}"><b>오른쪽의 overfitting</b>을 나타내는 그림에 대해서는 <b>실제값(주황색 점)과 예측값(파란색 선)의 차이가 적으니</b>&nbsp;<b>bias가 낮다</b>라고 이야기합니다.&nbsp;&nbsp;이런 표현 방식은 위의 그림과 같은 '예측' 모형에서도 적용되고, 하단의 그림과 같은 '분류'모형에서도 적용됩니다.&nbsp;</p><div data-app="{&quot;type&quot;:&quot;img&quot;,&quot;align&quot;:&quot;content-full&quot;,&quot;mobileAlign&quot;:&quot;full&quot;,&quot;url&quot;:&quot;http://t1.daumcdn.net/brunch/service/user/19LF/image/8QgiMmhh6V8yIZTnUlG5BORCvi8.png&quot;,&quot;caption&quot;:&quot;&quot;,&quot;width&quot;:&quot;700&quot;,&quot;height&quot;:&quot;322&quot;,&quot;originalName&quot;:&quot;스크린샷 2017-07-30 오후 7.59.30.png&quot;}"><p><img src="https://t1.daumcdn.net/thumb/R1280x0/?fname=http://t1.daumcdn.net/brunch/service/user/19LF/image/8QgiMmhh6V8yIZTnUlG5BORCvi8.png" data-filename="스크린샷 2017-07-30 오후 7.59.30.png"><span></span></p></div><h2 data-app="{&quot;type&quot;:&quot;text&quot;,&quot;data&quot;:[{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot;2. Variance란?&quot;}],&quot;size&quot;:&quot;h2&quot;}">2. Variance란?</h2><p data-app="{&quot;type&quot;:&quot;text&quot;,&quot;data&quot;:[{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot;Variance는 표준편차의 제곱값임을 알고 계실 것입니다. 말로 풀어본다면, 데이터들이 얼마나 평균으로부터 떨어져 있는지를 제곱 형태(크기의 정도를 파악하기 위해)로 바꾸었다고 설명될 것 같네요. &quot;}]}">Variance는 표준편차의 제곱값임을 알고 계실 것입니다. 말로 풀어본다면, 데이터들이 얼마나 평균으로부터 떨어져 있는지를 제곱 형태(크기의 정도를 파악하기 위해)로 바꾸었다고 설명될 것 같네요.&nbsp;</p><p data-app="{&quot;type&quot;:&quot;text&quot;,&quot;data&quot;:[{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot;Bias-variance trade-off에 쓰인 variance는 그보다 조금 더 구체적입니다. &quot;}]}">Bias-variance trade-off에 쓰인 variance는 그보다 조금 더 구체적입니다.&nbsp;</p><p data-app="{&quot;type&quot;:&quot;text&quot;,&quot;data&quot;:[{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot;여기서의 variance는 train set의 모든 데이터들과 예측값의 차이입니다. 그리고 &quot;},{&quot;type&quot;:&quot;text&quot;,&quot;data&quot;:[{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot;variance는 모델의 정확성과는 상관이 없습니다&quot;}],&quot;styleType&quot;:&quot;underline&quot;},{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot;. 가령 T1부터 T5까지의 서로 다른 5개의 train set에 대한 과적합된 모델이 있다고 하였을 때는 이 모델의 정확성은 높겠지요. 하지만 &quot;},{&quot;type&quot;:&quot;text&quot;,&quot;data&quot;:[{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot;궁극적인 목적은 input data와 예측값의 오차를 줄이려는 것이 아니라 진짜 데이터,&quot;}],&quot;styleType&quot;:&quot;bold&quot;},{&quot;type&quot;:&quot;text&quot;,&quot;data&quot;:[{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot; f(x)를 구하는 것&quot;}],&quot;styleType&quot;:&quot;bold&quot;},{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot;임을 명심하셔야 합니다.  &quot;}]}">여기서의 variance는 train set의 모든 데이터들과 예측값의 차이입니다. 그리고 <u>variance는 모델의 정확성과는 상관이 없습니다</u>. 가령 T1부터 T5까지의 서로 다른 5개의&nbsp;train set에 대한&nbsp;과적합된 모델이 있다고 하였을 때는 이 모델의 정확성은 높겠지요. 하지만 <b>궁극적인 목적은 input data와 예측값의 오차를 줄이려는 것이 아니라 진짜 데이터,</b><b>&nbsp;f(x)를 구하는 것</b>임을 명심하셔야 합니다.&nbsp;&nbsp;</p><h2 data-app="{&quot;type&quot;:&quot;text&quot;,&quot;data&quot;:[{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot;3. 모델의 복잡도&quot;}],&quot;size&quot;:&quot;h2&quot;}">3. 모델의 복잡도</h2><p data-app="{&quot;type&quot;:&quot;text&quot;,&quot;data&quot;:[{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot;variance가 높을수록 모형은 복잡해집니다. 1,2번의 두 그림(우측)이 이를 설명합니다. 모델의 복잡도가 높다고 하여도 정규화(regularization)등을 통해서 다시 단순하게 만들 수 있습니다. (자세한 내용은 \u0027Ridge와 Lasso Regression의 쉬운 풀이\u0027 참고.) 정규화 작업으로 변수의 계수를 줄이거나 0으로 만들면서 훨씬 단순하게 모형을 바꿉니다. 여러분이 알고 있는 의사결정나무도 이런 변형이 가능하구요. &quot;}]}">variance가 높을수록 모형은 복잡해집니다. 1,2번의 두 그림(우측)이 이를 설명합니다. 모델의 복잡도가 높다고 하여도 정규화(regularization)등을 통해서 다시 단순하게 만들 수 있습니다. (자세한 내용은 'Ridge와 Lasso Regression의 쉬운 풀이' 참고.) 정규화 작업으로 변수의 계수를 줄이거나 0으로 만들면서 훨씬 단순하게 모형을 바꿉니다. 여러분이 알고 있는 의사결정나무도 이런 변형이 가능하구요.&nbsp;</p><div data-app="{&quot;type&quot;:&quot;img&quot;,&quot;align&quot;:&quot;inner-center&quot;,&quot;mobileAlign&quot;:&quot;content-full&quot;,&quot;url&quot;:&quot;http://t1.daumcdn.net/brunch/service/user/19LF/image/wMi8xSVjxTqMLr1BDMzl-7dqJPc.png&quot;,&quot;caption&quot;:&quot;복잡한 Decision Tree&quot;,&quot;width&quot;:&quot;350&quot;,&quot;height&quot;:&quot;208&quot;,&quot;originalName&quot;:&quot;&quot;}"><p><img src="https://t1.daumcdn.net/thumb/R1280x0/?fname=http://t1.daumcdn.net/brunch/service/user/19LF/image/wMi8xSVjxTqMLr1BDMzl-7dqJPc.png"><span>복잡한 Decision Tree</span></p></div><div data-app="{&quot;type&quot;:&quot;img&quot;,&quot;align&quot;:&quot;content-full&quot;,&quot;mobileAlign&quot;:&quot;full&quot;,&quot;url&quot;:&quot;http://t1.daumcdn.net/brunch/service/user/19LF/image/vsJz0gPYo2vQaZAijLgLhhvZ-Sc.png&quot;,&quot;caption&quot;:&quot;단순화된 Decision Tree&quot;,&quot;width&quot;:&quot;1051&quot;,&quot;height&quot;:&quot;403&quot;,&quot;originalName&quot;:&quot;스크린샷 2017-07-30 오후 8.40.54.png&quot;}"><p><img src="https://t1.daumcdn.net/thumb/R1280x0/?fname=http://t1.daumcdn.net/brunch/service/user/19LF/image/vsJz0gPYo2vQaZAijLgLhhvZ-Sc.png" data-filename="스크린샷 2017-07-30 오후 8.40.54.png"><span>단순화된 Decision Tree</span></p></div><h3 data-app="{&quot;type&quot;:&quot;text&quot;,&quot;data&quot;:[{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot;* Linear Model이 Non-Linear Model보다 복잡하다?&quot;}],&quot;size&quot;:&quot;h3&quot;}">* Linear Model이 Non-Linear Model보다 복잡하다?</h3><p data-app="{&quot;type&quot;:&quot;text&quot;,&quot;data&quot;:[{&quot;type&quot;:&quot;text&quot;,&quot;text&quot;:&quot;그렇지 않습니다! Linear Model이 마치 절제된 모형의 느낌이 나니 그렇게 착각하실 수 있는데, \u0027복잡성\u0027은 때에 따라 다릅니다. 단순한 Non-linear model이 엄청나게 길게 풀어낸 Linear Model보다 복잡도가 낮을 수도 있습니다.   &quot;}]}">그렇지 않습니다! Linear Model이 마치 절제된 모형의 느낌이 나니 그렇게 착각하실 수 있는데, '복잡성'은 때에 따라 다릅니다. 단순한 Non-linear model이 엄청나게 길게 풀어낸 Linear Model보다 복잡도가 낮을 수도 있습니다.&nbsp;&nbsp;&nbsp;</p></div></div>

월급쟁이

이전 글 'Ridge와 Lasso Regression의 쉬운 풀이'에서 우리는 Bias와 Variance를 훑어 보았습니다. 본 글은 bias와 variance의 개념을 다시 한 번 짚고 넘어가는 글입니다. 기계학습(Machine Learning)에 있어 중요한 개념이기 때문에 별도의 주제로 잡아보았습니다.  기계학습이든 딥러닝이든 답을 찾기 위해서는 bi

정답을 모른다면 유사한 답이라도 찾자 - 기계학습의 핵심, Bias와 Variance

댓글