<div id="readability-page-1" class="page"><div><p data-ke-size="size16"><span>이번 강의에서는 파생 변수를 만드는 방법(Feature Engineering)에 대해 알아보겠습니다. 파생 변수를 만드는 것은 ML의 성능을 좌지우지하는 가장 중요한 부분 중 하나입니다. 대회에서 많은 사람들이 시간을 투자하는 부분이고, 많이 어렵기도 한 부분입니다. 도메인이나 데이터의 특성마다 적용하는 방법이 다르며, 데이터의 분석이 뒷받침이 되어야 의미가 있는 경우도 많습니다. 해당 강의에서는 일반적으로 적용할 수 있는 Feature Engineering 기법들에 대해 살펴보고, 몇몇 사례를 통해서 특정 데이터나 도메인에 대해 파생 변수를 어떻게 만들었는지 익혀보겠습니다.&nbsp;</span></p><figure data-ke-mobilestyle="widthOrigin" data-origin-width="1280" data-origin-height="301"><span data-url="https://blog.kakaocdn.net/dn/rpM1L/btsrawrd03j/DIDckBklRwckMbZQY2AJ31/img.png" data-lightbox="lightbox"><img src="https://blog.kakaocdn.net/dn/rpM1L/btsrawrd03j/DIDckBklRwckMbZQY2AJ31/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-origin-width="1280" data-origin-height="301"></span></figure>
<h2 data-ke-size="size26"><span>파생변수란 무엇이고, 왜 중요할까요?&nbsp;</span></h2><p data-ke-size="size16"><span>파생변수란 기존의 데이터를 통해서 새롭게 만들어 낸 변수를 의미합니다. 이전에 배웠던 연속형 변수에 log, exp 등의 스케일링을 취하거나 범주형 변수에 대해 인코딩을 하는 것 또한 파생변수의 하나라고 볼 수 있습니다. 파생변수를 만드는 것에 어떤 효능이 있을까요?&nbsp;</span><br>&nbsp;</p><ol data-ke-list-type="decimal"><li><span>성능적인 측면</span></li><li><span>해석적인 관점</span></li><li><span>메모리 관점&nbsp;</span></li></ol><div data-ke-size="size16"><p><span>크게는 3가지 방향이 있을 것 같습니다. 도메인 지식을 활용하거나, 변수들을 조합해 의미있는 변수를 추출하면 모델의 성능이 높아질 수 있습니다. 그리고, 이러한 변수들은 사람이나 모델이 해석하기도 좋습니다. 또한, 여러 변수들을 PCA등으로 축소해서 만들거나 변수 두개를 결합해서 한개로 변환하면 메모리 관점에서 변수들을 줄일 수 있는 효용도 있습니다. (단, 기존변수를 유지한채로 파생변수를 계속 늘려가면 메모리는 당연히 늘어납니다) 참고로, 이 과정에서 과적합 또한 방지할 수 있습니다.&nbsp;</span></p></div><h2 data-ke-size="size26"><span>이러한 파생변수는 어떻게 만들 수 있을까요?&nbsp;</span></h2><div data-ke-size="size16"><p><span>대회에서도 사람들이 가장 많은 시간을 쏟는 부분이 해당 부분이라고 할만큼 중요하지만 </span><span>어려운 작업인 것 같습니다. 파생변수를 만들기 위해서는 먼저, 데이터와 도메인에 대한 이해가 있어야 합니다. 만약, 파생 변수를 만들 때 데이터와 도메인에 대한 이해가 부족하면 어떤 일이 발생할까요? 위의 3가지 장점의 반대라고 보시면 될 것 같습니다. 성능은 감소할 수 있고, 해석도 어렵고, 메모리 관점에서도 변수가 늘어나다보니 안좋을 수 있습니다. 그렇기에, 가장 먼저 데이터의 분석과 도메인에 대한 이해를 통해서 파생변수를 만들어야합니다. 그리고, 목적식이나 타겟 변수와의 관계를 생각해주면서 접근해도 좋습니다. 그렇다면, 이러한 분석이 되었다는 하에서 파생변수를 만드는 방법들에 대해 살펴보겠습니다.&nbsp;</span></p><p>&nbsp;<span>제가 생각했을때 파생변수를 만드는 방법은 크게 두가지로 나뉘는 것 같습니다. 변수 자체를 이용해서 변환하는 방법과 변수들간의 관계를 이용해서 새로운 변수를 만드는 방법입니다. 먼저, 변수 자체를 이용하는 방법에 대해 살펴보겠습니다.&nbsp;</span></p></div><h3 data-ke-size="size23"><span>변수 자체를 이용한 방법 </span></h3><div data-ke-size="size16"><p><b><span>1. 연속형 변수의 처리&nbsp;</span></b></p><p>&nbsp;<b><span>2. 범주형 변수의 처리&nbsp;</span></b><br>2강에서 살펴본 <a href="https://eda-ai-lab.tistory.com/626" target="_blank"><span>[Machine Learning Advanced] 2강. 머신러닝 강의 - 데이터 전처리 (변수의 인코딩, 임베딩 방법)</span></a> 내용이 해당 부분과 연관이 있습니다. 해당 글에서는 범주형 변수를 처리하는 방법으로&nbsp;One Hot Encoding, Label Encoding, Frequency Encoding, Mean Encoding에 대해 살펴봤고 이미지나 텍스트가 있을때 임베딩하는 접근법에 대해 살펴봤습니다. 이런식으로, 범주형 변수를 변환해주는 파생변수 생성 방법이 있습니다.&nbsp;</p><p>&nbsp;<b>3. 시간 변수의 처리&nbsp;</b><br>시간과 관련된 변수를 파생변수로 만드는 방법 또한 존재합니다. 예를들어, 아래의 데이터를 생각해보겠습니다.&nbsp;</p></div><figure data-ke-mobilestyle="widthOrigin" data-origin-width="1280" data-origin-height="309"><span data-url="https://blog.kakaocdn.net/dn/cCCMkD/btsq2PSzdM4/2Jq0mpWrZuW3WwxPrywjy1/img.png" data-lightbox="lightbox" data-alt="카드사의 거래내용을 기반으로 지불 여부를 예측하는 데이터"><img src="https://blog.kakaocdn.net/dn/cCCMkD/btsq2PSzdM4/2Jq0mpWrZuW3WwxPrywjy1/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-origin-width="1280" data-origin-height="309"></span><figcaption>카드사의 거래내용을 기반으로 지불 여부를 예측하는 데이터</figcaption>
</figure>
<p data-ke-size="size16">이러한 시간 변수(거래일, 첫 거래일)는 컴퓨터가 바로 인식할 수 없기에 인식할 수 있는 형태로 변환해줄 필요성이 있습니다. 가장 간단한 방법으로는 년도, 월, 일, 시간, 분, 초와 같은 형태로 변수를 만들 수도 있습니다.&nbsp;<br>&nbsp;</p><figure data-ke-mobilestyle="widthOrigin" data-origin-width="1280" data-origin-height="195"><span data-url="https://blog.kakaocdn.net/dn/npY3k/btsq5X3REm1/1mrF7Ge6vbZlm0DBtkqBTK/img.png" data-lightbox="lightbox"><img src="https://blog.kakaocdn.net/dn/npY3k/btsq5X3REm1/1mrF7Ge6vbZlm0DBtkqBTK/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-origin-width="1280" data-origin-height="195"></span></figure>
<div data-ke-size="size16">&nbsp;<p>특정 시점을 기준으로 해당 시점과의 차이를 만들 수도 있습니다. 예를들어, 위에서는 거래일을 인식해주기 위해서 '1900-01-01'과 같은 특정 시점으로부터의 차이 <b>(거래일 - '1900-01-01')</b>로 변수를 만들 수 있고 혹은 첫 거래일이라는 고객명에 종속되는 변수를 이용해서 <b>거래일 - 첫 거래일</b>로 변수를 만들 수도 있습니다.&nbsp;</p><p>&nbsp;<b>4. 그 외 (공통적인 부분)</b><br>위의 부분에 공통적으로 사용할 수 있는 부분으로 결측치의 유무를 파생변수로 만드는 방법이 있습니다. 예를들어, 결측치가 있으면 1 없으면 0의 값을 부여하는 새로운 변수를 만드는 것입니다. 그 외에 많이 사용하는 방법으로는 통계적인 의미를 만드는 변수를 추가할 수도 있습니다. 예를들어<span>, 위의&nbsp;카드사의 거래내용 데이터에서 가격 변수를 기반으로 통계적 변수인 평균, 편차, 중앙값 등의 변수를 만들 수 있습니다. (평균 = (3+7000+7000)/3)</span></p></div><figure data-ke-mobilestyle="widthOrigin" data-origin-width="1160" data-origin-height="320"><span data-url="https://blog.kakaocdn.net/dn/LGIOh/btsq0vAybAz/H76hvXCzOPye5cc3zdx3ek/img.png" data-lightbox="lightbox"><img src="https://blog.kakaocdn.net/dn/LGIOh/btsq0vAybAz/H76hvXCzOPye5cc3zdx3ek/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-origin-width="1160" data-origin-height="320"></span></figure>
<div data-ke-size="size16"><p>전체 인스턴스가 같은 값이라 해당 변수 자체는 큰 의미는 없지만, 이러한 통계 값은 뒤에나올 변수들간의 관계를 파악한 상호작용 변수를 만들때 의미가 큽니다. 예를들어,&nbsp;<b>가격 / 가격_평균 혹은 가격 / 가격_중앙값 등</b>으로 변수를 만들면 평균 가격 대비 얼마나 가격이 낮은지에 대해 모델이 인식하기 용이한 장점이 있습니다.&nbsp;</p><p>&nbsp;<span>+) Moving Average</span></p></div><h3 data-ke-size="size23"><span>변수들 간의 관계를 이용한 방법</span></h3><div data-ke-size="size16"><p><span>변수 하나만 이용하여 파생변수를 만드는 것이 아닌, 여러개의 변수의 상호작용을 통해 변수를 만들 수도 있습니다. </span></p><p>&nbsp;<b><span>1. 결합 활용 (Combined)</span></b><br>대표적으로 더하거나, 빼거나, 곱하거나, 나누는 등의 방식을 이용해서 서로 다른 변수를 결합할 수 있습니다. 이전의 예시에서 <b>거래일 - 첫 거래일 </b>혹은&nbsp;<b>가격 / 가격_평균 혹은 가격 / 가격_중앙값</b>과 같은 부분이 여기에 속합니다. 서로 다른 변수들의 의미를 모두 담기에 해당 부분이 두개 변수가 설명하는 부분을 어느정도 포함하고 있고, 상호작용을 직접적으로 표현해서 모델이나 분석하는 입장에서 해석하기도 용이합니다. 또는, 서로 다른 카테고리 변수들을 결합 시켜주기도 합니다.&nbsp;&nbsp;</p></div><figure data-ke-mobilestyle="widthOrigin" data-origin-width="1280" data-origin-height="157"><span data-url="https://blog.kakaocdn.net/dn/dxgRkJ/btsqZEEwrZP/xJy6riSyog9K5nzk4BFJb1/img.png" data-lightbox="lightbox"><img src="https://blog.kakaocdn.net/dn/dxgRkJ/btsqZEEwrZP/xJy6riSyog9K5nzk4BFJb1/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-origin-width="1280" data-origin-height="157"></span></figure>
<div data-ke-size="size16"><p>이러면, 상품 카테고리만 봤을때는 옷이었지만 색상 카테고리와 결합해서 빨간색 옷이라는 의미를 부여해줄 수 있습니다.&nbsp;</p><p>&nbsp;&nbsp;<b><span>2. 그룹 활용 (Groupby)</span></b></p><p>&nbsp;<span>+) Groupby Statistics (sum, mean, max, min, std, cumsum, cummax ...)&nbsp;</span></p><p>&nbsp;<span>+) Groupby Time Diff&nbsp;&nbsp;</span></p><p>&nbsp;<b><span>2. 그룹 활용 (Groupby)</span></b></p></div></div></div>

TEAM EDA

이번 강의에서는 파생 변수를 만드는 방법(Feature Engineering)에 대해 알아보겠습니다. 파생 변수를 만드는 것은 ML의 성능을 좌지우지하는 가장 중요한 부분 중 하나입니다. 대회에서 많은 사람들이 시간을 투자하는 부분이고, 많이 어렵기도 한 부분입니다. 도메인이나 데이터의 특성마다 적용하는 방법이 다르며, 데이터의 분석이 뒷받침이 되어야 의미가 있는 경우도 많습니다. 해당 강의에서는 일반적으로 적용할 수 있는 Feature Engineering 기법들에 대해 살펴보고, 몇몇 사례를 통해서 특정 데이터나 도메인에 대해 파생 변수를 어떻게 만들었는지 익혀보겠습니다. 
파생변수란 무엇이고, 왜 중요할까요? 
파생변수란 기존의 데이터를 통해서 새롭게 만들어 낸 변수를 의미합니다. 이전에 배웠던 연속형 변수에 log, exp 등의 스케일링을 취하거나 범주형 변수에 대해 인코딩을 하는 것 또한 파생변수의 하나라고 볼 수 있습니다. 파생변수를 만드는 것에 어떤 효능이 있을까요? 
 
성능적인 측면
해석적인 관점
메모리 관점 
크게는 3가지 방향이 있을 것 같습니다. 도메인 지식을 활용하거나, 변수들을 조합해 의미있는 변수를 추출하면 모델의 성능이 높아질 수 있습니다. 그리고, 이러한 변수들은 사람이나 모델이 해석하기도 좋습니다. 또한, 여러 변수들을 PCA등으로 축소해서 만들거나 변수 두개를 결합해서 한개로 변환하면 메모리 관점에서 변수들을 줄일 수 있는 효용도 있습니다. (단, 기존변수를 유지한채로 파생변수를 계속 늘려가면 메모리는 당연히 늘어납니다) 참고로, 이 과정에서 과적합 또한 방지할 수 있습니다. 
 
 
이러한 파생변수는 어떻게 만들 수 있을까요? 
대회에서도 사람들이 가장 많은 시간을 쏟는 부분이 해당 부분이라고 할만큼 중요하지만 어려운 작업인 것 같습니다. 파생변수를 만들기 위해서는 먼저, 데이터와 도메인에 대한 이해가 있어야 합니다. 만약, 파생 변수를 만들 때 데이터와 도메인에 대한 이해가 부족하면 어떤 일이 발생할까요? 위의 3가지 장점의 반대라고 보시면 될 것 같습니다. 성능은 감소할 수 있고, 해석도 어렵고, 메모리 관점에서도 변수가 늘어나다보니 안좋을 수 있습니다. 그렇기에, 가장 먼저 데이터의 분석과 도메인에 대한 이해를 통해서 파생변수를 만들어야합니다. 그리고, 목적식이나 타겟 변수와의 관계를 생각해주면서 접근해도 좋습니다. 그렇다면, 이러한 분석이 되었다는 하에서 파생변수를 만드는 방법들에 대해 살펴보겠습니다. 
 
제가 생각했을때 파생변수를 만드는 방법은 크게 두가지로 나뉘는 것 같습니다. 변수 자체를 이용해서 변환하는 방법과 변수들간의 관계를 이용해서 새로운 변수를 만드는 방법입니다. 먼저, 변수 자체를 이용하는 방법에 대해 살펴보겠습니다. 
 
변수 자체를 이용한 방법 
1. 연속형 변수의 처리 
 
2. 범주형 변수의 처리 
2강에서 살펴본 [Machine Learning Advanced] 2강. 머신러닝 강의 - 데이터 전처리 (변수의 인코딩, 임베딩 방법) 내용이 해당 부분과 연관이 있습니다. 해당 글에서는 범주형 변수를 처리하는 방법으로 One Hot Encoding, Label Encoding, Frequency Encoding, Mean Encoding에 대해 살펴봤고 이미지나 텍스트가 있을때 임베딩하는 접근법에 대해 살펴봤습니다. 이런식으로, 범주형 변수를 변환해주는 파생변수 생성 방법이 있습니다. 
 
3. 시간 변수의 처리 
시간과 관련된 변수를 파생변수로 만드는 방법 또한 존재합니다. 예를들어, 아래의 데이터를 생각해보겠습니다. 
이러한 시간 변수(거래일, 첫 거래일)는 컴퓨터가 바로 인식할 수 없기에 인식할 수 있는 형태로 변환해줄 필요성이 있습니다. 가장 간단한 방법으로는 년도, 월, 일, 시간, 분, 초와 같은 형태로 변수를 만들 수도 있습니다. 
 
 
특정 시점을 기준으로 해당 시점과의 차이를 만들 수도 있습니다. 예를들어, 위에서는 거래일을 인식해주기 위해서 '1900-01-01'과 같은 특정 시점으로부터의 차이 (거래일 - '1900-01-01')로 변수를 만들 수 있고 혹은 첫 거래일이라는 고객명에 종속되는 변수를 이용해서 거래일 - 첫 거래일로 변수를 만들 수도 있습니다. 
 
4. 그 외 (공통적인 부분)
위의 부분에 공통적으로 사용할 수 있는 부분으로 결측치의 유무를 파생변수로 만드는 방법이 있습니다. 예를들어, 결측치가 있으면 1 없으면 0의 값을 부여하는 새로운 변수를 만드는 것입니다. 그 외에 많이 사용하는 방법으로는 통계적인 의미를 만드는 변수를 추가할 수도 있습니다. 예를들어, 위의 카드사의 거래내용 데이터에서 가격 변수를 기반으로 통계적 변수인 평균, 편차, 중앙값 등의 변수를 만들 수 있습니다. (평균 = (3+7000+7000)/3)
전체 인스턴스가 같은 값이라 해당 변수 자체는 큰 의미는 없지만, 이러한 통계 값은 뒤에나올 변수들간의 관계를 파악한 상호작용 변수를 만들때 의미가 큽니다. 예를들어, 가격 / 가격_평균 혹은 가격 / 가격_중앙값 등으로 변수를 만들면 평균 가격 대비 얼마나 가격이 낮은지에 대해 모델이 인식하기 용이한 장점이 있습니다. 
 
+) Moving Average
 
변수들 간의 관계를 이용한 방법
변수 하나만 이용하여 파생변수를 만드는 것이 아닌, 여러개의 변수의 상호작용을 통해 변수를 만들 수도 있습니다. 
 
1. 결합 활용 (Combined)
대표적으로 더하거나, 빼거나, 곱하거나, 나누는 등의 방식을 이용해서 서로 다른 변수를 결합할 수 있습니다. 이전의 예시에서 거래일 - 첫 거래일 혹은 가격 / 가격_평균 혹은 가격 / 가격_중앙값과 같은 부분이 여기에 속합니다. 서로 다른 변수들의 의미를 모두 담기에 해당 부분이 두개 변수가 설명하는 부분을 어느정도 포함하고 있고, 상호작용을 직접적으로 표현해서 모델이나 분석하는 입장에서 해석하기도 용이합니다. 또는, 서로 다른 카테고리 변수들을 결합 시켜주기도 합니다.  
이러면, 상품 카테고리만 봤을때는 옷이었지만 색상 카테고리와 결합해서 빨간색 옷이라는 의미를 부여해줄 수 있습니다. 
 
 
2. 그룹 활용 (Groupby)
 
+) Groupby Statistics (sum, mean, max, min, std, cumsum, cummax ...) 
 
+) Groupby Time Diff  
 
2. 그룹 활용 (Groupby)

[Machine Learning Advanced] 3강. 머신러닝 강의 - 파생 변수 만들기

댓글