<div id="readability-page-1" class="page"><div><figure data-ke-mobilestyle="widthOrigin" data-filename="blob" data-origin-width="1280" data-origin-height="301"><img src="https://blog.kakaocdn.net/dn/bDhQT6/btsp91guEh6/t7UUVUaCl2DoHkxuDs0Jsk/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="blob" data-origin-width="1280" data-origin-height="301"></figure>

이번 강의에서는 변수의 선택 (Feature Selection)에 대해 알아보겠습니다. 변수의 선택은 파생 변수가 만들어진 이후에 진행되기도 하고, 모델의 학습이 끝난 이후에 진행되기도 합니다. 어떤 방법, 모델, 목적에 따라 다른 모습을 보이는데 이번 강의에서는 Feature Selection의 의미와 왜 해야 하는지, 어떤 방법들이 있는지 살펴보고 마지막으로 최근 대회에서 사용되는 실용적인 기법들을 보면서 마무리하겠습니다.&nbsp;

<h2 data-ke-size="size26">Feature Selection이란 무엇이고 왜 해야하는 것일까요?&nbsp;</h2>
Feature Selection (변수 선택)은 학습에 필요한 변수들을 선택하는 과정을 의미합니다. 이 과정을 통해서 변수를 줄이게 되면 얻는 장점은&nbsp;

1. 차원의 저주 (Curse of Dimensionality) 해소: 변수가 많을 수록 데이터의 차원이 높아지며, 이는 모델의 학습에 더 많은 데이터를 요구하고 복잡성을 증가시킬 수 있습니다. Feature Selection을 통해 불필요한 변수를 제거하여 해당 문제를 해결할 수 있습니다.&nbsp;

2. 모델의 성능 향상 : 불필요한 변수에 모델이 과적합(Overfitting)되는 문제를 완하할 수 있습니다. 그로인해, 모델의 성능 향상을 기대할 수 있습니다.&nbsp;

3. 학습 및 추론 시간, 메모리 개선 : 일반적으로 변수의 수가 증가하면 모델의 학습 및 예측에 걸리는 시간이 증가하고, 더 큰 메모리를 요구하게 됩니다. 이때, 불필요한 변수를 제거하면 시간과 메모리 관점에서 효율적입니다.&nbsp;

4. 해석 가능성: 변수가 많은 경우보다 적은 경우에 모델의 결과를 해석하기 더 용이합니다.&nbsp;

<h2 data-ke-size="size26">Feature Selection을 수행하는 대표적인 3가지 접근법&nbsp;</h2>
Feature Selection을 하게 되는 상황을 생각해보면, 학습 전에 주어진 변수들에 대해서 적용을 해볼 수가 있고 파생변수까지 만들고 학습한 이후에 적용해볼 수 있습니다. 일반적으로 대회에서는 극한의 성능을 내야하다보니 파생변수를 하나씩 만드는대로 추가 후 성능의 상승, 하락 유무를 파악한 뒤에 오르면 유지, 떨어지면 제거하는 방식을 사용합니다. 하지만, 실제 주어진 피쳐가 너무 많거나 파생변수를 한번에 많이 만든경우 모든 경우의 수 (2^N-1)를 조사하는 것은 무리입니다. 그렇기에, 아래의 3가지 접근법을 많이 활용합니다. 3가지 접근법의 차이는 이제 아래의 그림처럼 모델 학습 이전에 수행되는지, 반복되는지, 성능 평가가 진행되는지로 나뉩니다.&nbsp;

<figure data-ke-mobilestyle="widthOrigin" data-filename="blob" data-origin-width="1280" data-origin-height="639"><img src="https://blog.kakaocdn.net/dn/vvYLV/btsqtyp7J39/Mb8SgdPamxJbFoWaTKNN11/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="blob" data-origin-width="1280" data-origin-height="639"><figcaption>3가지 형태의 변수 선택 방법</figcaption>
</figure>


<h2 data-ke-size="size26">Filter method&nbsp;</h2>
<figure data-ke-mobilestyle="widthOrigin" data-origin-width="1280" data-origin-height="94"><img src="https://blog.kakaocdn.net/dn/9gjIL/btsqj20oPvp/D8fSpjyHnHeahaWJpaO2b1/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-origin-width="1280" data-origin-height="94"></figure>

Filter 메서드는 변수들 간의 통계적 관계를 평가하여 변수의 중요도를 결정하는 방법입니다. 변수들 간의 상관관계나 분산을 기준으로 변수를 선택합니다. 주요 방법으로는 다음이 있습니다:

1. 상관관계: 변수들 간의 상관계수를 계산하여 상관관계가 높은 변수를 선택합니다.&nbsp;

2. 분산 기준: 분산이 낮은 변수들을 제거하여 변동성이 낮은 변수를 제거합니다.

그 외에도 chi-square test, fisher score, information gain 등 여러 방법을 사용할 수 있습니다.&nbsp;


일반적으로 상관관계나 분산 등의 정보가 모델에 좋은 피처를 선택하는 기준이라고는 할 수 없습니다. 하지만, 다른 기법들에 비해 계산속도가 빠르기에 데이터의 크기가 큰 경우에 대해서 사용하기 편할 수 있고, 상관성이 너무 높은 변수가 있다면 이를 제거하는 것도 충분히 유의미합니다. 실제 캐글의 IEEE-Cis Fraud Detection 대회에서도 Correlation을 기반으로 변수를 제거하는 방법들이 사용되었습니다.&nbsp;

아래는 IEEE-CIS Fraud Detection 대회의 일부 변수들에 대해 Correlation을 기반으로 제거한 예시입니다. 해당 대회의 데이터는 변수만 거의 300개 이상으로 굉장히 많았습니다. 이때, V가 붙은 변수들은 유사한 모습을 보였는데 아래의 그림에서 블록 내에서 상관 된 (r&gt; 0.75) 하위 집합을 찾을 수 있습니다.

[[279,280,293,294,295,298,299],[284],[285,287],[286],[290,291,292],[297],[302,303,304],[305],[306,307,308,316,317,318],[309,311],[310,312],[319,320,321]]

이때, 해당 각 하위 블록에서 가장 원소의 갯수가 많은 변수 (설명력이 가장 높은 변수)를 선택해서 변수 선택을 진행했습니다.&nbsp;예를들어, [279,280,293,294,295,298,299] 블록은 각각 원소의 갯수가 [881, 975, 870, 1286, 928, 94, 50]이고 가장 큰 1286을 가지는 294 변수가 남게 됩니다. 이를 모든 하위 블록에 대해서 진행하면&nbsp;[294, 284, 285, 286, 291, 297, 303, 305, 307, 309, 310, 320]이 됩니다.&nbsp;
<figure data-ke-mobilestyle="widthOrigin" data-origin-width="873" data-origin-height="924"><img src="https://blog.kakaocdn.net/dn/cO9NtW/btsqrDFA0DY/pDEe3zYZlQhz4Sk06klCjK/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-origin-width="873" data-origin-height="924"></figure>


<h2 data-ke-size="size26">Wrapper method&nbsp;</h2>
<figure data-ke-mobilestyle="widthOrigin" data-origin-width="1280" data-origin-height="198"><img src="https://blog.kakaocdn.net/dn/dptGjh/btsqj4DYcNu/3taj9A3Mtt4MUlyik2f2y1/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-origin-width="1280" data-origin-height="198"></figure>

Wrapper 메서드는 실제 모델의 성능을 활용하여 변수를 선택하는 방법입니다. 모델을 반복적으로 학습시키고 검증하는 과정에서 변수를 선택합니다. 주요 방법으로는 다음이 있습니다:&nbsp;

1. 순차적 특성 선택 (Sequential Feature Selection): 변수를 하나씩 추가하거나 제거하여 최적의 변수 조합을 찾는 방법입니다.

2. 재귀적 특성 제거 (Recursive Feature Elimination): 모든 변수를 포함한 상태에서 중요하지 않은 변수들을 제거해 나가면서 모델의 성능을 평가하는 방법입니다.

대표적인 Wrapper method로는 Forward Selection(전진 선택), Backward Elimination(후방 제거), Stepwise Selection(단계별 선택)가 유명합니다. Forward Selection은 이름에서 알 수 있듯이 변수를 하나씩 추가하면서 모델의 성능을 측정하는 방법입니다.&nbsp;

한번 예시를 통해서 해당 방법을 이해해보겠습니다. 상황은 아래와 같습니다.

변수: x0, x1, x2, x3
모델: Linear Regression
평가 지표: 수정된 결정 계수(R^2_adj)

[Forward Selection]
<div><figure data-ke-mobilestyle="widthOrigin" data-origin-width="1280" data-origin-height="147"><img src="https://blog.kakaocdn.net/dn/nq9sm/btsqtWdwWRo/Txbxk4mcDkktr8hhRlWAn1/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-origin-width="1280" data-origin-height="147"></figure>

이전 모델과 비교하였을때, 평가지표가 안좋아졌으므로 정지합니다.&nbsp;마찬가지로 Backward Elimination는 전체 변수가 모두 있는 경우부터 시작해서 한개씩 빼는 것을 의미하고, Stepwise Selection은 전진과 후진을 반복해서 사용하는 것을 의미합니다. 일반적으로 모형 적합도 (AIC)라는 퍼포먼스 측정값을 만들고 진행을 하며, 정확성은 많이 높일 수 있지만 비용이나 시간이 많이 발생하는 단점이 있습니다.&nbsp;
</div>

<h2 data-ke-size="size26">Embedded method&nbsp;</h2>
<figure data-ke-mobilestyle="widthOrigin" data-origin-width="1280" data-origin-height="196"><img src="https://blog.kakaocdn.net/dn/QtRbA/btsqrERVT8W/4zLpFKihOflZcpwkXJnCTK/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-origin-width="1280" data-origin-height="196"></figure>

Embedded 메서드는 모델 훈련 과정에서 변수의 중요도를 평가하며, 모델에 포함된 변수 중요도를 기반으로 변수를 선택합니다. 이 방법은 모델의 특성을 잘 반영하며, 변수의 중요도와 모델의 복잡성을 고려합니다. 주요 방법으로는 다음이 있습니다:&nbsp;

1. 랜덤 포레스트 변수 중요도: 랜덤 포레스트 모델을 사용하여 변수 중요도를 평가하고 중요한 변수를 선택합니다.&nbsp;

2. L1 규제 (Lasso Regression): L1 규제를 사용하는 선형 회귀 모델에서 변수의 계수를 줄여줌으로써 중요한 변수를 선택합니다.

예시 / 장단점?&nbsp;
<h2 data-ke-size="size26">대회에서 활용된 방법&nbsp;</h2>
위의 방법들 이외에도 결측치가 너무 많은 변수를 제거할 수도 있고, unique value의 값이 1인 값을 제거할 수도 있습니다. 혹은, 대회에서 많이 활용되는 방법으로 Adversarial Validation이라는 방법도 존재합니다. 해당 방법은 제가 Recsys2023 challenge, IEEE Cis Fraud Detection 대회에서도 활용했고 저 외의 많은 캐글러들도 활용하는 방법입니다.&nbsp;

<h3 data-ke-size="size23">Adversarial Validation</h3>
해당 방법은 학습 셋과 평가 셋을 구분하는 변수를 하나 만들어서 모델이 이를 분류를 잘 하는지 확인을 통해, 평가와 학습 셋에서 다른 분포를 보이는 변수를 제거하는 방법입니다.&nbsp;
<figure data-ke-mobilestyle="widthOrigin" data-filename="blob" data-origin-width="1280" data-origin-height="576"><img src="https://blog.kakaocdn.net/dn/b2Q6SY/btsqviAkurT/zLLdiLX7OlEaWhMBpquKw1/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="blob" data-origin-width="1280" data-origin-height="576"></figure>

1. 학습 셋에 새로운 변수를 만들어 0을 주고, 평가 셋에 새로운 변수를 만들어 1을 준 후 합칩니다.&nbsp;

2. 1번 이후, 합쳐진 데이터를 랜덤하게 분할합니다.

3. 2에서 분할된 데이터 중 하나를 학습 셋으로, 다른 하나를 평가 셋으로 하여 1에서 만든 레이블을 분류하도록 학습시킵니다.&nbsp;

4. 3의 과정에서 AUC 등의 분류 스코어와 모델의 피처 중요도를 보고 해석을 진행합니다. (AUC가 높으면 0과 1을 잘 구분한 것으로 학습 셋과 평가 셋의 차이가 높다는 의미이고, 이때 어떤 변수가 중요하게 영향을 끼쳤는지 확인하여 변수를 제거할 수 있습니다)&nbsp;

알고리즘은 위의 4가지로 설명이 가능합니다. 이렇게 되면 모델은 학습 셋과 평가 셋을 잘 구분하려고 노력할 것이고, 만일 모델이 잘 구분한다고 하면 어떤 변수들의 상호작용에 의해 학습 셋에서 평가 셋으로 넘어오는 기간 데이터의 특성이 달라진 부분이 있다는 의미입니다. 이때, 한번에 모든 변수를 사용하게 되면 변수들간의 상호작용을 볼 수 있고 변수를 하나씩 넣어서 변수 자체의 분포가 학습 셋과 평가 셋이 같은지 볼 수도 있습니다. (3번 과정에 변수를 전체를 쓰는게 아닌 1개씩 모든 변수에 대해 반복하는 것입니다)&nbsp;
<figure data-ke-mobilestyle="widthOrigin" data-filename="edited_adv.png" data-origin-width="3000" data-origin-height="857"><img src="https://blog.kakaocdn.net/dn/DwwOs/btsqrOger68/L0jz51JsqCIK9GNZugxUBk/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="edited_adv.png" data-origin-width="3000" data-origin-height="857"></figure>

위의 그림은 제가 예전에 했던 대회에서 변수 하나씩에 대해 Adversarial Validation을 진행한 것입니다. AUC를 보면 일부 변수들이 굉장히 높은 값을 가지고 있고 해당 변수의 경우 Train과 Test가 다른 분포를 가지고 있다라고 해석할 수 있습니다. 그리고, 이러한 변수는 성능에 악영향을 끼치니 제거해야합니다.&nbsp;

참고자료&nbsp;
- <a href="https://github.com/pilsung-kang/Business-Analytics-IME654-#:~:text=elimination%2C%20Stepwise%20selection%20(-,Slide,-%2C%20Video)" target="_blank" rel="noopener">Dimensionality Reduction: Supervised Variable Selection</a></div></div>

TEAM EDA

이번 강의에서는 변수의 선택 (Feature Selection)에 대해 알아보겠습니다. 변수의 선택은 파생 변수가 만들어진 이후에 진행되기도 하고, 모델의 학습이 끝난 이후에 진행되기도 합니다. 어떤 방법, 모델, 목적에 따라 다른 모습을 보이는데 이번 강의에서는 Feature Selection의 의미와 왜 해야 하는지, 어떤 방법들이 있는지 살펴보고 마지막으로 최근 대회에서 사용되는 실용적인 기법들을 보면서 마무리하겠습니다. 
 
Feature Selection이란 무엇이고 왜 해야하는 것일까요? 
Feature Selection (변수 선택)은 학습에 필요한 변수들을 선택하는 과정을 의미합니다. 이 과정을 통해서 변수를 줄이게 되면 얻는 장점은 
 
1. 차원의 저주 (Curse of Dimensionality) 해소: 변수가 많을 수록 데이터의 차원이 높아지며, 이는 모델의 학습에 더 많은 데이터를 요구하고 복잡성을 증가시킬 수 있습니다. Feature Selection을 통해 불필요한 변수를 제거하여 해당 문제를 해결할 수 있습니다. 
 
2. 모델의 성능 향상 : 불필요한 변수에 모델이 과적합(Overfitting)되는 문제를 완하할 수 있습니다. 그로인해, 모델의 성능 향상을 기대할 수 있습니다. 
 
3. 학습 및 추론 시간, 메모리 개선 : 일반적으로 변수의 수가 증가하면 모델의 학습 및 예측에 걸리는 시간이 증가하고, 더 큰 메모리를 요구하게 됩니다. 이때, 불필요한 변수를 제거하면 시간과 메모리 관점에서 효율적입니다. 
 
4. 해석 가능성: 변수가 많은 경우보다 적은 경우에 모델의 결과를 해석하기 더 용이합니다. 
 
Feature Selection을 수행하는 대표적인 3가지 접근법 
Feature Selection을 하게 되는 상황을 생각해보면, 학습 전에 주어진 변수들에 대해서 적용을 해볼 수가 있고 파생변수까지 만들고 학습한 이후에 적용해볼 수 있습니다. 일반적으로 대회에서는 극한의 성능을 내야하다보니 파생변수를 하나씩 만드는대로 추가 후 성능의 상승, 하락 유무를 파악한 뒤에 오르면 유지, 떨어지면 제거하는 방식을 사용합니다. 하지만, 실제 주어진 피쳐가 너무 많거나 파생변수를 한번에 많이 만든경우 모든 경우의 수 (2^N-1)를 조사하는 것은 무리입니다. 그렇기에, 아래의 3가지 접근법을 많이 활용합니다. 3가지 접근법의 차이는 이제 아래의 그림처럼 모델 학습 이전에 수행되는지, 반복되는지, 성능 평가가 진행되는지로 나뉩니다. 
 
 
Filter method 
Filter 메서드는 변수들 간의 통계적 관계를 평가하여 변수의 중요도를 결정하는 방법입니다. 변수들 간의 상관관계나 분산을 기준으로 변수를 선택합니다. 주요 방법으로는 다음이 있습니다:
 
1. 상관관계: 변수들 간의 상관계수를 계산하여 상관관계가 높은 변수를 선택합니다. 
 
2. 분산 기준: 분산이 낮은 변수들을 제거하여 변동성이 낮은 변수를 제거합니다.
 
그 외에도 chi-square test, fisher score, information gain 등 여러 방법을 사용할 수 있습니다. 
 
 
일반적으로 상관관계나 분산 등의 정보가 모델에 좋은 피처를 선택하는 기준이라고는 할 수 없습니다. 하지만, 다른 기법들에 비해 계산속도가 빠르기에 데이터의 크기가 큰 경우에 대해서 사용하기 편할 수 있고, 상관성이 너무 높은 변수가 있다면 이를 제거하는 것도 충분히 유의미합니다. 실제 캐글의 IEEE-Cis Fraud Detection 대회에서도 Correlation을 기반으로 변수를 제거하는 방법들이 사용되었습니다. 
 
아래는 IEEE-CIS Fraud Detection 대회의 일부 변수들에 대해 Correlation을 기반으로 제거한 예시입니다. 해당 대회의 데이터는 변수만 거의 300개 이상으로 굉장히 많았습니다. 이때, V가 붙은 변수들은 유사한 모습을 보였는데 아래의 그림에서 블록 내에서 상관 된 (r> 0.75) 하위 집합을 찾을 수 있습니다.
 
[[279,280,293,294,295,298,299],[284],[285,287],[286],[290,291,292],[297],[302,303,304],[305],[306,307,308,316,317,318],[309,311],[310,312],[319,320,321]]
 
이때, 해당 각 하위 블록에서 가장 원소의 갯수가 많은 변수 (설명력이 가장 높은 변수)를 선택해서 변수 선택을 진행했습니다. 예를들어, [279,280,293,294,295,298,299] 블록은 각각 원소의 갯수가 [881, 975, 870, 1286, 928, 94, 50]이고 가장 큰 1286을 가지는 294 변수가 남게 됩니다. 이를 모든 하위 블록에 대해서 진행하면 [294, 284, 285, 286, 291, 297, 303, 305, 307, 309, 310, 320]이 됩니다. 
 
Wrapper method 
Wrapper 메서드는 실제 모델의 성능을 활용하여 변수를 선택하는 방법입니다. 모델을 반복적으로 학습시키고 검증하는 과정에서 변수를 선택합니다. 주요 방법으로는 다음이 있습니다: 
 
1. 순차적 특성 선택 (Sequential Feature Selection): 변수를 하나씩 추가하거나 제거하여 최적의 변수 조합을 찾는 방법입니다.
 
2. 재귀적 특성 제거 (Recursive Feature Elimination): 모든 변수를 포함한 상태에서 중요하지 않은 변수들을 제거해 나가면서 모델의 성능을 평가하는 방법입니다.
 
대표적인 Wrapper method로는 Forward Selection(전진 선택), Backward Elimination(후방 제거), Stepwise Selection(단계별 선택)가 유명합니다. Forward Selection은 이름에서 알 수 있듯이 변수를 하나씩 추가하면서 모델의 성능을 측정하는 방법입니다. 
 
한번 예시를 통해서 해당 방법을 이해해보겠습니다. 상황은 아래와 같습니다.
 
변수: x0, x1, x2, x3
모델: Linear Regression
평가 지표: 수정된 결정 계수(R^2_adj)
 
[Forward Selection]
이전 모델과 비교하였을때, 평가지표가 안좋아졌으므로 정지합니다. 마찬가지로 Backward Elimination는 전체 변수가 모두 있는 경우부터 시작해서 한개씩 빼는 것을 의미하고, Stepwise Selection은 전진과 후진을 반복해서 사용하는 것을 의미합니다. 일반적으로 모형 적합도 (AIC)라는 퍼포먼스 측정값을 만들고 진행을 하며, 정확성은 많이 높일 수 있지만 비용이나 시간이 많이 발생하는 단점이 있습니다. 
 
Embedded method 
Embedded 메서드는 모델 훈련 과정에서 변수의 중요도를 평가하며, 모델에 포함된 변수 중요도를 기반으로 변수를 선택합니다. 이 방법은 모델의 특성을 잘 반영하며, 변수의 중요도와 모델의 복잡성을 고려합니다. 주요 방법으로는 다음이 있습니다: 
 
1. 랜덤 포레스트 변수 중요도: 랜덤 포레스트 모델을 사용하여 변수 중요도를 평가하고 중요한 변수를 선택합니다. 
 
2. L1 규제 (Lasso Regression): L1 규제를 사용하는 선형 회귀 모델에서 변수의 계수를 줄여줌으로써 중요한 변수를 선택합니다.
 
예시 / 장단점? 
대회에서 활용된 방법 
위의 방법들 이외에도 결측치가 너무 많은 변수를 제거할 수도 있고, unique value의 값이 1인 값을 제거할 수도 있습니다. 혹은, 대회에서 많이 활용되는 방법으로 Adversarial Validation이라는 방법도 존재합니다. 해당 방법은 제가 Recsys2023 challenge, IEEE Cis Fraud Detection 대회에서도 활용했고 저 외의 많은 캐글러들도 활용하는 방법입니다. 
 
Adversarial Validation
해당 방법은 학습 셋과 평가 셋을 구분하는 변수를 하나 만들어서 모델이 이를 분류를 잘 하는지 확인을 통해, 평가와 학습 셋에서 다른 분포를 보이는 변수를 제거하는 방법입니다. 
1. 학습 셋에 새로운 변수를 만들어 0을 주고, 평가 셋에 새로운 변수를 만들어 1을 준 후 합칩니다. 
 
2. 1번 이후, 합쳐진 데이터를 랜덤하게 분할합니다.
 
3. 2에서 분할된 데이터 중 하나를 학습 셋으로, 다른 하나를 평가 셋으로 하여 1에서 만든 레이블을 분류하도록 학습시킵니다. 
 
4. 3의 과정에서 AUC 등의 분류 스코어와 모델의 피처 중요도를 보고 해석을 진행합니다. (AUC가 높으면 0과 1을 잘 구분한 것으로 학습 셋과 평가 셋의 차이가 높다는 의미이고, 이때 어떤 변수가 중요하게 영향을 끼쳤는지 확인하여 변수를 제거할 수 있습니다) 
 
알고리즘은 위의 4가지로 설명이 가능합니다. 이렇게 되면 모델은 학습 셋과 평가 셋을 잘 구분하려고 노력할 것이고, 만일 모델이 잘 구분한다고 하면 어떤 변수들의 상호작용에 의해 학습 셋에서 평가 셋으로 넘어오는 기간 데이터의 특성이 달라진 부분이 있다는 의미입니다. 이때, 한번에 모든 변수를 사용하게 되면 변수들간의 상호작용을 볼 수 있고 변수를 하나씩 넣어서 변수 자체의 분포가 학습 셋과 평가 셋이 같은지 볼 수도 있습니다. (3번 과정에 변수를 전체를 쓰는게 아닌 1개씩 모든 변수에 대해 반복하는 것입니다) 
위의 그림은 제가 예전에 했던 대회에서 변수 하나씩에 대해 Adversarial Validation을 진행한 것입니다. AUC를 보면 일부 변수들이 굉장히 높은 값을 가지고 있고 해당 변수의 경우 Train과 Test가 다른 분포를 가지고 있다라고 해석할 수 있습니다. 그리고, 이러한 변수는 성능에 악영향을 끼치니 제거해야합니다. 
 
참고자료 
- Dimensionality Reduction: Supervised Variable Selection

[Machine Learning Advanced] 6강. 머신러닝 강의 - 변수 선택

댓글