<div id="readability-page-1" class="page"><div id="dkContent" role="main">

					

					
						<h2>TEAM EDA</h2>
					

					 
 
	


	
		
		

		<div>이전 강의인 [Machine Learning Advanced] 1강. 머신러닝 강의 - 데이터에서는 머신러닝의 전체 프로세스를 살펴보면서 어떤 과정을 통해서 머신러닝을 적용하는지, 프로세스의 어떤 부분들을 강의에서 다루게 될지에 대해 살펴봤습니다. 이번 강의에서는 데이터 전처리 (결측치, 이상치 처리)에 대해 살펴보겠습니다.&nbsp;

<figure data-ke-mobilestyle="widthOrigin" data-filename="blob" data-origin-width="1280" data-origin-height="301"><img src="https://blog.kakaocdn.net/dn/mRZkI/btsqtycCgMi/Ao9R2UtXsbKVpIPmtLKq6K/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="blob" data-origin-width="1280" data-origin-height="301"><figcaption>머신러닝 프로세스</figcaption>
</figure>

먼저, 이전 강의에서 봤던 머신러닝 프로세스를 다시 한번 살펴보겠습니다. 우리는 먼저 목적에 맞는 데이터를 수집하고, 이를 분석하여 목적에 맞게 재가공하는 과정 (데이터 전처리)이 필요합니다. 크게 3가지로 나누어서, 결측치 - 이상치 - 연속형 - 범주형의 처리는 2강에서 파생변수의 생성은 다음 3강에서 마지막으로 변수 선택은 6강에서 살펴보도록 하겠습니다.&nbsp;

<h2 data-ke-size="size26">먼저, 결측치는 무엇이며 왜 처리해야하는 것일까요?&nbsp;</h2>
결측치는 말 그대로 데이터가 비어있는, 값이 없는 것을 의미합니다. 이러한 결측치는 정확한 분석과 모델링을 위해 혹은 모델의 성능 향상을 위해 처리됩니다. 결측치는 일반적으로 3개의 형태로 생길 수 있습니다.&nbsp;

1. 완전 무작위 결측(MCAR : Missing completely at random) : 변수&nbsp;내&nbsp;결측치가&nbsp;다른&nbsp;변수와&nbsp;아무런&nbsp;상관&nbsp;없이&nbsp;발생하는&nbsp;경우입니다.&nbsp;이는&nbsp;데이터를&nbsp;입력하는&nbsp;과정에서&nbsp;발생한&nbsp;누락이나&nbsp;무작위한&nbsp;오류로&nbsp;인한&nbsp;결측치입니다.&nbsp;이러한&nbsp;결측치는&nbsp;주로&nbsp;삭제하거나&nbsp;다른&nbsp;데이터를&nbsp;활용하여&nbsp;대체할&nbsp;수&nbsp;있습니다.

2. 무작위 결측(MAR : Missing at random) : 누락된&nbsp;값이&nbsp;다른&nbsp;변수와&nbsp;연관되어&nbsp;발생하는&nbsp;경우이지만,&nbsp;누락된&nbsp;변수의&nbsp;실제&nbsp;값과는&nbsp;무관한&nbsp;경우입니다.&nbsp;이는&nbsp;보통&nbsp;다른&nbsp;변수들로&nbsp;설명&nbsp;가능한&nbsp;결측치로,&nbsp;예를&nbsp;들어,&nbsp;성별과&nbsp;우울증&nbsp;설문&nbsp;조사&nbsp;결과&nbsp;사이의&nbsp;관련성이&nbsp;없지만&nbsp;성별에&nbsp;따라&nbsp;우울증&nbsp;설문에&nbsp;참여하는&nbsp;확률이&nbsp;다른&nbsp;경우입니다.

3. 비 무작위 결측(MNAR : Missing at not random) : 결측값이 해당 변수의 실제 값과 관련되어 발생하며, 다른 변수로 설명되지 않는 경우입니다. 예를 들어, 우울한 정도가 높은 사람이 우울증 설문조사에 참여하지 않는 경우입니다. 혹은 낮은 성적을 받은 학생이 성적에 대한 정보를 숨기려고 할 때와 같은 상황입니다.&nbsp;

MAR과&nbsp;MNAR의&nbsp;차이를&nbsp;예시를&nbsp;통해&nbsp;설명해보겠습니다.&nbsp;성별&nbsp;(X)과&nbsp;체중&nbsp;(Y)&nbsp;사이의&nbsp;관계를&nbsp;모델링한다고&nbsp;가정해봅시다.&nbsp;일부&nbsp;응답자는&nbsp;체중을&nbsp;공개하지&nbsp;않아서&nbsp;Y&nbsp;값이&nbsp;결측되었습니다.&nbsp;이에&nbsp;따른&nbsp;결측치&nbsp;유형은&nbsp;다음과&nbsp;같습니다.

1. 일부 응답자가 귀하에게 체중을 말했고 다른 응답자는 체중을 말하지 않았지만 그에 대한 이유는 따로 없습니다. 이 경우 Y 값이 무작위로 완전히 누락되었으므로 MCAR입니다.

2. 만일, 여성이 체중을 공개할 가능성이 적다고 가정해보겠습니다. 이 경우 Y 값이 X의 값에만 의존합니다. 이러한 데이터는 무작위 결측(MAR)입니다. 

3. 무거운 (또는 가벼운) 사람들은 체중을 공개할 가능성이 적다고 가정해보겠습니다. 이 경우 Y 값이 Y 자체의 관찰되지 않는 값에 의존합니다. 이러한 데이터는 비 무작위 결측(MNAR)입니다.

따라서 우리는 데이터를 먼저 보고, 왜 결측치가 생겼는지 고민을 해봐야합니다. 그리고,&nbsp;결측치의 유형에 따라 적절한 처리 방법을 선택하고 분석을 진행하는 것이 중요합니다.

<h2 data-ke-size="size26">실습 : 타이타닉 데이터를 기반으로 결측치를 탐색&nbsp;</h2>
실습 데이터를 기반으로 한번 어떻게 변수의 결측치 속성을 파악하는지 살펴보겠습니다. 실습 데이터는 캐글에 있는 <a href="https://www.kaggle.com/competitions/titanic" target="_blank" rel="noopener">타이타닉 데이터</a>입니다. 데이터를 불러오면 아래와 같은 형태를 가지고 있습니다.&nbsp;
<pre id="code_1691387347262" data-ke-language="python" data-ke-type="codeblock"><code>import pandas as pd 
df_train = pd.read_csv("train.csv")
df_train.head()</code></pre>
<figure data-ke-mobilestyle="widthOrigin" data-origin-width="2236" data-origin-height="390"><img src="https://blog.kakaocdn.net/dn/baXYI8/btsqtaJoFIe/jaDKXls8QYJ2TOtsCsqPL1/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-origin-width="2236" data-origin-height="390"></figure>

(참고로 변수의 의미는 아래와 같습니다)&nbsp;
<table data-ke-align="alignLeft">
<tbody>
<tr>
<td>변수 이름</td>
<td>설명&nbsp;</td>
</tr>
<tr>
<td>Survived&nbsp;</td>
<td>1 : 생존, 0 : 사망&nbsp;</td>
</tr>
<tr>
<td>Pclass&nbsp;</td>
<td>1 : 1등석, 2 : 2등석, 3 : 3등석&nbsp;</td>
</tr>
<tr>
<td>Name&nbsp;</td>
<td>승객 이름&nbsp;</td>
</tr>
<tr>
<td>Sex&nbsp;</td>
<td>승객의 성별&nbsp;</td>
</tr>
<tr>
<td>Age&nbsp;</td>
<td>승객의 나이&nbsp;</td>
</tr>
<tr>
<td>Sibsp&nbsp;</td>
<td>함께 탑승한 형제 또는 배우자의 수&nbsp;</td>
</tr>
<tr>
<td>Parch&nbsp;</td>
<td>함께 탑승한 부모 또는 자녀의 수&nbsp;</td>
</tr>
<tr>
<td>Ticket&nbsp;</td>
<td>티켓 번호&nbsp;</td>
</tr>
<tr>
<td>Fare&nbsp;</td>
<td>티켓 요금</td>
</tr>
<tr>
<td rowspan="1">Cabin&nbsp;</td>
<td rowspan="1">선실 번호&nbsp;</td>
</tr>
<tr>
<td rowspan="1">Embarked&nbsp;</td>
<td rowspan="1">탑승한 항구&nbsp;</td>
</tr>
</tbody>
</table>
이때, 각 변수의 결측치 비율이 얼마나 되는지를 파악하기 위해 isnull().sum()이라는 명령어를 사용해줍니다.&nbsp;
<pre id="code_1691387351596" data-ke-language="python" data-ke-type="codeblock"><code>(df_train.isnull().sum() / df_train.shape[0])</code></pre>
<figure data-ke-mobilestyle="widthOrigin" data-origin-width="1280" data-origin-height="192"><img src="https://blog.kakaocdn.net/dn/rN3rr/btsp9pBIHBv/kM972CwBchWBAZCjAy0KA0/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-origin-width="1280" data-origin-height="192"></figure>

편의를 위해 5개로 샘플한 데이터에 대해 코드의 의미를 살펴보겠습니다. isnull()은 결측치의 유무를 True, False로 반환해주는 역할을 하고, .sum()은 True는 1로 False는 0으로 해서 컬럼별로 True의 개수를 계산합니다. 즉, 이 합이 결측치의 개수가 됩니다. 그리고 .shape[0]으로 나누게 되면 .shape[0]은 전체 Row의 개수 (위에 테이블에서는 5개)여서 총 합을 비율로 변환해주게 됩니다. 결론적으로 5개의 row만 있을때 Cabin은 총 3개의 Row에 결측치가 있고 비율은 전체 중 60%로 해석할 수 있습니다.&nbsp;

<figure data-ke-mobilestyle="widthOrigin" data-origin-width="1356" data-origin-height="560"><img src="https://blog.kakaocdn.net/dn/eUoVsV/btsp8aSgPsT/crX64xop2XPV3ENRlPyiJk/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-origin-width="1356" data-origin-height="560"></figure>

위의 과정을 전체에 대해 수행하면 Cabin의 경우 약 77%, Age 20%, Embarked 0.22%의 결측치가 있는 것을 알 수 있습니다. 그러면, 위의 변수들이 왜 결측치가 생겼는지에 대해 생각해봐야합니다. 단순히 눈으로만 봤을때는 결측치간의 아무런 관계가 없어보입니다. 실제로 결측치들의 상관관계를 보이기 위해서, 결측치 부분을 1로하고 그 외 영역을 0으로 한 다음에 상관관계를 봤을때 0.14로 상관성이 작기도합니다. (여기서 상관성이란 Correlation으로 두 변수가 얼마나 같이 증가하는지 감소하는지를 살펴본 값을 의미합니다)&nbsp;

<pre id="code_1691388304758" data-ke-language="python" data-ke-type="codeblock"><code>df_train[["Age", "Cabin", "Embarked"]].isnull().corr()</code></pre>
<figure data-ke-mobilestyle="widthOrigin" data-origin-width="636" data-origin-height="258"><img src="https://blog.kakaocdn.net/dn/Ilj8F/btsqrM3hQoh/mXvSgtdlh1LdnNMw2L7bYk/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" width="424" height="172" data-origin-width="636" data-origin-height="258"></figure>

몇가지의 한번 가설을 세워보고 접근을 해보겠습니다. Cabin은 선실 번호으로 (저는 배에 타본적이 오래되었지만..), 사실 결측치가 생기기 어려운 값 같습니다. Ticket 번호를 가진 사람은 Cabin도 공유하지 않을까 라는 생각도 해볼 수 있습니다.&nbsp;

실제 Ticket 17421를 공유하는 경우, PassengerId 582, 699의 경우 같은 Cabin을 가지고 있고 307만 빈 값을 가지고 있습니다. 이런 경우 307이 C70을 가질 수 있다라는 가설을 세워볼 수 있지만 아직 근거는 충분하지 않은 것 같습니다. 하지만, 이런식으로 계속 근거를 만들어서 분석을 통해 결측치의 생성 원인을 계속 고민하는것이 제일 중요합니다.&nbsp;

다른 예시로 Embarked 부분을 살펴보겠습니다.&nbsp;
<pre id="code_1691389871183" data-ke-language="python" data-ke-type="codeblock"><code>df_train[df_train["Embarked"].isnull()]</code></pre>
<figure data-ke-mobilestyle="widthOrigin" data-origin-width="2036" data-origin-height="182"><img src="https://blog.kakaocdn.net/dn/sV1r5/btsp90InMph/93iZjkFxABHFMIPlsnopQk/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-origin-width="2036" data-origin-height="182"></figure>

Embarked는 탑승한 항구 번호를 의미합니다. 그리고, 보통 비행기나 배의 비용은 어디서 타서 어디로 가냐? / 좌석이 어느 등급이냐가 Fare 요금을 결정하는 것 같습니다. (아시아나 항공 / 비즈니스 석 / 일본 여행) 이를 기반으로 Embarked를 기반으로 Pclass와 Fare에 대한 관계를 살펴보겠습니다. 아래의 그림이 결과인데, Pclass와 Embarked 별로 Fare이 다른것을 한눈에 볼 수 있습니다.&nbsp;&nbsp;

<figure data-ke-mobilestyle="widthOrigin" data-origin-width="503" data-origin-height="367"><img src="https://blog.kakaocdn.net/dn/bF9AbA/btsp9p9zYvI/qDtmuSbPdU2rtEunP1Cr6k/img.jpg" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-origin-width="503" data-origin-height="367"></figure>

Pclass가 1에 Fare이 80을 가지는 2개의 Row는 Embarked C의 Pclass 1의 중앙값 78.2667과 거의 유사한 값을 가지고 있습니다. 그렇기에, C에서 탔다고 판단을 내릴 수 있습니다.&nbsp;

<h2 data-ke-size="size26">결측치는 그럼 어떻게 처리할 수 있을까요?&nbsp;</h2>
1. 완전 제거법 :&nbsp; 완전 제거법은 결측치가 있는 행 or 컬럼 자체를 지워버리는 방법입니다. 위의 Cabin처럼 결측치가 80%에 가까운 경우 그 변수 자체를 제거하는 방식으로 사용하거나 하나의 row에 결측치가 여러개일 경우에 사용합니다. 이런 방식은 편리하지만 결측치를 지우면서 데이터 자체의 편향(bias)이 생길 수 있어서 조심히 접근해야 하는 방법입니다.&nbsp;

2. 대체법 : mean, median 등의 통계적인 값을 활용해서 대체를 할 수도 있습니다.&nbsp;

3. 합리적 접근법 :&nbsp;합리적 접근법은 변수들간의 관계를 이용해서 결측치를 채워넣는 방법을 의미하고, 위에서 Embarked를 채운 방법을 의미합니다.&nbsp;

혹은 위의 방법 이외에도&nbsp;결측치가 있는 Embarked를 y로 그 외를 x으로 해서 모델을 학습한 후 예측할 수도 있고, 다중 대체법이라고 해서 모델을 통한 예측을 고도화한 방법도 있습니다. hair et al.(2006)에 따르면 비율에 따라서 아래의 접근 법을 제안하기도 합니다.&nbsp;
<table data-ke-align="alignLeft">
<tbody>
<tr>
<td>결측치 비율&nbsp;</td>
<td>&nbsp;처리 방법</td>
</tr>
<tr>
<td>&nbsp;10% 미만</td>
<td>&nbsp;제거 or 어떠한 방법이든지 상관없이 Imputation</td>
</tr>
<tr>
<td>&nbsp;10% 이상&nbsp;20% 미만</td>
<td>&nbsp;hot deck , regression , model based method</td>
</tr>
<tr>
<td>&nbsp;20% 이상</td>
<td>&nbsp;model based method , regression</td>
</tr>
</tbody>
</table>
하지만, 최대한 합리적인 방법에 근거해서 따르고 성능에 영향을 끼치는지 확인하면서 처리하는게 중요한 것 같습니다.&nbsp;

[참고자료]&nbsp;
- <a href="https://blog.naver.com/tjdudwo93/220976082118" target="_blank" rel="noopener">tjdudwo93, 데이터 분석 최대의 적! 결측치(NA값)처리하기</a>&nbsp;&nbsp;
-&nbsp;<a href="https://eda-ai-lab.tistory.com/14" target="_blank" rel="noopener">결측치 처리 (Missing Value)</a>


</div>
		

		
			
		

		


	

 
 

					

					

					

					

					

					
				</div></div>

TEAM EDA

이전 강의인 [Machine Learning Advanced] 1강. 머신러닝 강의 - 데이터에서는 머신러닝의 전체 프로세스를 살펴보면서 어떤 과정을 통해서 머신러닝을 적용하는지, 프로세스의 어떤 부분들을 강의에서 다루게 될지에 대해 살펴봤습니다. 이번 강의에서는 데이터 전처리 (결측치, 이상치 처리)에 대해 살펴보겠습니다. 
 
먼저, 이전 강의에서 봤던 머신러닝 프로세스를 다시 한번 살펴보겠습니다. 우리는 먼저 목적에 맞는 데이터를 수집하고, 이를 분석하여 목적에 맞게 재가공하는 과정 (데이터 전처리)이 필요합니다. 크게 3가지로 나누어서, 결측치 - 이상치 - 연속형 - 범주형의 처리는 2강에서 파생변수의 생성은 다음 3강에서 마지막으로 변수 선택은 6강에서 살펴보도록 하겠습니다. 
 
먼저, 결측치는 무엇이며 왜 처리해야하는 것일까요? 
결측치는 말 그대로 데이터가 비어있는, 값이 없는 것을 의미합니다. 이러한 결측치는 정확한 분석과 모델링을 위해 혹은 모델의 성능 향상을 위해 처리됩니다. 결측치는 일반적으로 3개의 형태로 생길 수 있습니다. 
 
1. 완전 무작위 결측(MCAR : Missing completely at random) : 변수 내 결측치가 다른 변수와 아무런 상관 없이 발생하는 경우입니다. 이는 데이터를 입력하는 과정에서 발생한 누락이나 무작위한 오류로 인한 결측치입니다. 이러한 결측치는 주로 삭제하거나 다른 데이터를 활용하여 대체할 수 있습니다.
 
2. 무작위 결측(MAR : Missing at random) : 누락된 값이 다른 변수와 연관되어 발생하는 경우이지만, 누락된 변수의 실제 값과는 무관한 경우입니다. 이는 보통 다른 변수들로 설명 가능한 결측치로, 예를 들어, 성별과 우울증 설문 조사 결과 사이의 관련성이 없지만 성별에 따라 우울증 설문에 참여하는 확률이 다른 경우입니다.
 
3. 비 무작위 결측(MNAR : Missing at not random) : 결측값이 해당 변수의 실제 값과 관련되어 발생하며, 다른 변수로 설명되지 않는 경우입니다. 예를 들어, 우울한 정도가 높은 사람이 우울증 설문조사에 참여하지 않는 경우입니다. 혹은 낮은 성적을 받은 학생이 성적에 대한 정보를 숨기려고 할 때와 같은 상황입니다. 
 
MAR과 MNAR의 차이를 예시를 통해 설명해보겠습니다. 성별 (X)과 체중 (Y) 사이의 관계를 모델링한다고 가정해봅시다. 일부 응답자는 체중을 공개하지 않아서 Y 값이 결측되었습니다. 이에 따른 결측치 유형은 다음과 같습니다.
 
1. 일부 응답자가 귀하에게 체중을 말했고 다른 응답자는 체중을 말하지 않았지만 그에 대한 이유는 따로 없습니다. 이 경우 Y 값이 무작위로 완전히 누락되었으므로 MCAR입니다.
 
2. 만일, 여성이 체중을 공개할 가능성이 적다고 가정해보겠습니다. 이 경우 Y 값이 X의 값에만 의존합니다. 이러한 데이터는 무작위 결측(MAR)입니다. 
 
3. 무거운 (또는 가벼운) 사람들은 체중을 공개할 가능성이 적다고 가정해보겠습니다. 이 경우 Y 값이 Y 자체의 관찰되지 않는 값에 의존합니다. 이러한 데이터는 비 무작위 결측(MNAR)입니다.
 
따라서 우리는 데이터를 먼저 보고, 왜 결측치가 생겼는지 고민을 해봐야합니다. 그리고, 결측치의 유형에 따라 적절한 처리 방법을 선택하고 분석을 진행하는 것이 중요합니다.
 
실습 : 타이타닉 데이터를 기반으로 결측치를 탐색 
실습 데이터를 기반으로 한번 어떻게 변수의 결측치 속성을 파악하는지 살펴보겠습니다. 실습 데이터는 캐글에 있는 타이타닉 데이터입니다. 데이터를 불러오면 아래와 같은 형태를 가지고 있습니다. 
import pandas as pd 
df_train = pd.read_csv("train.csv")
df_train.head()
(참고로 변수의 의미는 아래와 같습니다) 
변수 이름
설명 
Survived 
1 : 생존, 0 : 사망 
Pclass 
1 : 1등석, 2 : 2등석, 3 : 3등석 
Name 
승객 이름 
Sex 
승객의 성별 
Age 
승객의 나이 
Sibsp 
함께 탑승한 형제 또는 배우자의 수 
Parch 
함께 탑승한 부모 또는 자녀의 수 
Ticket 
티켓 번호 
Fare 
티켓 요금
Cabin 
선실 번호 
Embarked 
탑승한 항구 
이때, 각 변수의 결측치 비율이 얼마나 되는지를 파악하기 위해 isnull().sum()이라는 명령어를 사용해줍니다. 
(df_train.isnull().sum() / df_train.shape[0])
편의를 위해 5개로 샘플한 데이터에 대해 코드의 의미를 살펴보겠습니다. isnull()은 결측치의 유무를 True, False로 반환해주는 역할을 하고, .sum()은 True는 1로 False는 0으로 해서 컬럼별로 True의 개수를 계산합니다. 즉, 이 합이 결측치의 개수가 됩니다. 그리고 .shape[0]으로 나누게 되면 .shape[0]은 전체 Row의 개수 (위에 테이블에서는 5개)여서 총 합을 비율로 변환해주게 됩니다. 결론적으로 5개의 row만 있을때 Cabin은 총 3개의 Row에 결측치가 있고 비율은 전체 중 60%로 해석할 수 있습니다. 
 
위의 과정을 전체에 대해 수행하면 Cabin의 경우 약 77%, Age 20%, Embarked 0.22%의 결측치가 있는 것을 알 수 있습니다. 그러면, 위의 변수들이 왜 결측치가 생겼는지에 대해 생각해봐야합니다. 단순히 눈으로만 봤을때는 결측치간의 아무런 관계가 없어보입니다. 실제로 결측치들의 상관관계를 보이기 위해서, 결측치 부분을 1로하고 그 외 영역을 0으로 한 다음에 상관관계를 봤을때 0.14로 상관성이 작기도합니다. (여기서 상관성이란 Correlation으로 두 변수가 얼마나 같이 증가하는지 감소하는지를 살펴본 값을 의미합니다) 
 
df_train[["Age", "Cabin", "Embarked"]].isnull().corr()
몇가지의 한번 가설을 세워보고 접근을 해보겠습니다. Cabin은 선실 번호으로 (저는 배에 타본적이 오래되었지만..), 사실 결측치가 생기기 어려운 값 같습니다. Ticket 번호를 가진 사람은 Cabin도 공유하지 않을까 라는 생각도 해볼 수 있습니다. 
 
실제 Ticket 17421를 공유하는 경우, PassengerId 582, 699의 경우 같은 Cabin을 가지고 있고 307만 빈 값을 가지고 있습니다. 이런 경우 307이 C70을 가질 수 있다라는 가설을 세워볼 수 있지만 아직 근거는 충분하지 않은 것 같습니다. 하지만, 이런식으로 계속 근거를 만들어서 분석을 통해 결측치의 생성 원인을 계속 고민하는것이 제일 중요합니다. 
 
다른 예시로 Embarked 부분을 살펴보겠습니다. 
df_train[df_train["Embarked"].isnull()]
Embarked는 탑승한 항구 번호를 의미합니다. 그리고, 보통 비행기나 배의 비용은 어디서 타서 어디로 가냐? / 좌석이 어느 등급이냐가 Fare 요금을 결정하는 것 같습니다. (아시아나 항공 / 비즈니스 석 / 일본 여행) 이를 기반으로 Embarked를 기반으로 Pclass와 Fare에 대한 관계를 살펴보겠습니다. 아래의 그림이 결과인데, Pclass와 Embarked 별로 Fare이 다른것을 한눈에 볼 수 있습니다.  
 
Pclass가 1에 Fare이 80을 가지는 2개의 Row는 Embarked C의 Pclass 1의 중앙값 78.2667과 거의 유사한 값을 가지고 있습니다. 그렇기에, C에서 탔다고 판단을 내릴 수 있습니다. 
 
결측치는 그럼 어떻게 처리할 수 있을까요? 
1. 완전 제거법 :  완전 제거법은 결측치가 있는 행 or 컬럼 자체를 지워버리는 방법입니다. 위의 Cabin처럼 결측치가 80%에 가까운 경우 그 변수 자체를 제거하는 방식으로 사용하거나 하나의 row에 결측치가 여러개일 경우에 사용합니다. 이런 방식은 편리하지만 결측치를 지우면서 데이터 자체의 편향(bias)이 생길 수 있어서 조심히 접근해야 하는 방법입니다. 
 
2. 대체법 : mean, median 등의 통계적인 값을 활용해서 대체를 할 수도 있습니다. 
 
3. 합리적 접근법 : 합리적 접근법은 변수들간의 관계를 이용해서 결측치를 채워넣는 방법을 의미하고, 위에서 Embarked를 채운 방법을 의미합니다. 
 
혹은 위의 방법 이외에도 결측치가 있는 Embarked를 y로 그 외를 x으로 해서 모델을 학습한 후 예측할 수도 있고, 다중 대체법이라고 해서 모델을 통한 예측을 고도화한 방법도 있습니다. hair et al.(2006)에 따르면 비율에 따라서 아래의 접근 법을 제안하기도 합니다. 
결측치 비율 
 처리 방법
 10% 미만
 제거 or 어떠한 방법이든지 상관없이 Imputation
 10% 이상 20% 미만
 hot deck , regression , model based method
 20% 이상
 model based method , regression
하지만, 최대한 합리적인 방법에 근거해서 따르고 성능에 영향을 끼치는지 확인하면서 처리하는게 중요한 것 같습니다. 
 
[참고자료] 
- tjdudwo93, 데이터 분석 최대의 적! 결측치(NA값)처리하기  
- 결측치 처리 (Missing Value)

[Machine Learning Advanced] 2강. 머신러닝 강의 - 데이터 전처리 (결측치)

댓글