<div id="readability-page-1" class="page"><div id="dkContent" role="main">

					

					
						<h2>TEAM EDA</h2>
					

					 
 
	


	
		
		

		<div>이전 강의인 <a href="https://eda-ai-lab.tistory.com/622" target="_blank" rel="noopener">[Machine&nbsp;Learning&nbsp;Advanced]&nbsp;1강.&nbsp;머신러닝&nbsp;강좌&nbsp;-&nbsp;강의&nbsp;개요</a>에서는 머신러닝이란 무엇이고, 왜 머신러닝을 배워야하는지에 대해 살펴봤습니다. 이번 강의에서는 머신러닝의 전체 프로세스를 살펴보면서 어떤 과정을 통해서 머신러닝을 적용하는지, 프로세스의 어떤 부분들을 강의에서 다루게 될지에 대해 살펴보겠습니다.&nbsp;

Machine Learning Process란 무엇일까요?&nbsp;

Machine Learning Process는 일련의 Machine Learning을 수행하는 단계로, 데이터로부터 모델을 만들어 문제를 해결하는 과정을 의미합니다. 기업 혹은 사람마다 어느정도 차이는 있겠지만, 대략적으로 아래의 절차를 따르는 것 같습니다.&nbsp;

<figure data-ke-mobilestyle="widthOrigin" data-origin-width="1280" data-origin-height="301"><img src="https://blog.kakaocdn.net/dn/JxO1r/btsp8zcqpOF/kTk1kFiutZzZ9cNXfEjVJ1/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-origin-width="1280" data-origin-height="301"><figcaption>머신러닝 프로세스</figcaption>
</figure>

1. 데이터 수집
먼저, 목적에 맞는 데이터를 수집합니다. 이러한 데이터는 모델을 학습하고, 평가하는데 활용되며 주어진 문제를 해결하는데 가장 중요한 요소입니다. 예를들어, 내일 주가가 오르는 종목을 맞추는 문제를 생각해보겠습니다. 이러면, 주가와 관련된 데이터를 수집할 수 있습니다. 종목별로 일자별 시가, 종가 등의 정보도 수집할 수 있고 종목의 재무재표를 수집할 수도 있습니다.&nbsp;

2. 데이터 전처리&nbsp;
1에서 수집한 데이터를 모델이 학습할 수 있는 형태로 변형합니다. 해당 과정에서 데이터를 분석하는 (EDA) 과정을 먼저 수행하면서 어떤 처리를 취해야하는지 알아보게 되고, 대표적으로 많이 하는 처리의 경우 결측치 및 이상치의 처리나 연속형, 범주형 변수의 처리가 있습니다. 참고로 해당 방법들이 어떤 것들을 의미하는지는 뒤의 강의에서 하나씩 볼 예정이니 지금 용어를 모른다고 걱정하실 필요는 없습니다. 추가적으로 모델의 성능을 향상을 위해 파생변수의 생성이나 변수 선택 과정도 수행하게 됩니다. 예를들어, 어떤 종목이 상장폐지가 되어 폐지된 이후 데이터가 없다면 해당 종목을 삭제할 수도 있고 숫자가 아닌 종목의 섹터 (ex. 금융업, 보험업, 제조업, 영화 ..) 같이 컴퓨터가 이해할 수 없는 범주형 변수가 있다면 이를 처리할 수도 있습니다.&nbsp;

3. 모델 선택&nbsp;
2에서 생성된 전처리된 데이터를 기반으로 학습할 모델을 선택하게 됩니다. Classification (분류) / Regression (회귀) 인지에 따라서 모델의 선택이 달라질 수 있으며, 데이터의 양이나 목적에 따라서도 모델의 선택이 달라지게 됩니다. 모델을 선택한 후 모델의 하이퍼 파라미터를 튜닝하는 과정이 들어갑니다.&nbsp;

4. 학습 및 평가&nbsp;
선택한 모델을 학습하고, 이 모델이 어느정도의 성능을 가지는지 평가하는 과정을 거치게 됩니다. 그러기위해, 먼저 주어진 데이터를 목적에 맞게 학습 셋 (Train) / 검증 셋 (Valid) / 평가 셋 (Test)으로 구성하게 되며 경우에 따라 검증 셋이나 평가 셋이 존재하지 않을 수도 있습니다. 일반적으로는 3개의 셋으로 분리하며, 학습 셋으로 모델을 학습하고 검증 셋을 통해 모델의 하이퍼파라미터나 성능의 추이를 파악하며 최종적으로 평가 셋을 통해 최종 성능을 평가합니다. 이 과정에서 모델의 성능 측정 뿐만 아니라 결과까지 해석을 하게 됩니다. 예를들어, 내일 주가가 오르는 종목을 맞추는 모델이 어느정도로 잘 맞추는지? 이 모델을 통해 내일 종목을 선택할때 얼마를 투입해야하고, 위험도는 얼마나 되는지, 내 모델이 어느 경우에 대해서 예측을 잘하고 실패하는지 등의 의사결정과 분석 등이 이루어집니다.&nbsp;

5. 배포&nbsp;
실제 학습한 모델을 서비스하는 과정입니다. 예를들어, 4에서 학습한 모델로 실제 종목을 선택해 투자하는 과정을 의미합니다. 이 과정에서는 실제 결과가 4에서 평가한 결과가 같은지 비교하고 만일 다르다면 어떤 원인때매 다른지 파악하는 과정이 필요합니다.&nbsp;

1 부터 5까지 분류를 나누긴 했지만 꼭 위의 순서나 분류를 따르는 것은 아닙니다. 변수 선택의 경우 모델의 성능을 기반으로 수행될 수도 있기에 4이후 2를 진행할 수도 있고, Hyperparameter 튜닝의 경우도 검증 셋에 대해 최적화를 해야하기에 학습 및 평가에 분류되어도 문제가 없습니다. 머신러닝 프로세스는 대략적으로 위의 5개의 큰 요소들을 아래에서 해당 과정들을 수행하고, 이는 유동적으로 움직일 수 있다 정도를 이해하고 넘어가면 뒷 부분의 강의를 이해하는데 도움이 될 것 같습니다.&nbsp;

강의에서는 데이터 수집과 배포를 제외한 데이터 전처리, 모델 선택, 학습 및 평가에 대해 순차적으로 살펴볼 계획이며 변수 선택이나 Hyperparameter 튜닝등 여러 요소에 걸친 부분들은 강의의 편의성이나 이해가 더 잘 되는 형태로 순서가 조정된점도 참고하시기 바랍니다.&nbsp;

다음 강의에서는 데이터의 전처리 파트를 살펴보면서, 전처리가 왜 중요하고 해야하는지에 대해 알아보는 시간을 가져보겠습니다.&nbsp;</div>
		

		
			
		

		


	

 
 

					

					

					

					

					

					
				</div></div>

TEAM EDA

이전 강의인 [Machine Learning Advanced] 1강. 머신러닝 강좌 - 강의 개요에서는 머신러닝이란 무엇이고, 왜 머신러닝을 배워야하는지에 대해 살펴봤습니다. 이번 강의에서는 머신러닝의 전체 프로세스를 살펴보면서 어떤 과정을 통해서 머신러닝을 적용하는지, 프로세스의 어떤 부분들을 강의에서 다루게 될지에 대해 살펴보겠습니다. 
 
Machine Learning Process란 무엇일까요? 
 
Machine Learning Process는 일련의 Machine Learning을 수행하는 단계로, 데이터로부터 모델을 만들어 문제를 해결하는 과정을 의미합니다. 기업 혹은 사람마다 어느정도 차이는 있겠지만, 대략적으로 아래의 절차를 따르는 것 같습니다. 
 
1. 데이터 수집
먼저, 목적에 맞는 데이터를 수집합니다. 이러한 데이터는 모델을 학습하고, 평가하는데 활용되며 주어진 문제를 해결하는데 가장 중요한 요소입니다. 예를들어, 내일 주가가 오르는 종목을 맞추는 문제를 생각해보겠습니다. 이러면, 주가와 관련된 데이터를 수집할 수 있습니다. 종목별로 일자별 시가, 종가 등의 정보도 수집할 수 있고 종목의 재무재표를 수집할 수도 있습니다. 
 
2. 데이터 전처리 
1에서 수집한 데이터를 모델이 학습할 수 있는 형태로 변형합니다. 해당 과정에서 데이터를 분석하는 (EDA) 과정을 먼저 수행하면서 어떤 처리를 취해야하는지 알아보게 되고, 대표적으로 많이 하는 처리의 경우 결측치 및 이상치의 처리나 연속형, 범주형 변수의 처리가 있습니다. 참고로 해당 방법들이 어떤 것들을 의미하는지는 뒤의 강의에서 하나씩 볼 예정이니 지금 용어를 모른다고 걱정하실 필요는 없습니다. 추가적으로 모델의 성능을 향상을 위해 파생변수의 생성이나 변수 선택 과정도 수행하게 됩니다. 예를들어, 어떤 종목이 상장폐지가 되어 폐지된 이후 데이터가 없다면 해당 종목을 삭제할 수도 있고 숫자가 아닌 종목의 섹터 (ex. 금융업, 보험업, 제조업, 영화 ..) 같이 컴퓨터가 이해할 수 없는 범주형 변수가 있다면 이를 처리할 수도 있습니다. 
 
3. 모델 선택 
2에서 생성된 전처리된 데이터를 기반으로 학습할 모델을 선택하게 됩니다. Classification (분류) / Regression (회귀) 인지에 따라서 모델의 선택이 달라질 수 있으며, 데이터의 양이나 목적에 따라서도 모델의 선택이 달라지게 됩니다. 모델을 선택한 후 모델의 하이퍼 파라미터를 튜닝하는 과정이 들어갑니다. 
 
4. 학습 및 평가 
선택한 모델을 학습하고, 이 모델이 어느정도의 성능을 가지는지 평가하는 과정을 거치게 됩니다. 그러기위해, 먼저 주어진 데이터를 목적에 맞게 학습 셋 (Train) / 검증 셋 (Valid) / 평가 셋 (Test)으로 구성하게 되며 경우에 따라 검증 셋이나 평가 셋이 존재하지 않을 수도 있습니다. 일반적으로는 3개의 셋으로 분리하며, 학습 셋으로 모델을 학습하고 검증 셋을 통해 모델의 하이퍼파라미터나 성능의 추이를 파악하며 최종적으로 평가 셋을 통해 최종 성능을 평가합니다. 이 과정에서 모델의 성능 측정 뿐만 아니라 결과까지 해석을 하게 됩니다. 예를들어, 내일 주가가 오르는 종목을 맞추는 모델이 어느정도로 잘 맞추는지? 이 모델을 통해 내일 종목을 선택할때 얼마를 투입해야하고, 위험도는 얼마나 되는지, 내 모델이 어느 경우에 대해서 예측을 잘하고 실패하는지 등의 의사결정과 분석 등이 이루어집니다. 
 
5. 배포 
실제 학습한 모델을 서비스하는 과정입니다. 예를들어, 4에서 학습한 모델로 실제 종목을 선택해 투자하는 과정을 의미합니다. 이 과정에서는 실제 결과가 4에서 평가한 결과가 같은지 비교하고 만일 다르다면 어떤 원인때매 다른지 파악하는 과정이 필요합니다. 
 
1 부터 5까지 분류를 나누긴 했지만 꼭 위의 순서나 분류를 따르는 것은 아닙니다. 변수 선택의 경우 모델의 성능을 기반으로 수행될 수도 있기에 4이후 2를 진행할 수도 있고, Hyperparameter 튜닝의 경우도 검증 셋에 대해 최적화를 해야하기에 학습 및 평가에 분류되어도 문제가 없습니다. 머신러닝 프로세스는 대략적으로 위의 5개의 큰 요소들을 아래에서 해당 과정들을 수행하고, 이는 유동적으로 움직일 수 있다 정도를 이해하고 넘어가면 뒷 부분의 강의를 이해하는데 도움이 될 것 같습니다. 
 
강의에서는 데이터 수집과 배포를 제외한 데이터 전처리, 모델 선택, 학습 및 평가에 대해 순차적으로 살펴볼 계획이며 변수 선택이나 Hyperparameter 튜닝등 여러 요소에 걸친 부분들은 강의의 편의성이나 이해가 더 잘 되는 형태로 순서가 조정된점도 참고하시기 바랍니다. 
 
다음 강의에서는 데이터의 전처리 파트를 살펴보면서, 전처리가 왜 중요하고 해야하는지에 대해 알아보는 시간을 가져보겠습니다. 
'EDA Study > Machine Learning Advanced' 카테고리의 다른 글
[Machine Learning Advanced] 1강. 머신러닝 강좌 - 강의 개요  (0)
2023.08.06

[Machine Learning Advanced] 1강. 머신러닝 강좌 - 머신러닝 프로세스

댓글