<div id="readability-page-1" class="page"><div id="wrap">
 <article id="post-Python-DS-104-kierlecture3" itemscope="" itemprop="blogPost">
 <div>
 
 <header>
 
 
 <h2 itemprop="name">
 데이터 분할과 교차 검증
 </h2>
 

 </header>
 
 
 
 
 
 <div itemprop="articleBody">
 

 

 

 <ul>
<li>한국에너지기술연구원 AI 학습조직에서는 2022년 한 해동안 머신러닝을 공부하고 있습니다.<ul>
<li>scikit-learn 기능 중 데이터를 class 비율대로 분류하는 stratified K fold를 소개하고,</li>
<li>모든 데이터를 학습과 검증에 활용하는 cross validation을 다룹니다.</li>
<li><a href="220614_%EC%9D%B4%EC%A0%9C%ED%98%84_KIERML_2202_bestmodel.pdf">강의 자료는 여기에서 다운받으실 수 있습니다</a></li>
</ul>
</li>
</ul>
<ul>
<li>발표 영상 : (<a target="_blank" rel="noopener" href="https://youtu.be/JX6tSOaUKuI">Youtube Link</a>) 
</li>
<li>실습 코드 : (<a target="_blank" rel="noopener" href="https://bit.ly/3QdGwGq">https://bit.ly/3QdGwGq</a>) 
</li>
</ul>
<iframe src="https://www.youtube.com/embed/JX6tSOaUKuI" frameborder="0" loading="lazy" allowfullscreen=""></iframe> 


<h3 id="Cross-Validation-set-generator"><a href="#Cross-Validation-set-generator" title="Cross Validation set generator"></a>Cross Validation set generator</h3><ul>
<li><code>cross_val_score</code>와 <code>cross_val_predict</code>에 사전에 만든 dataset을 넣을 수 있습니다.
</li>
<li>training set과 validation set의 index를 출력하는 generator를 사용하면 됩니다.
</li>
<li>발표 영상에는 없지만 해당 코드를 추가합니다.
</li>
<li>먼저, <code>cross_val_score</code>예시입니다.
<figure><table><tbody><tr><td><pre>1 2 3 4 5 6 7 8 9 10 11 </pre></td><td><pre> def generate_train_valid(idx_trains, idx_vals): assert len(idx_trains) == len(idx_vals) count = 0 while count &lt; len(idx_trains): count += 1 yield idx_trains[count-1], idx_vals[count-1] idx_cv = generate_train_valid(idx_trains, idx_vals) -cross_val_score(model1, X, y, cv=idx_cv, scoring="neg_root_mean_squared_error") </pre></td></tr></tbody></table></figure></li>
<li>실행 결과
<figure><table><tbody><tr><td><pre>1 2 </pre></td><td><pre>array([290.47491999, 332.31676581, 268.35748775, 304.48637819, 262.42934634]) </pre></td></tr></tbody></table></figure></li>
<li><code>cross_val_predict</code>예시입니다.
<figure><table><tbody><tr><td><pre>1 2 3 4 5 6 7 8 9 10 11 12 </pre></td><td><pre>from sklearn.model_selection import cross_val_predict idx_cv = generate_train_valid(idx_trains, idx_vals) y_pred_cv = cross_val_predict(model1, X, y, cv=idx_cv) fig, ax = plt.subplots(figsize=(5, 5), constrained_layout=True) ax.scatter(y, y_pred_cv, c="gray", alpha=0.5) ax.set_xlabel("true", color="gray", labelpad=12) ax.set_ylabel("predict", color="gray", labelpad=12) mean_squared_error(y, y_pred_cv, squared=False) </pre></td></tr></tbody></table></figure></li>
<li>실행 결과
<figure><table><tbody><tr><td><pre>1 </pre></td><td><pre>292.76401468664585 </pre></td></tr></tbody></table></figure>
<img src="https://jehyunlee.github.io/2022/06/15/Python-DS-104-kierlecture3/104_kierlecture3_01.png"> 
</li>
</ul>

* 바쁜 연구원 일정 속에 변동이 있겠지만, 최대한 일정을 지켜보고자 합니다.

<img src="https://jehyunlee.github.io/2022/06/15/Python-DS-104-kierlecture3/thumbnail_012.PNG" alt="학습조직 일정">

 </div>
		
 
 </div>
 

</article>



 </div></div>

Pega Devlog

Pega

한국에너지기술연구원 AI 학습조직에서는 2022년 한 해동안 머신러닝을 공부하고 있습니다.
scikit-learn 기능 중 데이터를 class 비율대로 분류하는 stratified K fold를 소개하고,
모든 데이터를 학습과 검증에 활용하는 cross validation을 다룹니다.
강의 자료는 여기에서 다운받으실 수 있습니다
발표 영상 : (Youtube Link)
실습 코드 : (https://bit.ly/3QdGwGq)
 Cross Validation set generator
cross_val_score와 cross_val_predict에 사전에 만든 dataset을 넣을 수 있습니다.
training set과 validation set의 index를 출력하는 generator를 사용하면 됩니다.
발표 영상에는 없지만 해당 코드를 추가합니다.
먼저, cross_val_score예시입니다.
실행 결과
cross_val_predict예시입니다.
실행 결과
* 바쁜 연구원 일정 속에 변동이 있겠지만, 최대한 일정을 지켜보고자 합니다.

데이터 분할과 교차 검증

댓글