076923 : Main

데이터 세트 분리(Data Set Split) 인공 신경망(Neural Network)에 사용되는 데이터 세트는 크게 세 가지가 사용됩니다. 전체 데이터 세트(Original Data Set)을 세 가지 목적으로 분류하여 사용됩니다. 전체 데이터 세트는 훈련용 데이터(Training Data), 검증용 데이터(Validation Data), 테스트 데이터(Testing Data)로 분류됩니다. 훈련용 데이터(Training Data) 훈련용 데이터(Training Data)는 모델(Model)을 학습하는 데 사용되는 데이터 세트입니다. 지금까지는 전체 데이터 세트(Original Data Set)를 그대로 사용하여 학습시키고 임의의 값을 입력하여 검증하거나 테스트를 진행하였습니다. 하지만, 이러한 방법은 모델을 평가하는데 적합한 방법이 아닙니다. 그러므로, 목적에 따라 데이터 세트를 분리하여 검증과 테스트를 진행합니다. 검증용 데이터(Validation Data) 검증용 데이터(Validation Data)는 학습이 완료된 모델을 검증(Validation)하기 위해 사용되는 데이터 세트입니다. 서로 다른 모델을 사용했을 때 성능 비교를 하기 위해 사용되는 데이터 세트입니다. 또한 모델의 계층(Layer)이 다르거나 에폭(Epoch)이나 학습률(Learning Rate)과 같은 하이퍼 파라미터(HyperParameter)에 따라 학습 결과가 달라질 수 있는 것을 확인했습니다. 이러한 계층이나 하이퍼 파라미터의 차이 등으로 인한 성능을 비교하기 위해 사용됩니다. 테스트 데이터(Testing Data) 테스트 데이터(Testing Data)는 검증용 데이터(Validation Data)를 통해 결정된 성능이 가장 우수한 모델을 최종 테스트 하기 위한 목적으로 사용되는 데이터 세트입니다. 앞선 검증용 데이터에 선택된 모델은 검증용 데이터에 과적합(Overfitting)된 모델이거나, 검증용 데이터가 해당 모델에 적합한 형태의 데이터만 모여있을 수 있습니다. 그러므로, 기존 과정에서 평가해보지 않은 새로운 데이터인 테스트 데이터로 최종 모델 성능 평가를 진행하게 됩니다. 즉, 훈련용 데이터(Training Data)는 모델 학습을...

Python Pytorch 강좌 : 제 11강 - 데이터 세트 분리(Data Set Split)

댓글