<div id="readability-page-1" class="page"><div id="post-body-6388187879006818868" itemprop="articleBody">
<p>이 글은&nbsp;효율적인 딥러닝 모델링을 위한 시계열 데이터 처리 방법을 정리한다.&nbsp;</p><p><b>머리말</b></p><p>시계열 해석을 위해 <a href="https://www.lexjansen.com/nesug/nesug04/an/an03.pdf">UCM</a>(Unobserved Component Model)과 같은 방법이 개발되었다. 이는 상태공간 모델이라 불리고, 시계열 데이터를 개별 수준, 추세, 주기, 계절 구성 요소로 분해하고, 이 요소를 처리해 모델링하여, 미래값을 예측한다. UCM은 통계 모델로 관찰할 수 없는(Unobserved) 요인들에 관찰된 데이터에 어떻게 영향을 미치는 지 설명하는 모델이다. UCM은 계량 경제학 등 분야에서 사용되고 있다.&nbsp;</p><p><b>UCM</b></p><p>시계열 데이터는 트랜드(trend), 계절성(seasonality), 사이클(cycle), 불규칙성(irregular component) 등 구성요소로 분해될 수 있다.</p><div><div><ul><li>트렌드(Trend) 컴포넌트: 장기적인 상승 또는 하강 경향을 나타내는 요소이다. 예를 들어, 경제 성장으로 인한 판매 증가와 같은 장기적인 패턴을 설명할 수 있다.</li><li>계절성(Seasonality) 컴포넌트: 주기적으로 반복되는 패턴을 설명하는 요소이다. 예를 들어, 계절에 따른 기후 변화로 인해 매년 여름에 증가하는 에어컨 판매량이 이에 해당한다.</li><li>사이클(Cycle) 컴포넌트: 계절성보다 더 길고 불규칙한 주기를 나타내는 요소이다. 주로 경제적 사이클(경기 순환)과 같이 장기적인 변동성을 설명할 때 사용된다.</li><li>불규칙성(Irregular) 컴포넌트: 예측할 수 없는 무작위적인 변동 요소로, 모델로 설명할 수 없는 데이터를 설명한다.</li></ul><p>UCM은 다양한 분야 시계열 데이터 분석 및 예측에 사용된다.&nbsp;</p></div><p><b>예제 데이터셋</b></p><p>이 글에서 사용될 데이터셋은 <a href="https://www.kaggle.com/robikscube/hourly-energy-consumption">Kaggle</a>의 '시간당 에너지 소비량'이다. 이 소스는 미국 전역 서비스 지역에서 매시간 보고된 에너지값(Mega watts)이 포함되어 있다(예. AEP. American Electric Power 데이터).&nbsp;</p><div><p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEh5zyPMaUmnA4ukZx8j483-hTBU-Pu2AWIfrML2Fs-HvnjQM4qqDVxKArd8u9-hgwSqiP0GlgU8rGbRGZtPFC9SkIIatGV9-hQ2DJ_yxWjzVKDKO-8um47h7ohtBkG2-pOLjcK1f71JSWF5VQV-52DCuJd26dPLlE-SG9U7Bl-7dPc4IFhnR0opSROPwTkP/s1172/download.png" imageanchor="1"><img data-original-height="463" data-original-width="1172" height="110" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEh5zyPMaUmnA4ukZx8j483-hTBU-Pu2AWIfrML2Fs-HvnjQM4qqDVxKArd8u9-hgwSqiP0GlgU8rGbRGZtPFC9SkIIatGV9-hQ2DJ_yxWjzVKDKO-8um47h7ohtBkG2-pOLjcK1f71JSWF5VQV-52DCuJd26dPLlE-SG9U7Bl-7dPc4IFhnR0opSROPwTkP/w473-h187/download.png" width="280"></a></p><br></div><p>데이터셋을 확인하기 위해 다음 코드를 실행한다.&nbsp;</p><div><p>import math, scipy as sp, numpy as np, pandas as pd, datetime, warnings</p><p>import matplotlib as mpl, matplotlib.pyplot as plt, seaborn as sns, statsmodels.api as sm</p><p>from statsmodels.graphics.tsaplots import plot_acf</p><p>from statsmodels.graphics.tsaplots import plot_pacf</p><p>sns.set()</p><p>from sklearn.preprocessing import StandardScaler</p><p>from statsmodels.tsa.stattools import kpss</p><p>from sklearn.metrics import mean_absolute_error</p><p>from sklearn.metrics import mean_squared_error</p><p>df_aep = pd.read_csv("AEP_hourly.csv", index_col=0)</p><p>print(df_aep)</p><p>df_aep.sort_index(inplace = True)</p><p>print(df_aep)</p></div><p>데이터 프레임은 케글에서 제공하는 CSV 형식에서 로딩된다. 이를 소팅하면, 다음과 같이 출력된다.&nbsp;</p><div><p><a href="https://blogger.googleusercontent.com/img/a/AVvXsEhjKEAQvH2MAbUs7b3ikrv8sYn5334MnywGOdIvG1VOrkAj-DizqzoTQ_b61xeK27R5TPljjv-Wptp_zXlYDFrSvaHFcFLlgIM2JbSNPxiVQMmTKYjZqfDZM75Lj5991cAVWCGHbkcxXlEKYuuiDLpBcr1wsadVlET3j88Fsk_nmHQehTz5xOAaK2jBD6rN"><img alt="" data-original-height="566" data-original-width="408" height="320" src="https://blogger.googleusercontent.com/img/a/AVvXsEhjKEAQvH2MAbUs7b3ikrv8sYn5334MnywGOdIvG1VOrkAj-DizqzoTQ_b61xeK27R5TPljjv-Wptp_zXlYDFrSvaHFcFLlgIM2JbSNPxiVQMmTKYjZqfDZM75Lj5991cAVWCGHbkcxXlEKYuuiDLpBcr1wsadVlET3j88Fsk_nmHQehTz5xOAaK2jBD6rN=w230-h320" width="230"></a></p><p>시각화를 하면, 데이터셋트의 복잡성을 확인할 수 있다.</p></div><div><p>f, ax = plt.subplots(figsize=(18,6),dpi=200);</p><p>plt.suptitle('American Electric Power (AEP) estimated energy consumption in MegaWatts (MW)', fontsize=24);</p><p>df_aep.plot(ax=ax,rot=90,ylabel='MW');</p><p>plt.show()</p><p><a href="https://blogger.googleusercontent.com/img/a/AVvXsEhh8cf-8HrdX06Wn1sUyEZOqC1HRNYhRdeeqIiL2mwud6SE__OSdhySi0A3qZOukSUPR8lUtdRXWyX2IA_1o7Ki11yNT5J3yvFgia7DVcbmDyl5aqidlVdJ1yP6h2qLR0kKtaj4osagQDeDjmkDKMeDbmPO3nZMdSY1x3odybbEY4FjrBij_sjUDqX4D1Ww"><img alt="" data-original-height="850" data-original-width="1804" height="132" src="https://blogger.googleusercontent.com/img/a/AVvXsEhh8cf-8HrdX06Wn1sUyEZOqC1HRNYhRdeeqIiL2mwud6SE__OSdhySi0A3qZOukSUPR8lUtdRXWyX2IA_1o7Ki11yNT5J3yvFgia7DVcbmDyl5aqidlVdJ1yP6h2qLR0kKtaj4osagQDeDjmkDKMeDbmPO3nZMdSY1x3odybbEY4FjrBij_sjUDqX4D1Ww=w485-h229" width="280"></a></p><p>스케일이 너무 크므로, 일부만 확대해 보도록 하자.</p></div><div><p>f, ax = plt.subplots(figsize=(18,6),dpi=200);</p><p>plt.suptitle('American Electric Power estimated energy consumption in MegaWatts (MW)', fontsize=36);</p><p>df_aep.iloc[-3*8766:,:].plot(ax=ax,rot=90,fontsize=12);</p><p><a href="https://blogger.googleusercontent.com/img/a/AVvXsEjn8GIMnDcAlSpB6Fo2DpySueIhZ6dcnekJs_VJ_Vy1f7tfJnYhpuugVeGfqvFhYrfMnQ9yr6IZd3ip2kr5crkilW_pz0uPdKUO8xTDcUEqALBJxp3eU8zsNy7tpF0sFSIx2YobIMlBtEkVzVq9CnPdrl1SEHJJBQOXCl3yaqTZddCtYjZQJkhJz_ZbeiEi"><img alt="" data-original-height="429" data-original-width="1154" height="104" src="https://blogger.googleusercontent.com/img/a/AVvXsEjn8GIMnDcAlSpB6Fo2DpySueIhZ6dcnekJs_VJ_Vy1f7tfJnYhpuugVeGfqvFhYrfMnQ9yr6IZd3ip2kr5crkilW_pz0uPdKUO8xTDcUEqALBJxp3eU8zsNy7tpF0sFSIx2YobIMlBtEkVzVq9CnPdrl1SEHJJBQOXCl3yaqTZddCtYjZQJkhJz_ZbeiEi=w485-h181" width="280"></a></p><p>데이터 분석을 위해 시간 주파수로 데이터셋을 생성한다.</p></div><div><p>#creating datetime list with boundaries of raw data series, hourly frequency</p><p>datelist = pd.date_range(datetime.datetime(2004,10,1,1,0,0), datetime.datetime(2018,8,3,0,0,0), freq='H').tolist()</p><p>#extracting raw data series indices</p><p>idx_list = df_aep.index.to_list()</p><p>#checking for anomalies by comparing the two</p><p>idx_list == datelist</p></div></div><p><b>본론</b></p><p><b>결론</b></p><p>시계열 데이터 특성을 고려한 다양한 검토가 필요하다.</p><p><b>레퍼런스</b></p><div><ul><li><a href="https://medium.com/analytics-vidhya/multi-seasonal-time-series-analysis-decomposition-and-forecasting-with-python-609409570007">Multi seasonal time series analysis: decomposition and forecasting with Python | by Daniel J. TOTH | Analytics Vidhya | Medium</a></li><li><a href="https://towardsdatascience.com/neural-network-mlp-for-time-series-forecasting-in-practice-04c47c1e3711">Neural Network (MLP) for Time Series Forecasting in Practice | by Daniel J. TOTH | Jul, 2024 | Towards Data Science</a></li><li><a href="https://medium.com/@mrabet_zakariae/forecasting-time-series-with-multilayer-perceptrons-in-python-c7441bda5b59">Forecasting Time Series with MLP | Medium</a></li><li><a href="https://www.reddit.com/r/MachineLearning/comments/193672o/d_best_time_series_models_for_forecasting/">[D] Best Time Series models for Forecasting (alternative to TimeGPT)? : r/MachineLearning (reddit.com)</a></li><li><a href="https://www.reddit.com/r/MLQuestions/comments/a5h0b8/train_a_mlp_with_multivariate_time_series_of_data/">Train a MLP with multivariate time series of data : r/MLQuestions (reddit.com)</a></li><li><a href="https://www.reddit.com/r/MachineLearning/comments/18ax51t/d_transformers_for_time_series_forecasting/">[D] Transformers for time series forecasting : r/MachineLearning (reddit.com)</a></li><li><a href="https://www.sciencedirect.com/science/article/pii/S0360132324006978">미기후가 건물 운영 및 에너지에 미치는 영향 및 피드백의 응용 분야에 대한 포괄적인 검토 - ScienceDirect</a></li><li><a href="https://www.sciencedirect.com/science/article/pii/S0360132320300251">유전자 알고리즘 기반 수치 모멘트 매칭 기법을 사용한 도시 규모의 단독 주택 건물 에너지 소비 예측 - ScienceDirect</a></li><li><a href="https://www.sciencedirect.com/science/article/pii/S0360132323009745">도시 풍력 환경이 도시 건물 에너지에 미치는 영향: 메커니즘 및 모델링 검토 - ScienceDirect</a></li><li><a href="https://www.sciencedirect.com/science/article/pii/S0306261924004148">항공 운송 수요와 에너지 소비 및 배출에 미치는 영향 예측 - ScienceDirect</a></li><li><a href="https://www.sciencedirect.com/science/article/pii/S0020025522001347">MLTF: 모델링 없는 시계열 예측 - ScienceDirect</a></li></ul></div>

</div></div>

Daddy Makers

이 글은 효율적인 딥러닝 모델링을 위한 시계열 데이터 처리 방법을 정리한다. 
머리말
시계열 해석을 위해 UCM(Unobserved Component Model)과 같은 방법이 개발되었다. 이는 상태공간 모델이라 불리고, 시계열 데이터를 개별 수준, 추세, 주기, 계절 구성 요소로 분해하고, 이 요소를 처리해 모델링하여, 미래값을 예측한다. UCM은 통계 모델로 관찰할 수 없는(Unobserved) 요인들에 관찰된 데이터에 어떻게 영향을 미치는 지 설명하는 모델이다. UCM은 계량 경제학 등 분야에서 사용되고 있다. 
UCM
시계열 데이터는 트랜드(trend), 계절성(seasonality), 사이클(cycle), 불규칙성(irregular component) 등 구성요소로 분해될 수 있다.
트렌드(Trend) 컴포넌트: 장기적인 상승 또는 하강 경향을 나타내는 요소이다. 예를 들어, 경제 성장으로 인한 판매 증가와 같은 장기적인 패턴을 설명할 수 있다.
계절성(Seasonality) 컴포넌트: 주기적으로 반복되는 패턴을 설명하는 요소이다. 예를 들어, 계절에 따른 기후 변화로 인해 매년 여름에 증가하는 에어컨 판매량이 이에 해당한다.
사이클(Cycle) 컴포넌트: 계절성보다 더 길고 불규칙한 주기를 나타내는 요소이다. 주로 경제적 사이클(경기 순환)과 같이 장기적인 변동성을 설명할 때 사용된다.
불규칙성(Irregular) 컴포넌트: 예측할 수 없는 무작위적인 변동 요소로, 모델로 설명할 수 없는 데이터를 설명한다.
UCM은 다양한 분야 시계열 데이터 분석 및 예측에 사용된다. 
예제 데이터셋
이 글에서 사용될 데이터셋은 Kaggle의 '시간당 에너지 소비량'이다. 이 소스는 미국 전역 서비스 지역에서 매시간 보고된 에너지값(Mega watts)이 포함되어 있다(예. AEP. American Electric Power 데이터). 
Hourly Energy Consumption (kaggle.com)
데이터셋을 확인하기 위해 다음 코드를 실행한다. 
import math, scipy as sp, numpy as np, pandas as pd, datetime, warnings
import matplotlib as mpl, matplotlib.pyplot as plt, seaborn as sns, statsmodels.api as sm
from statsmodels.graphics.tsaplots import plot_acf
from statsmodels.graphics.tsaplots import plot_pacf
sns.set()
from sklearn.preprocessing import StandardScaler
from statsmodels.tsa.stattools import kpss
from sklearn.metrics import mean_absolute_error
from sklearn.metrics import mean_squared_error
df_aep = pd.read_csv("AEP_hourly.csv", index_col=0)
print(df_aep)
df_aep.sort_index(inplace = True)
print(df_aep)
데이터 프레임은 케글에서 제공하는 CSV 형식에서 로딩된다. 이를 소팅하면, 다음과 같이 출력된다. 
시각화를 하면, 데이터셋트의 복잡성을 확인할 수 있다.
f, ax = plt.subplots(figsize=(18,6),dpi=200);
plt.suptitle('American Electric Power (AEP) estimated energy consumption in MegaWatts (MW)', fontsize=24);
df_aep.plot(ax=ax,rot=90,ylabel='MW');
plt.show()
스케일이 너무 크므로, 일부만 확대해 보도록 하자.
f, ax = plt.subplots(figsize=(18,6),dpi=200);
plt.suptitle('American Electric Power estimated energy consumption in MegaWatts (MW)', fontsize=36);
df_aep.iloc[-3*8766:,:].plot(ax=ax,rot=90,fontsize=12);
데이터 분석을 위해 시간 주파수로 데이터셋을 생성한다.
#creating datetime list with boundaries of raw data series, hourly frequency
datelist = pd.date_range(datetime.datetime(2004,10,1,1,0,0), datetime.datetime(2018,8,3,0,0,0), freq='H').tolist()
#extracting raw data series indices
idx_list = df_aep.index.to_list()
#checking for anomalies by comparing the two
idx_list == datelist
본론
결론
시계열 데이터 특성을 고려한 다양한 검토가 필요하다.
레퍼런스
Multi seasonal time series analysis: decomposition and forecasting with Python | by Daniel J. TOTH | Analytics Vidhya | Medium
Neural Network (MLP) for Time Series Forecasting in Practice | by Daniel J. TOTH | Jul, 2024 | Towards Data Science
Forecasting Time Series with MLP | Medium
[D] Best Time Series models for Forecasting (alternative to TimeGPT)? : r/MachineLearning (reddit.com)
Train a MLP with multivariate time series of data : r/MLQuestions (reddit.com)
[D] Transformers for time series forecasting : r/MachineLearning (reddit.com)
미기후가 건물 운영 및 에너지에 미치는 영향 및 피드백의 응용 분야에 대한 포괄적인 검토 - ScienceDirect
유전자 알고리즘 기반 수치 모멘트 매칭 기법을 사용한 도시 규모의 단독 주택 건물 에너지 소비 예측 - ScienceDirect
도시 풍력 환경이 도시 건물 에너지에 미치는 영향: 메커니즘 및 모델링 검토 - ScienceDirect
항공 운송 수요와 에너지 소비 및 배출에 미치는 영향 예측 - ScienceDirect
MLTF: 모델링 없는 시계열 예측 - ScienceDirect

효율적인 딥러닝 모델링을 위한 시계열 데이터 처리

댓글