연속적인 시계열 예측을 위한 디노이징 다변량 시계열 모델링_Review

시계열 예측 연구 분야의 '연속 예측' 과제를 해결하고자 'DTSNet' 방식을 제안.

DTSNet은 안정적인 예측을 위해 '위치 인코딩'을 적용한 표현형을 사용하고, 새로운 '디노이징 훈련법'을 제안함.

'이중 주의 기제 기법'을 제안하고, 변수 별 특성화 모델링을 위해 '멀티 헤드 신경망'을 사용함.

# 키워드: 다변량 시계열 예측, 연속 예측, 디노이징 훈련 기법, 다중 주기성, 주의 기제 기법

 

# 해결과제 및 이슈

1) 다중 주기성

시계열 분야에서 다중 패턴은 '단기패턴, 장기패턴'으로 구분될 수 있다.

'Electricity' 데이터의 예시를 보면, 시간당 전력 소비량 데이터가 '하루 내'의 단기패턴과 '평일(5일)' 주말(2일)'로 구분되는 장기 패턴을 뚜렷하게 보이는 것을 알 수 있다. 이러한 장/단기 패턴은 서로 상호 연관성을 가지므로 다중의 주기성이 존재할 경우 패턴 예측이 어려워진다는 한계가 있다.

 

2) 연속 예측의 어려움

대부분의 전통적인 시계열은 한 시점만 예측하는 '점 예측'(One-step ahead prediction) 방법을 사용

연속 예측(Multi-step ahead prediction)은 다소 긴 시간 범위에서 미래 데이터의 사이클을 예측하는 방법

따라서, 연속 예측값들을 생성하기 위해 이전 시점들의 예측 값을 입력 값으로 사용하여 반복적인 예측

예측 수행이 누적됨에 따라 분산이 커지므로 예측이 어려워지는 단점, 단순히 실제 시계열을 후행하여 예측하거나 전혀 다른 패턴이 도출되는 문제가 발생함.

 

 

# DNSNet을 채택한 이유

 

전통적인 통계모델

1) 선형적 특징을 잘 식별하지만 비선형성을 찾기 어려움

2) 다중 주기성을 포착하기 어려움

3) 하이퍼파라미터를 설정하는데 도메인 전문가의 지식이 필요함

 

RNN

순환 구조로 시계열에 구조적 이점, 장기 의존성에 한계를 가짐

=> 그렇다면, LSTM 모델도 과제 해결이 가능하지 않을까?

 

CNN

주의 기제(Attetion)로 장기 의존성의 한계를 해소하지만, 장기 주기성에 대한 한계

 

Seq2Seq

다수의 합성곱 계층이 필요한 CNN의 단점을 해소하지만, 연속 예측이 어렵다는 한계

 

LSTM

모든변수를 한 번에 가지기 때문에, 변수에 특화된 모형을 얻기 어려움

 

DNSNet(Denoising Time Series Model using Deep Neural Networks)

1) 장기 의존성 문제를 해결하고 복 잡한 주기성을 모델링하기 위하여 이중 주의 기제를 사용

2)  멀티 헤드(Multi-head) 신경망을 이용하 여 다변량 시계열 데이터를 변수 별 특화된 모형으로 모델링을 하여 예측의 성능을 향상시키기는 방법론을 제안

3) 시계열 연속 예측에 효과적인 디 노이징(Denoising) 훈련법과 위치 인코딩을 제안