Đề tài Time - Series forecasting by deep learning

Time-series forecasting by Deep Learning Sinh viên: Vũ Thị Thu Hằng – 20183524 GVHD: PGS. TS Huỳnh Thị Thanh Bình, Đỗ Bảo Sơn 2 Nội dung Bài toán dự đoán time-series Khởi tạo LeveledInit Mô hình TCN-MF (Global model) Mô hình DeepGLO (Hybrid model) Tập dữ liệu và kết quả Nhận xét và kết luận 3 1. Tổng quan bài toán Input : chuỗi các điểm dữ liệu, thường bao gồm các phép đo liên tiếp được thực hiện trong một khoảng thời gian Output : các giá trị dự đoán sẽ xảy ra trong tương lai Vấn đề : Mỗi chiều d ữ liệu chỉ được xem xét và dự đoán một cách độc lập Cần chuẩn hóa dữ liệu đầu vào vì khoảng phân phối có sự khác biệt giữa các đối tượng Khó khăn trong việc tính toán khi sử dụng các mô hình RNN – LSTM với tập dữ liệu lớn ​ 4 1. Tổng quan bài toán Các nghiên cứu liên quan: [1] Guokun Lai, Wei-Cheng Chang, Yiming Yang, and Hanxiao Liu. Modeling long-and short-term temporal patterns with deep neural networks. In The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval , pages 95–104. ACM, 2018. Đề xuất mạng LSTNet sử dụng kết hợp cấu trúc 2D giống CNN và cấu trúc tính toán hồi quy của RNN Đưa vào sử dụng thử nghiệm các dạng mạng CNN nhưng thuật toán quan trọng nhất vẫn nằm ở RNN nên chưa giải quyết được điểm yếu khi tính toán đạo hàm ngược ​ [2] Kevin W Wilson, Bhiksha Raj, and Paris Smaragdis. Regularized non-negative matrix factorization with temporal dependencies for speech denoising. In Ninth Annual Conference of the International Speech Communication Association , 2008. Đề xuất phương pháp phân tích ma trận đối với dữ liệu dạng speech, sử dụng mạng TCN  [3] Hsiang-Fu Yu, Nikhil Rao, and Inderjit S Dhillon. Temporal regularized matrix factorization for highdimensional time series prediction. In Advances in neural information processing systems , pages 847–855, 2016.  Đề xuất mô hình TRMF – AR để phân tích ma trận với số chiều lớn, có thể hoạt động với dữ liệu có những điểm bị thiếu dữ liệu Xây dựng mô hình tính toán, độ phức tạp của thuật toán cao. Cần phải chọn tham số điều chỉnh phụ thuộc vào miền phân phối của dữ liệu. 5 1. Tổng quan bài toán Think Globally, Act Locally:  ​ A Deep Neural Network Approach ​ R. Sen, H.-F. Yu, and I. S. Dhillon, “Think globally, act locally: A deepneural network approach to high-dimensional time series forecasting,” in Advances in Neural Information Processing Systems (NeurIPS 2019) ​ Sử dụng cách khởi tạo trọng số LeveledInit cho mô hình mạng TCN X ây dựng mô hình TCN-MF để lấy được global pattern trong tập dữ liệu Kết hợp sự phụ thuộc tổng quát và các tính chất đặc trưng của từng time-series trong mô hình DeepGLO để đưa ra dự đoán ​ 6 2. Khởi tạo LeveledInit: Mạng TCN: TCN = 1D Fully Convolution Network + Causal Convolution ​ Output có độ dài bằng Input ​ Không có sự kết nối ngược từ node ở thời điểm sau về node ở thời điểm trước LeveledInit: là mạng TCN với một channel ở mỗi layer Kernel k, số layer d Hàm kích hoạt ReLu  Tất cả trọng số bằng 1/k, bias bằng 0 7 Kí hiệu: lần lượt là dữ liệu và ma trận covariate thể hiện tương quan giữa time-series I và time-point j là mạng TCN ​ Cần dự đoán: ​ 3. TCN – MF 3. TCN – MF 8 Loss function: Trong đó: Temporal Regularization: ​ Thuật toán: (sử dụng mini-batch SGD) Khởi tạo bằng LeveledInit Luân phiên giữ cố định và để tìm giá trị tối ưu của thành phần còn lại 3. TCN – MF 9 Giải thuật: Cuối cùng, dùng mô hình học được: trong dữ liệu , đưa vào các giá trị Thì sẽ có đầu ra: Từ đó: 4. DeepGLO 10 Kết hợp Global Model và Local Features: ​ ​ Input có (r + 2) chiều: ​ 1 chiều cho chuỗi time-series ​ R chiều cho ma trận tương quan ​ 1 chiều cho output tương ứng từ thuật toán 1 và 3 4. DeepGLO 11 5. Thực nghiệm 12 Datasets: thực nghiệm trên 3 tập dữ liệu electricity, traffic và wiki ​ ​ Electricity: điện năng tiêu thụ của 370 gia đình ​ 25.968 time-points (1 time-point/hr) ​ T ask: dự đoán điện năng tiêu thụ của từng hộ trong vòng 7 ngày tiếp theo ​ ​ Traffic: Mật độ giao thông của 963 con đường ở San Francisco theo giờ ​ 10.392 time-points (1 time-point/hr) ​ Task: dự đoán lưu lượng giao thông trên từng con đường trong vòng 7 ngày tới, mỗi ngày 24 giờ ​ ​ Wiki: lưu lượng truy cập vào 115048 bài viết trên Wikipedia ​ 747 time-points ​ Task: dự đoán lượng truy cập trong 7 ngày tiếp theo 5. Thực nghiệm 13 Các hàm đánh giá: MAE: MAPE: RMSE: 5. Thực nghiệm 14 Thuật toán ​ Electricity ​ Traffic ​ Wiki ​ ​ MAE​ MAPE​ RMSE​ MAE​ MAPE​ RMSE​ MAE​ MAPE​ RMSE​ LeveledInit ​ 197.553 ​ 0.2176 ​ 1356.99 ​ 0.0261​ 0.1432 ​ 0.0229​ 50.3218 ​ 0.6672 ​ 5230.12 ​ TCN - MF​ 241.70 ​ 0.5458 ​ 1410.76 ​ 0.0160 ​ 0.4353 ​ 0.0296 ​ 723.66 ​ 5.5659 ​ 11428.9 ​ DeepGLO ​ 162.494 ​ ​ 0.2748 ​ ​ 1149.73 ​ ​ 0.0088 ​ 0.2262 ​ 0.0224 ​ 250.21 ​ 0.9170 ​ 5150.75 ​ 6. Nhận xét và kết luận 15 Sử dụng lợi thế tính toán của CNN so với RNN để áp dụng vào bài toán dự đoán time-series, tránh được vấn đề trong việc tối ưu hàm mất mát Khởi tạo LeveledInit thể hiện được tính hiệu quả trong các mô hình được đề xuất Nhìn chung DeepGLO chạy hiệu quả hơn TCN – MF nhưng với dữ liệu có số chiều quá lớn thì cả hai mô hình đều chưa hiệu quả Cần một cách thức hiệu quả hơn khi xây dựng ma trận tương quan giữa các time-series 16 THANK YOU !