Đề tài Deepar - Probabilistic forecasting with autoregressive recurrent networks

DeepAR: Probabilistic Forecasting withAutoregressive Recurrent Networks Salinas, David, et al. "DeepAR: Probabilistic forecasting with autoregressive recurrent networks." International Journal of Forecasting 36.3 (2020): 1181-1191. SV: Lê Thị Trung Thu – 20183637 GVHD: PGS. TS Huỳnh Thị Thanh Bình Nội dung Giới thiệu chung Traing Likelihood model Scale-handling Predict Thực nghiệm Kết luận Giới thiệu chung Phương pháp dự báo phổ biến đã được sử dụng: Dự báo cho số lượng nhỏ time-series Mô hình cần sử dụng được chọn theo cách thủ công để giải quyết các yếu tố khác nhau (Ví dụ: xu hướng, tính thời vụ,) Vấn đề mới phát sinh trong bài toán dự đoán time-series: Số lượng time-series lên tới hàng nghìn, hàng triệu Ví dụ: Lượng điện năng tiêu thụ của các hộ gia đình Nhu cầu đối với tất cả các sản phẩm mà một nhà bán lẻ lớn cung cấp Khó khăn: Khác biệt đáng kể về độ lớn giữa các time-serie Giới thiệu chung Đóng góp của bài báo: Sử dụng mô hình RNN cho bài toán dự báo time-series kết hợp với negative Binomial likelihood Chứng minh rằng mô hình mới có thể đưa ra các dự báo xác suất chính xáctrên một loạt các đặc điểm đầu vào Ưu điểm của mô hình mới so với các mô hình đã có: Bằng cách học từ các đối tượng tương tự, mô hình có thể đưa ra dự báo với các đối tượng hoàn toàn không có thông tin dữ liệu Sử dụng các tính năng thủ công đơn giản để phát hiện ra mối tương quan giữa các nhóm đối tượng Có thể tính toán được các định lượng nhất định của tất cả các sub-ranges trong miền dự đoán Training Input: Giá trị time series tại thời điểm trước z(i,t-1) Giá trị hiệp biến, chứa các đặc điểm của dữ liệu x(i, t) Hidden state của thời điểm trước: h(i, t-1) Output: Hidden state h(i, t) Tính toán các tham số cho hàm likelihood Tìm ra bộ tham số tối ưu bằng cách cực đại hóa hàm likelihood Likelihood model Hàm likelihood được sử dụng cần phù hợp với đặc điểm của dữ liệu: Real value data: Gaussian likelihood ( µ : giá trị trung bình, σ : độ lệch chuẩn) Positive count data: Negative binomial likelihood (µ: giá trị trung bình, α : tham số hình dạng) Scale-handling Khó khăn khi áp dụng mô hình cho dữ liệu có sự cách biệt lớn về độ lớn giữa các time-series : Do tính tuần tự của dữ liệu, input z(i, t-1) và output của mạng đều cần phải scale với giá trị time-series z(i, t) Chia input cho scale factor, và nhân các tham số của hàm likelihood với scale factor tương ứng. Trong thực nghiệm chọn scale factor là giá trị trung bình: Dự đoán Gỉa sử mô hình đã hoàn tất việc training tính tới thời điểm t Dự đoán cho z(i, t+1) Tính toán bộ tham số θ (t) Tạo n mẫu dựa trên phân phối được tạo nên từ bộ tham số θ (t) Trung vị của n mẫu kết hợp với x(i, t+1) và h(i, t) được đưa vào mạng h(i, t+1) Tính toán bộ tham số θ (t+1) Tạo n mẫu dựa trên phân phối được tạo nên từ bộ tham số θ (t+1) Trung vị của n mẫu trên là giá trị time-series cần dự đoán z(i, t+1) Thực nghiệm Data set: Thực nghiệm trên 2 tập dữ liệu Electricity: điện năng tiêu thụ của 30 gia đình 25.968 time-points (1 time-point/hr)​ Task: dự đoán điện năng tiêu thụ của từng hộ trong vòng 7 ngày tiếp theo​ Traffic: mật độ giao thông của 963 con đường ở San Francisco theo giờ 10.392 time-points (1 time-point/hr) Task: dự đoán lưu lượng giao thông trên từng con đường trong vòng 7 ngày tới, mỗi ngày 24 giờ​ Thuật toán Electricity Traffic ND RMSE ND RMSE DeepAR 0.07 1.01 0.17 0.43 MatFact 0.16 1.15 0.20 0.43 Kết luận Bài toán dự báo time-series dựa trên nền tảng deep-learning có thể cải thiện độ chính xác cũng như có khả năng tương thích với nhiều loại dữ liệu Thank you for your attention