Đồ án Phương pháp Bradley W.Dickinson ước lượng tham số trong mô hình tự hồi quy nhiều chiều

LỜI MỞ ĐẦU Trong nghiên cứu và xử lý thống kê chuỗi thời gian nhiều chiều, mô hình tự hồi quy là lớp mô hình được nghiên cứu sâu sắc và toàn diện nhất. Việc nghiên cứu và xây dựng lớp mô hình này nhận được sự quan tâm của nhiều tác giả và đã thu những kết quả có giá trị cho dù đây là mô hình tương đối phức tạp. Dưới sự hướng dẫn của thầy giáo Tống Đình Quỳ cùng với sự mong muốn và nổ lực của bản thân tác giả đã tìm hiểu, nghiên cứu mô hình này và tiếp cận với phương pháp ước lượng tham số của mô hình đó do Bradley W. Dickinson đưa ra năm 1979. Đây là một phương pháp hay và thực sự nó đã thúc đẩy tác giả rất nhiều trong bước đầu nghiên cứu của mình cũng như đi đến quyết định chọn đề tài cho đồ án tốt nghiệp Phương pháp Bradley W. Dickinson ước lượng tham số trong mô hình tự hồi quy nhiều chiều. Nghiên cứu đề tài này trước hết giúp chúng ta có thể hiểu sâu hơn về mô hình tự hồi quy nhiều chiều, một mô hình được sử dụng nhiều trong thực tế, tìm hiểu các phương pháp ước lượng tham số cho mô hình, đặc biệt là phương pháp của tác giả Dickinson. Khi đã xây dựng được mô hình, trong những trường hợp thực tế cụ thể, ta có thể dùng nó để kiểm tra một số giả thiết hay lý thuyết về cơ chế đã sinh ra mô hình, xây dựng những quyết định điều khiển cho quá trình, phân tích và đánh giá để đưa ra những điều chỉnh hợp lý hay dự báo các kết quả tương lai cho quá trình đó. Nội dung chính của đồ án được trình bày trong 3 chương. Ở chương 1, trong phần đầu tiên sẽ giới thiệu khái quát về chuỗi thời gian một chiều và các khái niệm liên quan đến quá trình tự hồi quy một chiều. Phần tiếp theo sẽ trình bày rõ về quá trình tự hồi quy nhiều chiều, xem xét nó như là một sự mở rộng của quá trình dừng tự hồi quy một chiều và các đặc trưng của nó để làm cơ sở cho việc ước lượng tham số của mô hình trong những phần sau. Với giả thiết chuỗi thời gian quan sát của chúng ta được cảm sinh bởi một quá trình tự hồi quy nhiều chiều cấp nào đó, chương 2 sẽ trình bày về việc ước lượng tham số cho mô hình tự hồi quy nhiều chiều dựa trên khái niệm tự hiệp phương sai riêng và tự tương quan riêng thông qua phương pháp Durbin-Levinson, một phương pháp rất cơ bản trong ước lượng tham số của mô hình tự hồi quy nhiều chiều. Chúng ta cũng sẽ tìm hiểu một số phương pháp khác như phương pháp bình phương tối thiểu, phương pháp R. H. Jones, phương pháp Nuttall-Strand. Chương 3 sẽ trình bày cụ thể về phương pháp ước lượng tham số cho mô hình tự hồi quy nhiều chiều của tác giả Bradley W. Dickinson. Phương pháp này là một sự mở rộng của phương pháp Durbin-Levinson và dựa trên một phân tích rất quen thuộc trong toán học, phân tích Cholesky, để ước lượng các tự tương quan riêng. Cuối cùng là kết quả của thuật toán chạy trên máy tính và một số nhận xét rút ra khi so sánh với một số phương pháp khác. Trong phần kết luận sẽ nhìn lại những điều đã làm được cũng như chưa làm được trong đồ án, những hướng có thể phát triển và mở rộng đồ án. Phần phụ lục sẽ khái quát chương trình chạy trên máy tính, đưa ra một số mô đun chính của chương trình và một số ví dụ minh họa về tính ứng dụng của mô hình và làm rõ một số khái niệm trong đồ án. Đồ án này được hoàn thành dưới sự hướng dẫn tận tình của thầy giáo TS.Tống Đình Quỳ, tác giả xin bày tỏ lòng biết ơn chân thành của mình đối với thầy. Tác giả xin chân thành cảm ơn các thầy giáo, cô giáo Khoa Toán Tin Ứng Dụng, Trường ĐHBK Hà Nội đã dành nhiều sự quan tâm, giúp đỡ và tạo mọi điều kiện trong quá trình làm đồ án tốt nghiệp tại khoa. Xin chân thành cảm ơn các bạn trong nhóm Xác suất đã có những góp ý chân thành trong quá trình được làm việc cùng nhau. Cuối cùng, tác giả kính mong nhận được những lời nhận xét để báo cáo này ngày càng hoàn thiện hơn. Xin chân thành cảm ơn! MỤC LỤC Lời giới thiệu …………………………………………………………… 1 1 Quá trình tự hồi quy nhiều chiều ……...……………………………… 6 1.1 Chuỗi thời gian và quá trình tự hồi quy một chiều ............……….. 6 1.1.1 Khái niệm chuỗi thời gian ………………………..………………. 6 1.1.2 Quá trình dừng ngẫu nhiên dừng ………………………………….. 7 1.1.3 Định nghĩa quá trình tự hồi quy một chiều ………………………... 8 1.1.4 Các đặc trưng của quá trình dừng tự hồi quy một chiều …………. 9 1.1.5 Về nhận dạng mô hình ARIMA tổng quát và ước lượng tham số của mô hình tự hồi quy một chiều …………………………………… 10 1.2 Quá trình tự hồi quy nhiều chiều …….………….….…….……… 11 1.2.1 Quá trình quy tâm dừng ……………..…………….………….…. 13 1.2.2 Định nghĩa quá trình tự hồi quy nhiều chiều …………………….. 13 1.2.3 Hàm tự hiệp phương sai của một quá trình dừng …….………….. 15 1.2.4 Hệ phương trình Yule-Walker cho trường hợp nhiều chiều ..…… 16 2 Ước lượng tham số trong mô hình tự hồi quy nhiều chiều ………… 20 2.1 Hàm tự hiệp phương sai riêng của một quá trình dừng …….……. 21 2.2 Phương pháp Durbin-Levinson ước lượng tham số trong mô hình tự hồi quy nhiều chiều …………………………………………..….. 23 2.2.1 Phương pháp Durbin-Levinson cho trường hợp một chiều .…..… 23 2.2.2 Phương pháp Durbin-Levinson cho trường hợp nhiều chiều ……. 24 2.2.3 Nhận xét và kết luận …...………………………………………… 29 2.3 Các phương pháp khác ước lượng tham số trong mô hình tự hồi quy nhiều chiều ………………………………….………………...… 30 2.3.1 Phương pháp bình phương tối thiểu …..…………………………. 30 2.3.2 Phương pháp R. H. Jones …...…………………………………… 31 2.3.3 Giới thiệu một số phương pháp khác …………………….……… 33 3 Phương pháp Bradley W. Dickinson ước lượng tham số của mô hình tự hồi quy nhiều chiều …………………………………………...…… 40 3.1 Giới thiệu ……………………………………………………...…. 40 3.2 Xây dựng thuật toán ……..……………………………….……… 40 3.3 Ước lượng tự tương quan riêng sử dụng ước lượng bình phương cực tiểu và phân tích Cholesky ………………………………………. 40 3.4 Kết quả của thuật toán …………………………………………… 40 3.5 Nhận xét và kết luận …...………………………………………… 40 Kết luận ……………...………………………………………………… 40 Phụ lục ……………………...………………………………………….. 40 Tài liệu tham khảo ……….……..……..….….……………….………. 40 CHƯƠNG 1 QUÁ TRÌNH TỰ HỒI QUY NHIỀU CHIỀU Chương này nhằm mục đích trình bày về quá trình tự hồi quy nhiều chiều và các khái niệm liên quan làm cơ sở cho việc ước lượng tham số trong mô hình tự hồi quy nhiều chiều. Để dễ dàng thể tiếp cận các khái niệm của quá trình này, trong phần đầu tiên chúng ta sẽ nhìn lại một cách khái quát về chuỗi thời gian một chiều, quá trình tự hồi quy một chiều cũng như việc ước lượng tham số trong mô hình tự hồi quy một chiều. Nắm bắt được phương pháp và ý tưởng khi nghiên cứu chuỗi thời gian một chiều là hết sức cần thiết để có được hiểu biết toàn diện và sâu sắc khi tìm hiểu về quá trình tự hồi quy nhiều chiều. Cách tiếp cận này sẽ cho chúng ta có một cái nhìn liền mạch và rõ ràng hơn trong khi nghiên cứu chuỗi thời gian. 1.1 CHUỖI THỜI GIAN VÀ QUÁ TRÌNH TỰ HỒI QUY MỘT CHIỀU 1.1.1 Khái niệm chuỗi thời gian Trong thực tế, có một số lượng rất lớn những dữ liệu về nhiều lĩnh vực như kinh tế, xã hội và khoa học kỹ thuật được tập hợp lại dưới dạng chuỗi thời gian, nghĩa là tạo thành một dãy các giá trị quan sát được sắp xếp theo thứ tự thời gian. là giá trị quan sát ở thời điểm đầu tiên, là giá trị quan sát ở thời điểm thứ hai, còn là giá trị quan sát ở thời điểm thứ (và cũng là thời điểm cuối cùng). Trong khi phương pháp thống kê cổ điển thường sử dụng các số liệu quan sát được giả thiết là độc lập thì trong chuỗi thời gian các chuỗi quan sát thường mất tính độc lập. Ở đây giá trị quan sát tại thời điểm phụ thuộc ít nhiều vào giá trị quan sát tại thời điểm trước đó còn giá trị quan sát lại phụ thuộc vào giá trị quan sát tại thời điểm ,… Một trong những vấn đề quan trọng nhất của xử lý thống kê chuỗi thời gian là việc mô hình hoá, nghĩa là đặt tương ứng chuỗi thời gian quan sát được trong một mô hình toán học với hy vọng nó phản ánh tương đối trung thực cơ chế đã sinh ra dữ liệu của chuỗi quan sát đó. Các mô hình chuỗi thời gian quen thuộc là các mô hình tuyến tính, trong đó lớp mô hình tự hồi quy AR là lớp mô hình có vai trò hết sức quan trọng và được ứng dụng rất rộng rãi hiện nay. Trong những phần sau chúng ta sẽ tập trung tìm hiểu, nghiên cứu về mô hình tự hồi quy, nhưng trước hết là những khái niệm cơ bản nhất liên quan đến chuỗi thời gian. 1.1.2 Quá trình ngẫu nhiên dừng Định nghĩa 1.1.1 ( Hàm tự hiệp phương sai ) [1, tr.40] Nếu là một quá trình ngẫu nhiên có phương sai hữu hạn thì hàm tự hiệp phương sai của được định nghĩa bởi với . Định nghĩa 1.1.2 ( Quá trình dừng ) [1, tr.40] Chuỗi thời gian được gọi là một quá trình dừng nếu nó thoả mãn các điều kiện , , . Chú ý Cũng có tài liệu gọi dừng theo nghĩa trên là dừng yếu hay dừng bậc hai. Tuy nhiên trong báo cáo này, nếu không nói gì thêm, ta hiểu dừng theo nghĩa của định nghĩa ở trên. Nếu là quá trình dừng thì . Khi đó, ta có thể định nghĩa lại hàm tự hiệp phương sai mà chỉ thông qua một biến theo hệ thức . Định nghĩa 1.1.3 ( Hàm tự tương quan ) [1, tr.40] Nếu là một quá trình dừng với hàm tự hiệp phương sai thì hàm tự tương quan của được định nghĩa là . Định lý 1.1.1 [1, tr.45] Nếu là một quá trình dừng, và nếu thoả mãn điều kiện thì hệ thức định nghĩa một quá trình dừng. 1.2.3 Định nghĩa quá trình tự hồi quy một chiều Định nghĩa 1.1.4 ( Quá trình tự hồi quy ) [1, tr.70] Quá trình được gọi là quá trình tự hồi quy cấp , kí hiệu là AR, nếu nó là một quá trình dừng thoả mãn với . (1.1) Ta cũng có thể viết biểu thức trên dưới dạng , với là toán tử lùi được định nghĩa theo hệ thức , còn là đa thức toán tử định nghĩa bởi . Ở đây là các số thực, còn thoả mãn . được gọi là quá trình ồn trắng. Chú ý Nếu đa thức ở trên có nghiệm nằm ngoài đĩa tròn đơn vị thì khi đó được gọi là quá trình nhân quả tự hồi qui cấp , đảm bảo tính khả đảo của đa thức toán tử và từ nay về sau nếu không nói gì thêm thì chúng ta chỉ xét các quá trình nhân quả này. 1.1.4 Các đặc trưng của quá trình tự hồi quy một chiều Từ định nghĩa của một quá trình tự hồi quy ta có thể chứng minh được các tính chất sau: . Trong tính chất thứ ba, lần lượt cho ta có . (1.2) Hệ phương trình này gọi là hệ phương trình Yule-Walker, song tuyến đối với và , nghĩa là nếu cho sẽ tính được và ngược lại. Một chú ý là hệ phương trình này đóng vai trò rất quan trọng trong việc ước lượng các tham số của mô hình tự hồi quy một chiều. 1.1.5 Về nhận dạng mô hình ARIMA tổng quát và ước lượng tham số của mô hình tự hồi quy một chiều Giả sử thực tế cho ta một chuỗi quan sát , đó cũng là dữ liệu duy nhất mà chúng ta có, khi đó ta cần xây dựng các công thức, thủ tục để nhận dạng mô hình ARIMA tổng quát , với . Tức là ta phải ước lượng bậc lấy sai phân , bậc của các đa thức hồi qui và đa thức trung bình trượt và cuối cùng là ước lượng các hệ số của các đa thức đó. Khi đã nhận dạng được mô hình, bước tiếp theo sẽ là ước lượng các tham số cho mô hình. Dễ dàng thấy rằng mô hình AR chính là mô hình ARIMA khi . Với mục đích tìm hiểu và nghiên cứu về mô hình tự hồi quy nên khi có một chuỗi quan sát , ta giả sử rằng chúng được cảm sinh bởi một quá trình tự hồi quy AR nào đó với đã biết. Công việc còn lại là phải tìm cách ước lượng được các tham số của mô hình đó. Có rất nhiều phương pháp ước lượng đã tỏ ra hiệu quả đối với mô hình tự hồi quy một chiều như thuật toán Durbin-Levinson [3], thuật toán J. P. Burg [3], thuật toán B. W. Dickinson [4] và đặc biệt là ước lượng hợp lý cực đại của S. T. Kay [5] 1.2 QUÁ TRÌNH TỰ HỒI QUY NHIỀU CHIỀU Trong phần trước chúng ta đã nhắc lại những khái niệm cơ bản nhất liên quan đến chuỗi thời gian một chiều và hiểu thế nào là một quá trình tự hồi quy cũng như việc ước lượng tham số trong mô hình tự hồi quy một chiều. Tuy nhiên, trong thực tế, để có những đánh giá toàn diện và chính xác về một đối tượng quan sát nào đó, nhiều khi chúng ta không thể dùng một chỉ số mà phải dùng nhiều chỉ số kết hợp lại. Khi đó quan sát có được sẽ xuất hiện dưới dạng một chuỗi thời gian nhiều chiều, tức là mỗi quan sát tại thời điểm là một véc tơ có thành phần ( là toán tử chuyển vị). Ở đây, ngoài sự phụ thuộc vốn có giữa các còn có sự phụ thuộc lẫn nhau giữa các thành phần và của quan sát nên việc nghiên cứu một cách riêng rẽ chuỗi thời gian sẽ cho kết quả không chính xác. Do đó các mô hình toán học mô tả thích hợp các chuỗi thời gian trong trường hợp nhiều chiều sẽ phức tạp hơn nhiều so với trường hợp một chiều. Cũng như trong trường hợp một chiều, mô hình tự hồi quy nhiều chiều đóng một vai trò rất quan trọng trong việc mô hình hoá và xấp xỉ một chuỗi thời gian nhiều chiều. Mô hình này cũng được ứng dụng rộng rãi hiện nay, đặc biệt trong lĩnh vực kinh tế khi phân tích và dự báo các chỉ số kinh tế phụ thuộc vào nhiều nhân tố khác nhau. Đối với quá trình ngẫu nhiên nhiều chiều, khi nói đến chuỗi các véc tơ ngẫu nhiên ta định nghĩa kỳ vọng của véc tơ là . Một quá trình ngẫu nhiên được gọi là quy tâm nếu nó có kỳ vọng là véc tơ không (trong trường hợp một chiều là không). Trong thống kê chuỗi thời gian chúng ta thường chỉ hay quan tâm đến quá trình quy tâm và trong báo cáo này chúng ta cũng chỉ xét các quá trình quy tâm. Như đã nói ở trên, chúng ta sẽ tìm cách tiếp cận quá trình tự hồi quy nhiều chiều như là một sự mở rộng của quá trình tự hồi quy một chiều. Nhưng trước khi có định nghĩa chính xác quá trình này chúng ta sẽ tìm hiểu những khái niệm cơ bản nhất liên quan đến một quá trình ngẫu nhiên nhiều chiều. 1.2.1 Quá trình quy tâm dừng Định nghĩa 1.2.1 ( Quá trình quy tâm dừng ) [9, tr.15] Quá trình , với là véc tơ ngẫu nhiên trong không gian , được gọi là một quá trình quy tâm dừng bậc hai nếu nó thoả mãn , . Ở đây, là toán tử kỳ vọng, là toán tử chuyển vị còn là hàm tự hiệp phương sai trong không gian ma trận cấp . Chú ý Trong một số tài liệu khái niệm dừng bậc hai còn có tên gọi là dừng yếu hoặc dừng nhưng để thuận tiện, từ nay về sau ta chỉ gọi nó là quá trình dừng và hiểu theo nghĩa mà ta đã định nghĩa ở trên. 1.2.2 Định nghĩa quá trình tự hồi quy nhiều chiều Phần lớn các mô hình chuỗi thời gian được xây dựng xuất phát từ một chuỗi véc tơ ngẫu nhiên quy tâm, độc lập, cùng phân phối có ma trận hiệp phương sai ký hiệu là . Các thành phần của các véc tơ không tương quan tại các thời điểm khác nhau nhưng tương quan tại cùng thời điểm, khi đó ma trận hiệp phương sai không phải là ma trận chéo. Quá trình tự hồi quy nhiều chiều được định nghĩa thông qua và các quan sát trước đó. Định nghĩa 1.2.2 ( Quá trình tự hồi quy ) [9, tr.16] Quá trình quy tâm dừng được gọi là quá trình tự hồi quy cấp , kí hiệu là AR, nếu nó có thể được biểu diễn dưới dạng . (1.3) Ở đây là các ma trận vuông cấp , là ma trận đơn vị cấp và là các véc tơ ngẫu nhiên độc lập cùng phân phối và độc lập với . Ma trận ở đây được gọi là ma trận hệ số tự hồi quy và được gọi là quá trình nhiễu. Ký hiệu gọi là ma trận đa thức đặc trưng (tương ứng với toán tử AR). Định lý 1.2.1 [9, tr.16-17] Cho là các ma trận sao cho đa thức đặc trưng không có nghiệm có mô đun nhỏ hơn hoặc bằng và là chuỗi véc tơ ngẫu nhiên độc lập cùng phân phối. Khi đó tồn tại một quá trình tự hồi quy dừng duy nhất có các ma trận hệ số tự hồi quy là cùng với là quá trình nhiễu sao cho , ở đây là ma trận hệ số trong khai triển Taylor . Ngược lại, nếu tồn tại một quá trình tự hồi quy dừng với các ma trận hệ số và quá trình nhiễu đồng thời có sự tồn tại nghịch đảo của ma trận hiệp phương sai thì tất yếu đa thức đặc trưng không có nghiệm có mô đun nhỏ hơn hoặc bằng . Nhận xét Ma trận trong khai triển Taylor có thể tính được xuất phát từ các ma trận theo công thức . Chú ý Từ nay về sau, khi nói đến quá trình tự hồi quy chúng ta ngầm hiểu là quá trình tự hồi quy dừng. Ta cũng chú ý là đa thức bậc tương ứng với quá trình tự hồi quy dừng AR. 1.2.3 Hàm tự hiệp phương sai của một quá trình dừng Đối với một quá trình ngẫu nhiên quy tâm dừng bậc hai , hàm được gọi là hàm tự hiệp phương sai của quá trình đó, trong trường hợp này nó là ma trận. Hàm tự hiệp phương sai đặc trưng cho cấu trúc bậc hai của quá trình và được xác định dưới dạng ma trận như sau Số hạng đôi khi được gọi là tự hiệp phương sai chéo, tương ứng với thành phần thứ và thứ lần lượt tại các thời điểm và . Tính chất Hàm hiệp phương sai có một tính chất hết sức quan trọng sử dụng nhiều trong ước lượng tham số là . (1.4) Chứng minh ( Kết quả của bản thân ) Ta có , suy ra . 1.2.4 Hệ phương trình Yule-Walker cho trường hợp nhiều chiều Khi tìm hiểu về ước lượng tham số trong mô hình tự hồi quy một chiều, chúng ta đã biết vai trò hết sức quan trọng của hệ phương trình Yule-Walker. Để làm cơ sở cho việc ước lượng tham số trong mô hình tự hồi quy nhiều chiều, trong phần này ta sẽ tìm cách xây dựng hệ phương trình Yule-Walker cho trường hợp nhiều chiều. Định lý 1.2.2 [9, tr.21] Hàm tự hiệp phương sai của một quá trình tự hồi quy cấp với các ma trận hệ số tự hồi quy và quá trình nhiễu có ma trận hiệp phương sai được xác định theo hệ phương trình Yule-Walker như sau (1.5a) (1.5b) Với là ma trận đơn vị cấp , còn là ma trận không. Chứng minh ( Kết quả của bản thân ) Nhân cả hai vế của với sau đó lấy kỳ vọng hai vế ta được . Vì nên ta có . Mặt khác lấy kỳ vọng hai vế của ta có , suy ra với và với . Thay vào ta có: Nhận xét Hàm tự hiệp phương sai của quá trình tự hồi quy có thể tính một cách đệ quy thông qua các giá trị đầu theo công thức (1.6) giá trị đầu tiên của hàm tự hiệp phương sai lại có thể tính được xuất phát từ và bằng cách giải hệ phương trình Yule-Walker (1.5a) với chú ý Ngược lại, ta cũng có thể xác định được các ma trận hệ số tự hồi quy của quá trình tự hồi quy AR và xuất phát từ các hàm tự hiệp phương sai bằng cách giải hệ phương trình Yule-Walker. Khi xem xét hàm tự hiệp phương sai, nếu là ma trận khối của các ma trận con với (1.7) tồn tại duy nhất ma trận nghịch đảo thì khi đó hệ phương trình Yule-Walker có thể viết dưới dạng sau , (1.8) ở đây là ma trận đơn vị cấp , còn là ma trận không. Hệ phương trình Yule-Walker là hệ phương trình cơ sở của mô hình tự hồi quy nhiều chiều. Hầu như tất cả các phương pháp ước lượng tham số của mô hình tự hồi quy nhiều chiều đều phải giải thông qua hệ phương trình này. Thường thì từ một chuỗi quan sát, ta sẽ ước lượng các hàm tự hiệp phương sai cuối cùng là giải hệ phương trình để tìm các hệ số của mô hình. Một điểm rất đáng lưu ý, hệ phương trình Yule-Walker có phương trình và ẩn, việc đó đòi hỏi một khối lượng tính toán rất lớn. Tuy nhiên do tính đặc biệt của các ma trận và ma trận không ở vế phải nên có thể có những phương pháp đặc biệt để giải hệ phương trình này hiệu quả hơn. Trong chương sau ta sẽ tìm hiểu cụ thể về vấn đề này. CHƯƠNG 2 ƯỚC LƯỢNG THAM SỐ TRONG MÔ HÌNH TỰ HỒI QUY NHIỀU CHIỀU Trong thực tế, chuỗi quan sát là dữ liệu duy nhất mà chúng ta có thông qua đo đạc. Thực tế cũng đòi hỏi chúng ta phải khai thác được những thông tin tiềm ẩn trong chuỗi thời gian đó. Việc mô hình hóa một chuỗi thời gian, nói cách khác là xây dựng một mô hình cho chuỗi thời gian đó, với hy vọng là mô hình đó phản ánh tương đối trung thực các cơ chế đã sinh ra chuỗi quan sát không những đáp ứng được nhu cầu thông tin mà còn hỗ trợ những quyết định điều khiển hay đưa ra những dự báo về các giá trị tương lai của chuỗi thời gian đó. Mô hình xây dựng cho một chuỗi thời gian nhiều chiều sẽ cho ta rất nhiều thông tin có giá trị vì nó phản một cách toàn diện hơn về đối tượng cần nghiên cứu. Tuy nhiên, việc nhận dạng và mô hình hoá một chuỗi thời gian nhiều chiều phức tạp hơn rất nhiều so với chuỗi thời gian một chiều về mặt tính toán cũng như các công cụ toán học. Với mục đích nghiên cứu về mô hình tự hồi quy nhiều chiều nên ở đây, khi có một chuỗi quan sát của thực tế, ta giả sử rằng nó là thể hiện của một quá trình tự hồi quy nhiều chiều quy tâm dừng bậc hai. Như vậy coi như kiểu mô hình đã được lựa chọn (đã nhận dạng được mô hình phù hợp là mô hình tự hồi quy) và công việc của chúng ta là phải ước lượng được các tham số chưa biết của mô hình đó. Sau này để xem xét tính hiệu quả của mô hình vừa xây dựng, ta sẽ dùng các chuỗi thời gian được mô phỏng từ bộ các tham số của một mô hình định trước làm đầu vào cho mô hình vừa xây dựng và các tham số ước lượng được từ mô hình của chúng ta sẽ được so sánh với bộ các tham số đã định trước này. Một điều đáng chú ý là trong hầu hết các phương pháp ước lượng tham số của mô hình tự hồi quy nhiều chiều, khái niệm tự hiệp phương sai riêng đóng vai trò hết sức quan trọng vì vậy trước hết ta sẽ tìm hiểu rõ về khái niệm này làm cơ sở cho việc ước lượng tham số. 2.1 HÀM TỰ HIỆP PHƯƠNG SAI RIÊNG CỦA QUÁ TRÌNH DỪNG Cho là một quá trình dừng bậc hai (không cần thiết phải tự hồi quy). Ta có thể định nghĩa các ma trận hệ số tự hồi quy tiến cấp , ký hiệu là , thông qua điều kiện véc tơ ngẫu nhiên . (2.1) Mỗi thành phần véc tơ hình chiếu trực giao trong không gian bình phương khả tích sinh ra các thành phần ( là thành phần thứ của ). gọi là dự báo tuyến tính tiến tốt nhất của trên cơ sở quan sát trước . Còn , , gọi là sai số dự báo tiến cấp . Khi đó ma trận sẽ là nghiệm của hệ phương trình . (2.2) Tương tự như vậy, nếu gọi là các ma trận hệ số tự hồi quy lùi cấp thì khi đó sai số dự báo lùi cấp được định nghĩa là . Ở đây (2.3) gọi là dự báo tuyến tính lùi tốt nhất của trên cơ sở quan sát sau nó và khi đó ta cũng có . (2.4) Chú ý Các hệ số tự hồi quy lùi của quá trình chính là các hệ số tự hồi quy tiến của quá trình Nếu như trong trường hợp một chiều các hệ số tự hồi quy tiến và lùi thực chất chỉ là một thì ở trường hợp nhiều chiều các hệ số tự hồi quy tiến không bằng cũng không trực tiếp gắn liền với các hệ số tự hồi quy lùi tương ứng với nó. Khi đó ma trận hiệp phương sai dư tiến và lùi ( và ) cũng khác nhau và thoả mãn các các hệ thức , (2.5a) (2.5b) Định nghĩa 2.1.1 ( Tự hiệp phương sai riêng ) [9, tr.27 ] Hàm tự hiệp phương sai riêng cấp của một quá trình dừng , ký hiệu là , được định nghĩa với mỗi như sau , (2.6) với quy ước . Chú ý là ma trận tự hiệp phương sai riêng giữa và trong tập , đồng thời ta có thể biểu diễn chúng thông qua hàm tự hiệp phương sai và các ma trận hệ số tự hồi quy tiến hoặc lùi bởi công thức . (2.7) Vì quá trình mà ta xét là quá trình tự hồi quy cấp nên với . Trong những phần sau, các đánh giá của có thể được sử dụng để thử nghiệm các giá trị của mô hình AR. Cuối cùng, chú ý rằng tự hiệp phương sai riêng đóng một vai trò rất quan trọng trong việc ước lượng tham số, kiểm định các giá trị của mô hình tự hồi quy và trong tính toán đệ quy các tham số tự hồi quy của mô hình. Sau đây chúng ta sẽ trình bày cụ thể phương pháp Durbin-Levinson, một phương pháp đại diện cho một lớp các phương pháp ước lượng tham số trong mô hình tự hồi quy nhiều chiều. Phần sau sẽ giới thiệu một số phương pháp khác, là những sự cải tiến từ phương pháp cơ sở của Durbin và Levinson. 2.2 PHƯƠNG PHÁP DURBIN-LEVINSON ƯỚC LƯỢNG THAM SỐ TRONG MÔ HÌNH TỰ HỒI QUY NHIỀU CHIỀU 2.2.1 Phương pháp Durbin-Levinson cho trường hợp một chiều Tư tưởng của phương pháp là việc ước lượng các tự tương quan mẫu từ chuỗi quan sát để thay thế cho tự tương quan lý thuyết rồi giải hệ phương trình Yule-Walker (1.2) để tìm các tham số của mô hình. Giả sử ta có quan sát là thể hiện của một quá trình tự hồi quy một chiều AR nào đó. Khi đó tự hiệp phương sai mẫu được định nghĩa theo hệ thức và . Còn tự tương quan mẫu được định nghĩa là với . Thuật toán Durbin-Levinson cho trường hợp một chiều , . Ở đây . 2.2.2 Phương pháp Durbin-Levinson cho trường hợp nhiều chiều Lấy ý tưởng từ trường hợp một chiều, trong trường hợp nhiều chiều, ta sẽ tìm cách ước lượng các tự hiệp phương sai từ chuỗi quan sát và giải hệ phương trình Yule-Walker cho trường hợp nhiều chiều để tìm các tham số của mô hình. Khi các ma trận tự hiệp phương sai dư tiến và lùi không suy biến, các ma trận hệ số tự hồi quy sẽ tồn tại duy nhất và có thể xác định được thông qua hàm tự hiệp phương sai , đó chính là cơ sở của thuật toán Durbin-Levinson. Thật vậy giả sử ta có quan sát là thể hiện của một quá trình tự hồi quy cấp với chiều. Ta sẽ ước lượng các giá trị tự hiệp phương sai theo công thức , (2.8) với chú ý . Khi đã có các giá trị ước lượng của hàm tự hiệp phương sai, ta thay chúng vào hệ phương trình Yule-Walker (1.8) rồi giải nó để tìm các tham số chưa biết của mô hình là và . Dưới đây là kết quả của thuật toán Levinson-Durbin. Thuật toán Levinson-Durbin Với ở đây, được xác định theo công thức (2.7) , với điều kiện đầu và . Nhận xét Nếu R(.) là hàm tự hiệp phương sai của một quá trình tự hồi quy cấp với các tham số và thì các ma trận hệ số tự hồi quy và ma trận hiệp phương sai dư cấp có liên hệ với nhau thông qua và nếu ; nếu đồng thời . Với , ta có nếu nếu và , từ đó suy ra với . Để và thì phải là hàm tự hiệp phương sai của quá trình tự hồi quy lùi cấp tương tự như (1.3) dưới đây (2.9) ở đây và là một nhiễu trắng độc lập với có ma trận hiệp phương sai là . Trong trường hợp vô hướng thuật toán có thể được đơn giản hoá vì khi đó . Và ta có . là hiệp phương sai giữa và còn được gọi là tự tương quan riêng cấp . Chú ý rằng giá trị chính xác đôi khi được gọi là hệ số phản xạ cấp . Việc ước lượng cũng có thể giải quyết cho trường hợp ma trận suy biến thông qua định nghĩa về ma trận nghịch đảo mở rộng [9]. Người ta có thể viết hệ phương trình Yule-Walker thông qua mô hình tự hồi quy tiến và lùi dưới dạng ma trận rút gọn sau , (2.10) ở đây được định nghĩa trong (1.7). Chú ý là hệ phương trình tuyến tính này gắn liền với việc cựu tiểu hoá (tr là vết của ma trận) tương ứng với các tham số tự hồi quy tiến còn tương ứng với các tham số tự hồi quy lùi. Thuật toán Levinson-Durbin mở rộng, là giải pháp kết hợp hai đánh giá trên, tương ứng với các tham số của mô hình tự hồi quy. Trong một số tài liệu, thuật toán Levinson-Durbin mở rộng còn được gọi là thuật toán Levinson-Wiggins-Robinson (LWR), nó có vai trò hết sức quan trọng trong lớp các thuật toán ước lượng tham số của mô hình tự hồi quy. Định nghĩa 2.2.1 ( Ma trận xác định dương ) [6, tr.64] Ma trận là ma trận đối xứng cấp được gọi là ma trận xác định dương nếu , với mọi là véc tơ chiều khác véc tơ không. Định nghĩa 2.2.2 ( Ma trận căn bậc hai ) [6, tr.67] Ma trận tam giác dưới gọi là ma trận căn bậc hai của ma trận xác định dương nếu nó thoả mãn hệ thức , với gọi là toán tử chuyển vị và phân tích này gọi là phân tích Cholesky. Với định nghĩa đó, thuật toán có thể biểu diễn dưới dạng chuẩn như sau. Thuật toán Levinson-Durbin dạng chuẩn Với ở đây, được xác định theo công thức (2.7) , với điều kiện đầu và . Ma trận xác định trong thuật toán được gọi là tự tương quan riêng cấp của quá trình tự hồi quy . 2.2.3 Nhận xét và kết luận Trong phương pháp Durbin-Levinson, thuật toán ở dạng chuẩn cũng đã thiết lập một song ánh giữa tập và Nếu chuỗi các tự hiệp phương sai thực sự đã biết, thì chúng ta có thể thu được những tham số tương ứng duy nhất trong miền tham số tự hồi quy và hoặc trong miền các hệ số phản xạ và . Như chúng ta đã nói, cơ sở của phương pháp Durbin-Levinson là khi các ma trận tự hiệp phương sai dư tiến và lùi không suy biến, các ma trận hệ số tự hồi quy sẽ tồn tại duy nhất và có thể xác định được thông qua hàm tự hiệp phương sai . Tức là ta phải ước lượng được các tự hiệp phương sai theo công thức (2.8) rồi dùng hệ phương trình Yule-Walker để điều chỉnh dần các tham số của mô hình. Việc ước lượng thô theo (2.8) sẽ làm cho thuật toán không có được sự ổn định cao. 2.3 CÁC PHƯƠNG PHÁP KHÁC ƯỚC LƯỢNG THAM SỐ TRONG MÔ HÌNH TỰ HỒI QUY NHIỀU CHIỀU 2.3.1 Phương pháp bình phương tối thiểu Giả sử ta có một quan sát là thể hiện của một quá trình tự hồi quy cấp . Khi đó sai số dự báo tuyến tính tiến được định nghĩa theo hệ thức sau (chú ý là . Tương tự như vậy sai số dự báo tuyến tính lùi với được định nghĩa là . Phương pháp này dựa trên tiêu chuẩn bình phương cực tiểu để ước lượng các tham số của mô hình AR, ở đây sẽ cực tiểu theo các tiêu chuẩn . Nếu đặt , thì các tham số của mô hình có thể tìm được bằng cách giải hệ phương trình chuẩn sau , . Ở đây , và . 2.3.2 Phương pháp R. H. Jones Với một quan sát là thể hiện của một quá trình tự hồi quy cấp , trong chương hai ta có sai số dự báo tiến và lùi lần lượt là , (2.11a) . (2.11b) Để ước lượng được các tham số của mô hình AR ta sẽ dựa vào tiêu chuẩn cực tiểu hoá đối với các tham số tự hồi quy của mô hình AR với ràng buộc là các tham số đó thoả mãn thuật toán Durbin-Levinson cho tất cả bậc từ đến của mô hình. Chính ràng buộc này đã đảm bảo tính ổn định cao hơn cho các tham số của mô hình. Khác với các phương pháp đã trình bày ở trên, trong phương pháp này chúng ta sẽ không trực tiếp ước lượng tự hiệp phương sai của quan sát ban đầu. Giả sử chúng ta đã ước lượng được các tham số của mô hình bậc là , Khi đó ta sẽ dùng thuật toán ở dạng đệ để tính các tham số của mô hình bậc . Thuật toán được mô tả cụ thể như sau. Thuật toán R. H. Jones Khởi tạo . Nếu lặp Tính , , . Nếu dừng thuật toán, ngược lại tính . Với có được bằng cách giải phương trình , ở đây , , . 2.3.3 Giới thiệu một số phương pháp khác CHƯƠNG 3 PHƯƠNG PHÁP BRADLEY W. DICKINSON ƯỚC LƯỢNG THAM SỐ TRONG MÔ HÌNH TỰ HỒI QUY NHIỀU CHIỀU Trong chương hai chúng ta đã tìm hiểu một số phương pháp ước tham số trong mô hình tự hồi quy nhiều chiều. Trong chương này, ta sẽ trình bày một phương pháp ước lượng tham số khác do B. W. Dickinson đưa ra năm 1979. Đây là phương pháp ước lượng dựa trên cơ sở ước lượng ma trận tự tương quan riêng của một quá trình dừng sử dụng phân tích Cholesky. Ước lượng này sẽ đưa ra mô hình tự hồi quy nhiều chiều từng giai đoạn cho dữ liệu quan sát và ước lượng hàm tự tương quan riêng xác định dương. 3.1 GIỚI THIỆU Chúng ta luôn có mong muốn tìm một quá trình tự hồi quy nhiều chiều phù hợp với chuỗi thời gian nhiều chiều quan sát được và cách tiếp cận này nhận được rất nhiều sự quan tâm bởi vì nó có thể mang lại sự ổn định cao. Chúng ta mong muốn đảm bảo rằng mô hình phù hợp sẽ là mô hình cực tiểu pha, hàm tự tương quan ước lượng được là một ma trận xác định dương. Điều này có thể đạt được nếu và chỉ nếu quá trình tự hồi quy ước lượng có ma trận tương quan riêng với mô đun bé hơn . Ước lượng ở đây sẽ thoả mãn yêu cầu đó. Phương pháp của chúng ta là một sự cải tiến của phương pháp Durbin-Levison, đó là việc dùng phân tích Cholesky trong ước lượng tự tương quan riêng. Phương pháp bình phương cực tiểu được sử dụng để phù hợp quá trình tự hồi quy với bậc tăng dần. Trước khi đi vào tìm hiểu về phương pháp ta sẽ nhắc lại một số kiến thức toán học bổ sung cho quá trình xây dựng phương pháp. 3.2 XÂY DỰNG THUẬT TOÁN Giả sử là một quá trình ngẫu nhiên dừng, kỳ vọng không, với hàm tự hiệp phương sai xác định dương được xác định bởi công thức . (3.1) Khi đó ước lượng tuyến tính tiến tốt nhất của và ước lượng tuyến tính lùi tốt nhất dựa trên một bộ quan sát lần lượt là (3.2a) (3.2b) sẽ được xác định theo hệ phương trình chuẩn (3.3a) . (3.3b) Sai số dự báo tiến và lùi được xác định theo công thức , (3.4a) (3.4b) thoả mãn (3.5a) . (3.5b) Khi đó hàm tự tương quan riêng được định nghĩa là . (3.6) Ở đây ta nhận thấy có sự tương ứng một-một giữa hai tập hợp và Thuật toán ước lượng tham số của Dickinson Ở đây , . Vấn đề của chúng ta là phải ước lượng được tự tương quan riêng trong thuật toán đệ quy ở trên. Từ công thức trên ta có thể tính tự tương quan riêng theo . 3.3 ƯỚC LƯỢNG TỰ TƯƠNG QUAN RIÊNG SỬ DỤNG ƯỚC LƯỢNG BÌNH PHƯƠNG CỰC TIỂU VÀ PHÂN TÍCH CHOLESKY Giả sử là quan sát của một chuỗi thời gian chiều. Để tìm một mô hình tự hồi quy cấp phù hợp với dữ liệu của chuỗi thời gian đó ta muốn tìm cách ước lượng ma trận tự tương quan riêng cấp . Điều này có thể đạt được bằng cách sử dụng các tiêu chuẩn , , ở đây , , với . Giả sử và là các ước lượng hợp lý nhất của và . Khi đó các ước lượng hợp lý nhất và sẽ có được bằng cách thay thế và bởi và trong [ ……. ]. Từ đó các tiêu chuẩn [ …] có thể đạt được bằng cách giải hệ phương trình . Ở đây , , Và . Kết quả của hệ phương trình đó có thể được biểu diễn theo các công thức dưới đây , , với , . Tự tương quan lúc này có thể đạt được theo công thức . Ta nhận thấy rằng chuỗi các ma trận và không giảm theo nghĩa của một ma trận xác định dương đúng như các chuỗi lý thuyết và tương ứng. Công thức [ …] không chỉ cho ta dạng của hàm tự tương quan riêng mà nó còn đảm bảo những giá trị suy biến sẽ giảm hơn sô với những ước lượng khác hiểu theo nghĩa mô đun. Chính ước lượng này đã dẫn đến độ ổn định cao hơn trong việc ước lượng các tham số của mô hình tự hồi quy. Bây giờ chúng ta xây dựng thủ tục ước lượng tự tương quan riêng. Giả sử rằng chúng ta có phân tích Cholesky của cho bởi , với là ma trận tam giác dưới. Chúng ta có thể ước lượng các ma trận hệ số và bằng cách tính toán thông qua các giá trị trung gian và thoả mãn . Và ước lượng sẽ thoả mãn , . Để tiếp tục quá trình ước lượng và thu được và ta phải có được . Điều này có được một cách dễ dàng bởi vì ma trận là phần chính của ma trận để , ở đây . Từ ………….. ta có . Thay thế bằng trong …… ta có . Khi đó ……… trở thành . Từ … và ….. ta có , Và sau khi tính toán ta được . Cuối cùng ước lượng tự tương quan riêng có thể đạt được theo thuật toán sau: Tính phân tích Cholesky theo . Giải hệ phương trình tuyến tính . Tính các giá trị đầu vào . Đối với tính , . Từ .....và …….ta có . ………………………. Và cuối cùng chính là ước lượng cho thoả mãn công thức ………. 3.4 KẾT QUẢ CỦA THUẬT TOÁN 3.5 NHẬN XÉT VÀ KẾT LUẬN KẾT LUẬN PHỤ LỤC TÀI LIỆU THAM KHẢO [1] Nguyễn Hồ Quỳnh (2000), Chuỗi thời gian mô phỏng và nhận dạng, ĐHBK Hà Nội. [2] George E. P. Box, Gwilym M. Jenkins (1970), Time Series Analysis Forecasting and Control, Holden-Day, San Francisco, Caliornia. [3] Peter J. Brockwell, Richard A. Davis (1996), Introduction to Time Series and Forecasting, Springer-Veriag, New York. [4] Bradley W. Dickinson (1978), “Autoregressive Estimation Using Residual Energy Ratios”, [5] Bradley W. Dickinson (1979), “Estimation of Partial Correlation Matrices Using Cholesky Decomposition”, [6] Richard A. Johnson, Dean W. Wichern (1998), Applied Multivariate Statistical Analysis, Prentice Hall, New Jersey. ……………. [7] Richard H. Jones (1978), “Multivariate Autoregression Estimation Using Residuals”, ……….. [8] Steven M. Kay (1983), “Recursive Maximum Likelihood Estimation of Autoregressive Processes”,…. [9] Tống Đình Quỳ (1991), Methodes D’estimation de Parametres de Modeles Autoregressifs Multivaries, Institut IMAG.