Tiểu luận Mô hình hồi quy bội

Chương I - Nội dung mô hình hồi quy bội 1 .Xây dựng mô hình 1.1 .Giới thiệu Mô hình hồi quy hai biến mà chúng ta đã nghiên cứu ở chương 3 thường không đủ khả năng giải thích hành vi của biến phụ thuộc. Ở chương 3 chúng ta nói tiêu dùng phụ thuộc vào thu nhập khả dụng, tuy nhiên có nhiều yếu tố khác cũng tác động lên tiêu dùng, ví dụ độ tuổi, mức độ lạc quan vào nền kinh tế, nghề nghiệp… Vì thế chúng ta cần bổ sung thêm biến giải thích(biến độc lập) vào mô hình hồi quy. Mô hình với một biến phụ thuộc với hai hoặc nhiều biến độc lập được gọi là hồi quy bội. Chúng ta chỉ xem xét hồi quy tuyến tính bội với mô hình tuyến tính với trong tham số, không nhất thiết tuyến tính trong biến số. Mô hình hồi quy bội cho tổng thể (4.1) Với X2,i, X3,i,…,Xk,i là giá trị các biến độc lập ứng với quan sát i b2, b2, b3,…, bk là các tham số của hồi quy ei là sai số của hồi quy Với một quan sát i, chúng ta xác định giá trị kỳ vọng của Yi (4.2) 1.2.Ý nghĩa của tham số Các hệ số b được gọi là các hệ số hồi quy riêng (4.3) bk đo lường tác động riêng phần của biến Xm lên Y với điều kiện các biến số khác trong mô hình không đổi. Cụ thể hơn nếu các biến khác trong mô hình không đổi, giá trị kỳ vọng của Y sẽ tăng bm đơn vị nếu Xm tăng 1 đơn vị. 1.3. Giả định của mô hình Sử dụng các giả định của mô hình hồi quy hai biến, chúng ta bổ sung thêm giả định sau: Các biến độc lập của mô hình không có sự phụ thuộc tuyến tính hoàn hảo, nghĩa là không thể tìm được bộ số thực (l1,l2,...,lk) sao cho với mọi i. Giả định này còn được được phát biểu là “ không có sự đa cộng tuyến hoàn hảo trong mô hình”. Số quan sát n phải lớn hơn số tham số cần ước lượng k. Biến độc lập Xi phải có sự biến thiên từ quan sát này qua quan sát khác hay Var(Xi)>0. 2.Ước lượng tham số của mô hình hồi quy bội 2.1.Hàm hồi quy mẫu và ước lượng tham số theo phương pháp bình phương tối thiểu Trong thực tế chúng ta thường chỉ có dữ liệu từ mẫu. Từ số liệu mẫu chúng ta ước lượng hồi quy tổng thể. Hàm hồi quy mẫu (4.4) Với các là ước lượng của tham số bm. Chúng ta trông đợi là ước lượng không chệch của bm, hơn nữa phải là một ước lượng hiệu quả. Với một số giả định chặt chẽ như ở mục 3.3.1 chương 3 và phần bổ sung ở 4.1, thì phương pháp tối thiểu tổng bình phương phần dư cho kết quả ước lượng hiệu quả bm. Phương pháp bình phương tối thiểu Chọn b1, b2, …, bk sao cho (4.5) đạt cực tiểu. Điều kiện cực trị của (4.5) (4.6) Hệ phương trình (4.6) được gọi là hệ phương trình chuẩn của hồi quy mẫu (4.4). Cách giải hệ phương trình (4.4) gọn gàng nhất là dùng ma trận. Do giới hạn của chương trình, bài giảng này không trình bày thuật toán ma trận mà chỉ trình bày kết quả tính toán cho hồi quy bội đơn giản nhất là hồi quy ba biến với hai biến độc lập. Một số tính chất của hồi quy ta thấy được ở hồi quy hai biến độc lập có thể áp dụng cho hồi quy bội tổng quát. 2.2.Ước lượng tham số cho mô hình hồi quy ba biến Hàm hồi quy tổng thể (4.7) Hàm hồi quy mẫu (4.8) Nhắc lại các giả định Kỳ vọng của sai số hồi quy bằng 0: Không tự tương quan: , i≠j Phương sai đồng nhất: Không có tương quan giữa sai số và từng Xm: Không có sự đa cộng tuyến hoàn hảo giữa X2 và X3. Dạng hàm của mô hình được xác định một cách đúng đắn. Với các giả định này, dùng phương pháp bình phương tối thiểu ta nhận được ước lượng các hệ số như sau. (4.10) (4.11) (4.12) 2.3. Phân phối của ước lượng tham số Trong phần này chúng ta chỉ quan tâm đến phân phối của các hệ số ước lựơng và . Hơn nữa vì sự tương tự trong công thức xác định các hệ số ước lượng nên chúng ta chỉ khảo sát . Ở đây chỉ trình bày kết quả . là một ước lượng không chệch : (4.13) (4.14) Nhắc lại hệ số tương quan giữa X2 và X3 : Đặt = r23 biến đổi đại số (4.14) ta được (4.15) Từ các biểu thức (4.13) và (4.15) chúng ta có thể rút ra một số kết luận như sau: Nếu X2 và X3 có tương quan tuyến tính hoàn hảo thì =1. Hệ quả là vô cùng lớn hay ta không thể xác định được hệ số của mô hình hồi quy. Nếu X2 và X3 không tương quan tuyến tính hoàn hảo nhưng có tương quan tuyến tính cao thì ước lượng vẫn không chệch nhưng không hiệu quả. Những nhận định trên đúng cho cả hồi quy nhiều hơn ba biến. 3. và Nhắc lại khái niệm về : Một mô hình có lớn thì tổng bình phương sai số dự báo nhỏ hay nói cách khác độ phù hợp của mô hình đối với dữ liệu càng lớn. Tuy nhiên một tính chất đặc trưng quan trọng của là nó có xu hướng tăng khi số biến giải thích trong mô hình tăng lên. Nếu chỉ đơn thuần chọn tiêu chí là chọn mô hình có cao, người ta có xu hướng đưa rất nhiều biến độc lập vào mô hình trong khi tác động riêng phần của các biến đưa vào đối với biến phụ thuộc không có ý nghĩa thống kê. Để hiệu chỉnh phạt việc đưa thêm biến vào mô hình, người ra đưa ra trị thống kê hiệu chỉnh(Adjusted ) (4.16) Với n là số quan sát và k là số hệ số cần ước lượng trong mô hình. Qua thao tác hiệu chỉnh này thì chỉ những biến thực sự làm tăng khả năng giải thích của mô hình mới xứng đáng được đưa vào mô hình. 4. Kiểm định mức ý nghĩa chung của mô hình Trong hồi quy bội, mô hình được cho là không có sức mạnh giải thích khi toàn bộ các hệ số hồi quy riêng phần đều bằng không. Giả thiết H0: b2 = b3 = … = bk = 0 H1: Không phải tất cả các hệ số đồng thời bằng không. Trị thống kê kiểm định H0: Quy tắc quyết định Nếu Ftt > F(k-1,n-k,a) thì bác bỏ H0. Nếu Ftt ≤ F(k-1,n-k,a) thì không thể bác bỏ H0. 5.Quan hệ giữa R2 và F 6. Ước lượng khoảng và kiểm định giả thiết thống kê cho hệ số hồi quy Ước lượng phương sai của sai số (4.17) Người ta chứng minh được là ước lượng không chệch của s2, hay . Nếu các sai số tuân theo phân phối chuẩn thì . Ký hiệu . Ta có trị thống kê Ước lượng khoảng cho bm với mức ý nghĩa a là (4.18) Thông thường chúng ta muốn kiểm định giả thiết H0 là biến Xm không có tác động riêng phần lên Y. H0 : bm = 0 H1 : bm ≠ 0 Quy tắc quyết định Nếu /t-stat/ > t(n-k,a/2) thì ta bác bỏ H0. Nếu /t-stat/≤ t(n-k,a/2) thì ta không thể bác bỏ H0. 7. Biến phân loại (Biến giả-Dummy variable) Trong các mô hình hồi quy mà chúng ta đã khảo sát từ đầu chương 3 đến đây đều dựa trên biến độc lập và biến phụ thuộc đều là biến định lượng. Thực ra mô hình hồi quy cho phép sử dụng biến độc lập và cả biến phụ thuộc là biến định tính. Trong giới hạn chương trình chúng ta chỉ xét biến phụ thuộc là biến định lượng. Trong phần này chúng ta khảo sát mô hình hồi quy có biến định tính. Đối với biến định tính chỉ có thể phân lớp, một quan sát chỉ có thể rơi vào một lớp. Một số biến định tính có hai lớp như: Biến định tính Lớp 1 Lớp 2 Giới tính Nữ Nam Vùng Thành thị Nông thôn Tôn giáo Có Không Tốt nghiệp đại học Đã Chưa Bảng 4.1. Biến nhị phân Người ta thường gán giá trị 1 cho một lớp và giá trị 0 cho lớp còn lại. Ví dụ ta ký hiệu S là giới tính với S =1 nếu là nữ và S = 0 nếu là nam. Các biến định tính được gán giá trị 0 và 1 như trên được gọi là biến giả(dummy variable), biến nhị phân, biến phân loại hay biến định tính. 7.1. Hồi quy với một biến định lượng và một biến phân loại Ví dụ 4.1. Ở ví dụ này chúng ta hồi quy tiêu dùng cho gạo theo quy mô hộ có xem xét hộ đó ở thành thị hay nông thôn. Mô hình kinh tế lượng như sau: Yi = b1 + b2X i+ b3Di + ei(4.19)Y: Chi tiêu cho gạo, ngàn đồng/năm X : Quy mô hộ gia đình, người D: Biến phân loại, D = 1 nếu hộ ở thành thị, bằng D = 0 nếu hộ ở nông thôn. Chúng ta muốn xem xét xem có sự khác biệt trong tiêu dùng gạo giữa thành thị và nông thôn hay không ứng với một quy mô hộ gia đình Xi xác định. Đối với hộ ở nông thôn (4.20) Đối với hộ ở thành thị (4.21) Vậy sự chênh lệch trong tiêu dùng gạo giữa thành thị và nông thôn như sau (4.22) Sự khác biệt trong tiêu dùng gạo giữa thành thị và nông thôn chỉ có ý nghĩa thống kê khi b3 khác không có ý nghĩa thống kê. Chúng ta đã có phương trình hồi quy như sau Y = 187 + 508*X - 557*D (4.23) t-stat [0,5] [6,4] [-2,2] R2 hiệu chỉnh = 0,61 Hệ số hồi quy khác không với độ tin cậy 95%. Vậy chúng ta không thể bác bỏ được sự khác biệt trong tiêu dùng gạo giữa thành thị và nông thôn. Chúng ta sẽ thấy tác động của làm cho tung độ gốc của phuơng trình hồi quy của thành thị và nông thôn sai biệt nhau một khoảng b3 = -557 ngàn đồng/năm. Cụ thể ứng với một quy mô hộ gia đình thì hộ ở thành thị tiêu dùng gạo ít hơn hộ ở nông thôn 557 ngàn đồng/năm.Chúng ta sẽ thấy điều này một cách trực quan qua đồ thị sau: Hình 4.1. Hồi quy với một biến định lượng và một biến phân loại. 7.2. Hồi quy với một biến định lượng và một biến phân loại có nhiều hơn hai phân lớp Ví dụ 4.2. Giả sử chúng ta muốn ước lượng tiền lương được quyết định bởi số năm kinh nghiệm công tác và trình độ học vấn như thế nào. Gọi Y : Tiền lương X : Số năm kinh nghiệm D: Học vấn. Giả sử chúng ta phân loại học vấn như sau : chưa tốt nghiệp đại học, đại học và sau đại học. Phuơng án 1: Di = 0 nếu chưa tốt nghiệp đại học Di = 1 nếu tốt nghiệp đại học Di =2 nếu có trình độ sau đại học Cách đặt biến này đưa ra giả định quá mạnh là phần đóng góp của học vấn vào tiền lương của người có trình độ sau đại học lớn gấp hai lần đóng góp của học vấn đối với người có trình độ đại học. Mục tiêu của chúng ta khi đưa ra biến D chỉ là phân loại nên ta không chọn phương án này. Phương án 2: Đặt bộ biến giả D1iD2i Học vấn 00 Chưa đại học 10 Đại học 01 Sau đại học Mô hình hồi quy Yi = b1 + b2X + b3D1i + b4D2i + ei(4.24) Khai triển của mô hình (4.24) như sau Đối với người chưa tốt nghiệp đại học E(Yi )= b1 + b2X (4.25) Đối với người có trình độ đại học E(Yi )= (b1 + b3)+ b2X3(4.26) Đối với người có trình độ sau đại học E(Yi )= (b1 + b3+ b4 )+ b2X (4.27) 7.3. Cái bẩy của biến giả Số lớp của biến phân loạiSố biến giả Trong ví dụ 4.1. 21 Trong ví dụ 4.232 Điều gì xảy ra nếu chúng ta xây dựng số biến giả đúng bằng số phân lớp? Ví dụ 4.3. Xét lại ví dụ 4.1. Giả sử chúng ta đặt biến giả như sau D1iD2iVùng 10Thành thị 01Nông thôn Mô hình hồi quy là Yi = b1 + b2X i+ b3D1i + b4D2i +ei(4.28) Chúng ta hãy xem kết quả hồi quy bằng Excel Coefficients Standard Error t Stat P-value Intercept 2235,533 0 65535 #NUM! X 508,1297 80,36980143 6,322396 1,08E-06 D1 -2605,52 0 65535 #NUM! D2 -2048 0 65535 #NUM! Kết quả hồi quy rất bất thường và hoàn toàn không có ý nghĩa kinh tế. Lý do là có sự đa cộng tuyến hoàn hảo giữa D1, D2 và một biến hằng X2 =-1. D1i + D2i + X2 = 0 . Hiện tượng đa cộng tuyến hoàn hảo này làm cho hệ phương trình chuẩn không có lời giải. Thực tế sai số chuẩn tiến đến vô cùng chứ không phải tiến đến 0 như kết quả tính toán của Excel. Hiện tượng này được gọi là cái bẩy của biến giả. Quy tắc: Nếu một biến phân loại có k lớp thì chỉ sử dụng (k-1) biến giả. 7.4. Hồi quy với nhiều biến phân loại Ví dụ 4.4. Tiếp tục ví dụ 4.2. Chúng ta muốn khảo sát thêm có sự phân biệt đối xử trong mức lương giữa nam và nữ hay không. Đặt thêm biến và đặt lại tên biến GTi: Giới tính, 0 cho nữ và 1 cho nam. TL : Tiền lương KN: Số năm kinh nghiệm làm việc ĐH: Bằng 1 nếu tốt nghiệp đại học và 0 cho chưa tốt nghiệp đại học SĐH: Bằng 1 nếu có trình độ sau đại học và 0 cho chưa. Mô hình hồi quy TLi = b1 + b2KNi + b3ĐHi + b4SĐHi +b5GTi+ ei(4.29) Chúng ta xét tiền lương của nữ có trình độ sau đại học E(TLi /SĐH=1∩GT=0)= (b1 + b4)+ b2KNi 7.5. Biến tương tác Xét lại ví dụ 4.1. Xét quan hệ giữa tiêu dùng gạo và quy mô hộ gia đình.Để cho đơn giản trong trình bày chúng ta sử dụng hàm toán như sau. Nông thôn: Y = a1 + b1X Thành thị: Y = a2 + b2X D : Biến phân loại, bằng 1 nếu hộ ở thành thị và bằng 0 nếu hộ ở nông thôn. Có bốn trường hợp có thể xảy ra như sau a1=a2 và b1= b2, hay không có sự khác biệt trong tiêu dùng gạo giữa thành thị và nông thôn. Mô hình : Y = a + b X Trong đó a1=a2 = a và b1= b2 = b. a1≠a2 và b1= b2, hay có sự khác biệt về tung độ gốc Mô hình: Y = a + bX + cD Trong đó a1 = a, a2 = a + c và b1 = b2 = b. a1=a2 và b1≠ b2, hay có sự khác biệt về độ dốc Mô hình: Y = a + bX + c(DX) Trong đó DX = X nếu nếu D =1 và DX = 0 nếu D = 0 a1 = a2 = a , b1 = b và b2 = b + c. a1≠a2 và b1≠ b2, hay có sự khác biệt hoàn toàn về cả tung độ gốc và độ dốc. Mô hình: Y = a + bX + cD + d(DX) a1 = a , a2 = a + c, b1 = b và b2 = b + d. Quy mô hộ, X a. Mô hình đồng nhất a1=a2 b1 = b2 Tiêu dùng gạo, Y Tiêu dùng gạo, Y Quy mô hộ, X b. Mô hình song song a1 a2 b1 = b2 Quy mô hộ, X d. Mô hình phân biệt Tiêu dùng gạo, Y Tiêu dùng gạo, Y a1=a2 b1 b2 1 a2 a1 b1 b2 Quy mô hộ X c. Mô hình đồng quy Hình 4.2. Các mô hình hồi quy Biến DX được xây dựng như trên được gọi là biến tương tác. Tổng quát nếu Xp là một biến định lượng và Dq là một biến giả thì XpDq là một biến tương tác. Một mô hình hồi quy tuyến tổng quát có thể có nhiều biến định lượng, nhiều biến định tính và một số biến tương tác. Chương II - Phương pháp lập mô hình , phân tích và dự báo hiện tượng kinh tế bằng Eviews Bảng dưới đây cho các giá trị quan sát về thu nhập (Y-USD/đầu người ), tỉ lệ lao động nông nghiệp (X1 - %) và số năm trung bình được đào tạo đối với những người trên 25 tuổi (X2 – năm ) Y X1 X2 6 9 8 8 10 13 8 8 11 7 7 10 7 10 12 12 4 16 9 5 10 8 5 10 9 6 12 10 8 14 10 7 12 11 4 16 9 9 14 10 5 10 11 8 12 Khởi động Eviews , từ cửa sổ Eviews chọn File – New – Workfile Hộp thoại mở Workfiel như sau : Trong Workfile Range ta chọn Undated or irregular . Trong phần Range : Start date nhập 1 và End date nhập 15 . Sau đó click Ok cửa sổ mới sẽ xuất hiện là Workfile Untitled . Để nhập dữ liệu , từ cửa sổ Eview chọn Quick/Empty group, một cửa sổ sẽ xuất hiện với tên Group: Untitled –Workfile : Untitled. Sau đó nhập số liệu của 3 biến Y,X1,X2 vào và lưu tên là Group 1 . 1). Tìm hàm hồi quy tuyến tính mẫu của Y theo X1 và X2 Từ cửa sổ Eviews chọn Quick rồi chọn tiếp Estimate Equation .Sau khi nhấp chuột chọn Estimate Equation , màn hình sẽ xuất hiện cửa sổ Equation Specification . Trong khung Equation Specification gõ Y c X1 X2 . Gõ xong lệnh này thì cửa sổ như sau : nhấp Ok , kết quả phân tích hồi quy sẽ xuất hiện như sau : Từ kết quả trên ta biết được các hệ số hồi quy : = 6.20298 , = -0.376164 , = 0.452514 từ cửa sổ Equation : Untitled Workfile : Untiled ta chọn View Representations . Một cửa sổ mới xuất hiện là Phương Trình : =6.202979516 - 0.3761638734*X1 + 0.4525139665*X2 chính là phương trình hồi quy tuyến tính mẫu . 2). Tìm ước lượng phương sai của sai số ngẫu nhiên Từ bảng Equation : untitled Workfile Untitled ta có S.E. of regression 1.01126491828 Đây chính là =1.011265. Từ đây ta suy ra ==1.0226569 3) Ước lượng sai số chuẩn của các hệ số hồi quy Từ bảng Equation : untitled Workfile :Untitled ta có : Variable Std. Error C 1.86225321921 X1 0.132723756455 X2 0.119511151331 Suy ra := 1.862253 , = 0.132724 , = 0.129511 4)Khoảng tin cậy đối xứng của các hệ số hồi quy với độ tin cậy 95% Để tìm cận trên và cận dưới của dự báo khoảng các hệ số hồi quy . Ta vào excel sau đó gõ lệnh: = t0.025(12)= 2.178813 Ta có khoảng ước lượng của là : =6.202982.178813*1.862253=(2.145478,10.26048) Tương tự ta có khoảng ước lượng của là (-0.6653441, -0.0869837) và là (0.1921215,0.7129064) 5)Kiểm định các giả thiết với mức ý nghĩa 5% TH1 : đặt giả thiết : , với mức ý nghĩa 5% thì ta bác bỏ giả thiết vì Prob = 0.01505829972 <0.05 TH2: đặt giả thiết : , với mức ý nghĩa 5% thì ta cũng bác bỏ giả thiết vì Prob= 0.00259331120962<0.05 6) Tìm hệ số và TỪ Equation : untitled Workfile : Untitled ta có R-squared : 0.693202979516 Adjusted R-squared =: 0.642070142768 7). Phải chăng cả 2 yếu tố “ tỉ lệ lao động nông nghiệp “ và “số năm được đào tạo “đều không ảnh hưởng tới thu nhập ? Gỉa thiết : Từ bảng Equation : untitled Workfile :untitled ta có : F-statistic :F 13.5569044006 Prob(F-statistic) : P(F>13.5569044006) 0.000833886274214 Do p=0.000833886274214 rất nhỏ nên ta bác bỏ giả thiết Như vậy không phải cả 2 yếu tố ‘tỷ lệ lao động nông nghiệp “ và “số năm được đào tạo “đều không ảnh hưởng tới thu nhập . 8)Tìm Ma trận tương quan để tìm ma trận tương quan từ cửa sổ Workfile ta đánh dấu khối vào 3 biến Y,X1,X2 sau đó chọn Quick/ Group Statistics/ Correlations . Nhấp chuột ta được kết quả sau : 9) Tìm Ma trận hiệp phương sai để tìm ma trận hiệp phương sai của hệ số hồi quy , ta tìm hàm hồi quy tuyến tính mẫu sau đó chọn View -> Covariances Matrix . Nhấp chuột ta được kết quả sau : 10) Kiểm định White (có phương sai thay đổi trong mô hình không ) Giả thiết : là hằng số không phải là hằng số để thực hiện kiểm định White ,sau khi ước lượng hàm hồi quy tuyến tính mẫu từ cửa số Equation : EQ01 ta chọn View/residual tests/*White Heteroskedasticity (cross terms) .Sau khi nhấp chuột , bảng kiểm định White xuất hiện như sau với mức ý nghĩa 5% ta có n=2.404736 VÀ p-value là 0.790769 lớn hơn nhiều so với mức ý nghĩa =5% nên ta không có cơ sở công nhận giả thiết H1nên ta chấp nhận giả thiết H0 tức là là một hằng số ( nghĩa lá ko có hiện tượng phương sai thay đổi ). 11)Kiểm định phân phối chuẩn Giả thiết : : mô hình đang xét có phân phối chuẩn : mô hình đang xét không có phân phối chuẩn View -> Residual Test -> Histogram-Normality Test Từ bảng trên ta có JB=3.545399 và xác suất p-value = 0.169874 khá lớn nên ta không có cơ sở công nhân giả thiết nên ta tạm thời chấp nhận giả thiết. Nghĩa là mô hình ta đang xét có phân phối chuẩn . 12) Kiểm định BG ( có hiện tượng tự tương quan bậc 1 hay không ) giả thiết : : mô hình đang xét có hiện tượng tự tương quan bậc 1 : mô hình đang xét có hiện tượng tương quan bậc 2 Sau khi có mô hình hồi quy tuyến tính ta chọn View/Residual Tests/Correlation LM Test . Nhấp chuột một cửa sổ sẽ xuất hiện : Trong khung Lag to include của cửa sổ Lag Sprecification ta cần chọn bậc tự tương quan .Trong mô hình này ta chọn bằng 1 .Rồi nhấp Ok ,bảng kết quả sẽ xuất hiện : Ta có n=5.972927 , và có xác suất p-value là 0.050466 xấp xỉ bằng mức ý nghĩa =5% nên ta ko có cơ sở công nhận giả thiết nên ta tạm thời chấp nhận giả thiết . nghĩa là tồn tại tương quan bậc 1 . Tài liệu tham khảo 1 . Giáo trình Kinh tế lượng , trường Đại học Kinh tế TP.HCM . 2 . Bài tập Kinh tế lượng , trường Đại học Kinh tế TPHCM . 3. Diễn đàn sinh viên Đại học Kinh tế TP.HCM