Bài giảng Kinh tế lượng - Chương 2: Mô hình hồi quy hai biến - Hoàng Ngọc Nhậm

MÔ HÌNH HỒI QUY HAI BIẾN Chương 2 HỒI TUYẾN TÍNH 2 BIẾN Hàm hồi quy tuyến tính 2 biến của tổng thể Nếu chỉ nghiên cứu một biến phụ thuộc bị ảnh hưởng bởi một biến độc lập => Mô hình hồi quy hai biến Trong quan hệ hồi quy , một biến phụ thuộc có thể được giải thích bởi nhiều biến độc lập Nếu mối quan hệ giữa hai biến này là tuyến tính => Mô hình hồi quy tuyến tính hai biến Hàm hồi quy tổng thể (PRF) của mô hình hồi quy hai biến Trong đó Y : Biến phụ thuộc Y i : Giá trị cụ thể của biến phụ thuộc X : Biến độc lập X i : Giá trị cụ thể của biến độc lập U i : Sai số ngẫu nhiên ứng với quan sát thứ i Hay: HỒI TUYẾN TÍNH 2 BIẾN Trong đó β 1 : Tung độ gốc của hàm hồi quy tổng thể, là giá trị trung bình của biến phụ thuộc Y khi biến độc lập X nhận giá trị bằng 0 β 2 : Độ dốc của hàm hồi quy tổng thể , là lượng thay đổi trung bình của Y khi X thay đổi 1 đơn vị β 1 , β 2 là các tham số của mô hình với ý nghĩa : Hàm hồi quy tổng thể (PRF) của mô hình hồi quy hai biến HỒI TUYẾN TÍNH 2 BIẾN Đồ thị minh họa Thu nhập X (triệu đồng/tháng) Y i PRF U i Hàm hồi quy mẫu của hồi quy 2 biến Trong thực tế rất khó nghiên cứu trên tổng thể nên thông thường người ta nghiên cứu xây dựng hàm hồi quy trên một mẫu => Gọi là hàm hồi quy mẫu HỒI TUYẾN TÍNH 2 BIẾN Đồ thị minh họa Thu nhập X (triệu đồng/tháng) Trong đó Tung độ gốc của hàm hồi quy mẫu, là ước lượng điểm của β 1 Độ dốc của hàm hồi quy mẫu, là ước lượng điểm của β 2 Sai số ngẫu nhiên , là ước lượng điểm của U i Hàm hồi quy mẫu của hồi quy 2 biến HỒI TUYẾN TÍNH 2 BIẾN Nếu bỏ qua sai số ngẫu nhiên e i , thì giá trị thực tế Y i sẽ trở thành giá trị ước lượng Hàm hồi quy mẫu của hồi quy 2 biến HỒI TUYẾN TÍNH 2 BIẾN 0 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7 8 Tiêu dùng Y (tri e u đong /tháng ) e i Thu nh?p X (tri?u đ?ng /tháng) SRF e i e i e i e i e i e i PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT (OLS) Ước lượng các tham số của mô hình Giá trị thực tế Giá trị ước lượng Sai số Tìm sao cho tổng bình phương sai số là nhỏ nhất Tức là Tại sao chúng ta không tìm Σ e i nhỏ nhất ? PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT (OLS) Giải bài toán cực trị hàm hai biến , ta được Với là giá trị trung bình của X và là giá trị trung bình của Y và Câu hỏi Hàm hồi quy mẫu có luôn đi qua điểm trung bình của mẫu không? Vì sao? Nếu X tăng 10 lần, Y không đổi thì sẽ thay đổi như thế nào ? 3. Nếu X tăng 10 lần, Y tăng 100 lần thì sẽ thay đổi như thế nào ? Ví dụ áp dụng Quan sát về thu nhập (X – triệu đồng/năm) và chi tiêu (Y – triệu đồng/năm) của 10 người, ta được các số liệu sau : Xây dựng hàm hồi quy mẫu X 100 80 98 95 75 79 78 69 81 88 Y 90 75 78 88 62 69 65 55 60 70 PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT (OLS) Các giả thiết của OLS Giả thiết 1 : Quan hệ giữa Y và X là tuyến tính Các giá trị X i cho trước và không ngẫu nhiên Giả thiết 2 : Các sai số U i là đại lượng ngẫu nhiên có giá trị trung bình bằng 0 PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT (OLS) Các giả thiết của OLS Giả thiết 4 : Không có sự tương quan giữa các U i Giả thiết 5 : Không có sự tương quan giữa U i và X i Giả thiết 3 : Các sai số U i là đại lượng ngẫu nhiên có phương sai không thay đổi Định lý Guass – Markov : Khi các giả thiết này được đảm bảo thì các ước lượng tính được bằng phương pháp OLS là các ước lượng tuyến tính không chệch , hiệu quả nhất của hàm hồi quy tổng thể ước lượng OLS là BLUE ( B est L inear U nbias E stimator ) PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT (OLS) Các giả thiết của OLS PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT (OLS) Các giả thiết của OLS Giả thiết 6 : các sai số U i có phân phối chuẩn PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT (OLS) Hệ số xác định của mô hình Tổng bình phương toàn phần TSS (Total Sum of Squares) Tổng bình phương hồi quy ESS (Explained Sum of Squares) Tổng bình phương phần dư RSS (Residual Sum of Squares) PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT (OLS) Hệ số xác định của mô hình O SRF RSS TSS ESS PHƯƠNG PHÁP BÌNH PHƯƠNG NHỎ NHẤT (OLS) Hệ số xác định của mô hình Hệ số xác định 0 ≤ R 2 ≤ 1 R 2 = 1 : mô hình phù hợp hoàn toàn với mẫu nghiên cứu R 2 = 0 : mô hình hoàn toàn không phù hợp với mẫu nghiên cứu (Tại sao? -> Bài tập) Ví dụ áp dụng Từ số liệu đã cho của ví dụ trước , yêu cầu tính hệ số xác định của mô hình KiỂM ĐỊNH MÔ HÌNH HỒI QUY Các đại lượng ngẫu nhiên Ui ~ N(0, σ 2 ) Theo giả thiết của phương pháp OLS, U i là đại lượng ngẫu nhiên có giá trị trung bình bằng 0 và phương sai không thay đổi Khi đó σ 2 được gọi là phương sai của tổng thể , được ước lượng bằng phương sai mẫu Đại lượng ngẫu nhiên U i Vì sao chia n-2 ? => Bài tập Vì U i ~ N(0 , σ 2 ) Nên Y i ~ N( β 1 + β 2 X i , σ 2 ) Ta có KiỂM ĐỊNH MÔ HÌNH HỒI QUY Các đại lượng ngẫu nhiên Đại lượng ngẫu nhiên U i KiỂM ĐỊNH MÔ HÌNH HỒI QUY Các đại lượng ngẫu nhiên Đại lượng ngẫu nhiên Vì sao là các đại lượng ngẫu nhiên ? Trong đó là phương sai của là phương sai của Vì sao có phân phối chuẩn ? => Bài tập KiỂM ĐỊNH MÔ HÌNH HỒI QUY Các đại lượng ngẫu nhiên Với sai số chuẩn của Sai số chuẩn của KiỂM ĐỊNH MÔ HÌNH HỒI QUY Các đại lượng ngẫu nhiên Vì : Nên : Nhưng do ước lượng bằng dẫn đến Với T(n-2) là phân phối T-Student với bậc tự do (n-2) Vì sao lại là phân phối t-Student? KiỂM ĐỊNH MÔ HÌNH HỒI QUY Các khoảng tin cậy Khoảng tin cậy của β 2 Giả sử ta muốn xây dựng một khoảng giá trị của β 2 với độ tin cậy (1- α ) . Ví dụ (1- α ) = 95% hay 0,95 -4 -3 -2 -1 0 1 2 3 4 t f(t) a/2 a/2 -t a/2 t a/2 Đồ thị phân phối của thống kê t KiỂM ĐỊNH MÔ HÌNH HỒI QUY Các khoảng tin cậy Khoảng tin cậy của β 2 Nên khoảng tin cậy của β 2 với độ tin cậy 1- α là Với có được khi tra bảng t-Student với bậc tự do (n-2), mức ý nghĩa α /2 KiỂM ĐỊNH MÔ HÌNH HỒI QUY Các khoảng tin cậy Khoảng tin cậy của β 1 Lập luận tương tự, khoảng tin cậy của β 1 với độ tin cậy 1- α là Giải thích ý nghĩa của độ tin cậy (1- α ), ví dụ (1- α ) =95%? KiỂM ĐỊNH MÔ HÌNH HỒI QUY Các khoảng tin cậy Khoảng tin cậy của σ 2 Nên khoảng tin cậy của σ 2 với độ tin cậy 1- α là Với có được khi tra bảng χ 2 với bậc tự do (n-2), mức ý nghĩa α /2 Vì là ước lượng của và người ta chứng minh được rằng Ví dụ áp dụng Từ số liệu đã cho của ví dụ trước , yêu cầu tính khoảng tin cậy của β 1 , β 2 và σ 2 với độ tin cậy 95% Nhắc lại về giả thiết H 0 Trong thống kê, giả thiết phát biểu cần được kiểm định được gọi là giả thiết không ( ký hiệu : H 0 ). Giả thiết đối được ký hiệu là giả thiết H 1 KiỂM ĐỊNH MÔ HÌNH HỒI QUY Báo bỏ H 0 Chấp nhận H 0 H 0 sai Đúng Sai lầm loại II H 0 đúng Sai lầm loại I Đúng Người ta thường đặt giả thiết H 0 sao cho sai lầm loại I là nghiêm trọng ( nguy hiểm) hơn sai lầm loại II KiỂM ĐỊNH MÔ HÌNH HỒI QUY Đặt α là khả năng mắc sai lầm loại I α là mức ý nghĩa của kiểm định 1- α là độ tin cậy của kiểm định Chú ý Khi nói “chấp nhận giả thiết H 0 ”, không có nghĩa H 0 đúng. Lựa chọn mức ý nghĩa  :  có thể tùy chọn, thường người ta chọn mức 1%, 5%, hoặc 10%. KiỂM ĐỊNH MÔ HÌNH HỒI QUY Các giả thiết cần kiểm định gồm Các giả thiết về hệ số hồi quy Các giả thiết về phương sai của U i Các giả thiết về sự phù hợp của mô hình Các loại giả thiết Giả thiết 2 phía , giả thiết phía trái và giả thiết phía phải Các cách kiểm định cơ bản : Phương pháp khoảng tin cậy Phương pháp giá trị tới hạn Phương pháp p-value ( dùng máy vi tính) KiỂM ĐỊNH MÔ HÌNH HỒI QUY Kiểm định giả thiết về hệ số hồi quy Kiểm định giả thiết về β 2 Giả thiết 2 phía H o : β 2 = β o H 1 : β 2 ≠ β o độ tin cậy là 1- α Giả thiết phía trái H o : β 2 = β o H 1 : β 2 < β o Giả thiết phía phải H o : β 2 = β o H 1 : β 2 > β o KiỂM ĐỊNH MÔ HÌNH HỒI QUY Kiểm định giả thiết về hệ số hồi quy Phương pháp khoảng tin cậy Bước 1 : Lập khoảng tin cậy của β 2 Bước 2 : Nếu β 0 thuộc khoảng tin cậy thì chấp nhận H 0 . Nếu β 0 không thuộc khoảng tin cậy thì bác bỏ H 0 Kiểm định giả thiết về β 2 Kiểm định phía phải Miền chấp nhận Miền bác bỏ Kiểm định phía trái Miền bác bỏ Miền chấp nhận KiỂM ĐỊNH MÔ HÌNH HỒI QUY Kiểm định giả thiết về hệ số hồi quy Kiểm định hai phía Miền chấp nhận Miền bác bỏ Miền bác bỏ KiỂM ĐỊNH MÔ HÌNH HỒI QUY Kiểm định giả thiết về hệ số hồi quy Kiểm định giả thiết về β 2 Phương pháp giá trị tới hạn (kiểm định t) Bước 1 : tính giá trị tới hạn Bước 2 : tra bảng t-Student với bậc tự do (n-2) tìm t α /2 Bước 3 : Nếu -t α /2 ≤ t ≤ t α /2 : chấp nhận giả thiết H 0 Nếu t t α /2 : bác bỏ giả thiết H 0 SV tự suy luận điều kiện cho kiểm định phía trái và phải KiỂM ĐỊNH MÔ HÌNH HỒI QUY Kiểm định giả thiết về hệ số hồi quy Kiểm định giả thiết về β 2 Phương pháp p-value Bước 1 : tính giá trị tới hạn Bước 2 : Tính p_value = P(|t| > |t α /2 |) (tức là khả năng giả thiết H 0 bị bác bỏ) Bước 3 : Nếu p_value ≥ α : chấp nhận giả thiết H 0 Nếu p_value < α : bác bỏ giả thiết H 0 KiỂM ĐỊNH MÔ HÌNH HỒI QUY Kiểm định giả thiết về hệ số hồi quy Kiểm định giả thiết về β 1 Tương tự kiểm định giả thiết về β 2 nhưng giá trị tới hạn lúc này là H o : β 1 = β o H 1 : β 1 ≠ β o Với độ tin cậy là 1- α KiỂM ĐỊNH MÔ HÌNH HỒI QUY Kiểm định giả thiết về hệ số hồi quy Kiểm định giả thiết về σ 2 Bước 1 : Lập khoảng tin cậy của σ 2 Bước 2 : Nếu σ 0 2 thuộc khoảng tin cậy thì chấp nhận H 0 . Nếu σ 0 2 không thuộc khoảng tin cậy thì bác bỏ H 0 H o : σ 2 = σ 0 2 H 1 : σ 2 ≠ σ 0 2 Với độ tin cậy là 1- α Ví dụ áp dụng Từ số liệu đã cho của ví dụ trước , yêu cầu kiểm định các giả thiết sau H o : β 2 = 0 H 1 : β 2 ≠ 0 Với độ tin cậy là 95% H o : β 1 = 0 H 1 : β 1 ≠ 0 Với độ tin cậy là 95% H o : σ 2 =16 H 1 : σ 2 ≠ 16 Với độ tin cậy là 95% a) b) c) KiỂM ĐỊNH MÔ HÌNH HỒI QUY Kiểm định sự phù hợp của mô hình H o : R 2 = 0 H 1 : R 2 ≠ 0 Với độ tin cậy là 1- α Kịểm định giả thiết Bước 2 : Tra bảng tìm F(1,n-2), mức ý nghĩa là α Bước 3 : Nếu F>F(1,n-2) , bác bỏ H 0 Nếu F≤F(1,n-2) , chấp nhận H 0 Bước 1 : tính Phương pháp kiểm định F H o : β 2 = 0 H 1 : β 2 ≠ 0 độ tin cậy là (1- α ) Việc kiểm định giả thiết có ý nghĩa như thế nào? Câu hỏi H o :R 2 = 0 H 1 : R 2 ≠ 0 độ tin cậy là (1- α ) Việc kiểm định giả thiết có ý nghĩa như thế nào? Ví dụ áp dụng Từ số liệu đã cho của ví dụ trước , yêu cầu kiểm định sự phù hợp của mô hình với độ tin cậy 95% Dấu của các hệ số hồi qui ước lượng được phù hợp với lý thuyết hay tiên nghiệm không. Các hệ số hồi qui ước lượng được có ý nghĩa về mặt thống kê hay không ? Mức độ phù hợp của mô hình (R 2 ) và mô hình có thực sự phù hợp? Kiểm tra xem mô hình có thỏa mãn các giả thiết của mô hình hồi qui tuyến tính cổ điển hay không. Đánh giá kết quả hồi quy SỬ DỤNG MÔ HÌNH HỒI QUY Trình bày kết quả hồi quy Kết quả hồi quy được trình bày như sau : SỬ DỤNG MÔ HÌNH HỒI QUY Trình bày kết quả hồi quy Kết quả hồi quy trong ví dụ trước : SỬ DỤNG MÔ HÌNH HỒI QUY Vấn đề đổi đơn vị tính trong hàm hồi quy Trong hàm hồi quy hai biến , nếu đơn vị tính của X và Y thay đổi thì ta không cần hồi quy lại mà chỉ cần áp dụng công thức đổi đơn vị tính Hàm hồi quy theo đơn vị tính cũ Hàm hồi quy theo đơn vị tính mới Trong đó : Khi đó Ngoài ra : SỬ DỤNG MÔ HÌNH HỒI QUY Vấn đề đổi đơn vị tính trong hàm hồi quy Tuy nhiên, việc thay đổi đơn vị tính của các biến không làm thay đổi tính BLUE của mô hình Ví dụ áp dụng Cho hàm hồi quy giữa lượng tiêu thụ cà phê (Y – ly/ngày ) với giá bán cà phê ( X – ngàn đồng/kg ) như sau Viết lại hàm hồi quy nếu đơn vị tính của Y là ly/tuần Ví dụ áp dụng Từ số liệu đã cho của ví dụ trước về chi tiêu và thu nhập , yêu cầu viết lại hàm hồi quy với đơn vị tính như sau Y – triệu đồng/tháng ; X – triệu đồng/năm Y – triệu đồng/ tháng ; X – triệu đồng / tháng Y – ngàn đồng/tháng ; X – ngàn đồng /tháng SỬ DỤNG MÔ HÌNH HỒI QUY Vấn đề dự báo Giả sử Khi X=X 0 thì ước lượng trung bình của Y 0 sẽ là là đại lượng ngẫu nhiên có phân phối chuẩn Vì sao là đại lượng nhẫu nhiên ? Tại sao có phân phối chuẩn ? SỬ DỤNG MÔ HÌNH HỒI QUY Vấn đề dự báo Với Khoảng tin cậy giá trị trung bình của Y 0 với độ tin cậy (1- α ) l à Ví dụ áp dụng Từ số liệu đã cho của ví dụ trước , yêu cầu dự báo khoảng giá trị của Y khi X 0 = 60 (triệu đồng/năm) với độ tin cậy 95% MỞ RỘNG MÔ HÌNH HỒI QUY HAI BiẾN Hồi quy qua gốc tọa độ Khi tung độ gốc bằng 0 thì mô hình trở thành mô hình hồi quy qua gốc tọa độ , khi đó hàm hồi quy như sau Với Và σ 2 được ước lượng bằng MỞ RỘNG MÔ HÌNH HỒI QUY HAI BiẾN Hồi quy qua gốc tọa độ * Lưu ý : R 2 có thể âm đối với mô hình này, nên không dùng R 2 mà thay bởi R 2 thô : Không thể so sánh R 2 với R 2 thô Trên thực tế ít khi dùng đến mô hình hồi quy qua gốc tọa độ MỞ RỘNG MÔ HÌNH HỒI QUY HAI BiẾN Mô hình tuyến tính logarit Hay còn gọi là mô hình log-log hay mô hình log kép Mô hình không tuyến tính theo các biến nhưng có thể chuyển về dạng tuyến tính bằng cách đặt : Khi đó Đây là dạng hồi quy tuyến tính đã biết MỞ RỘNG MÔ HÌNH HỒI QUY HAI BiẾN Mô hình tuyến tính logarit Ý nghĩa của hệ số β 2 : khi X thay đổi 1% thì Y thay đổi β 2 % (Đây chính là hệ số co giãn của Y đối với X) Lấy đạo hàm 2 vế của hàm hồi quy log-log, ta được MỞ RỘNG MÔ HÌNH HỒI QUY HAI BiẾN Mô hình log-lin Mô hình không tuyến tính theo các biến nhưng có thể chuyển về dạng tuyến tính bằng cách đặt : Khi đó Biến phụ thuộc xuất hiện dưới dạng log và biến độc lập xuất hiện dưới dạng tuyến tính (linear) nên mô hình có tên gọi là log-lin MỞ RỘNG MÔ HÌNH HỒI QUY HAI BiẾN Mô hình log-lin Ý nghĩa của hệ số β 2 : khi X thay đổi 1đơn vị thì Y thay đổi (100. β 2 ) % MỞ RỘNG MÔ HÌNH HỒI QUY HAI BiẾN Mô hình lin-log Mô hình không tuyến tính theo các biến nhưng có thể chuyển về dạng tuyến tính bằng cách đặt : Khi đó MỞ RỘNG MÔ HÌNH HỒI QUY HAI BiẾN Mô hình lin-log Ý nghĩa của hệ số β 2 : khi X thay đổi 1 % thì Y thay đổi ( β 2 /100) đơn vị MỞ RỘNG MÔ HÌNH HỒI QUY HAI BiẾN Mô hình nghịch đảo Mô hình không tuyến tính theo các biến nhưng có thể chuyển về dạng tuyến tính bằng cách đặt : Khi đó Ví dụ áp dụng Từ số liệu đã cho của ví dụ trước , yêu cầu ước lượng hàm hồi quy X i Y i X i * =lnX i Y i * =lnY i X i * Y i * X i *2 31 29 3.4340 3.3673 11.5633 11.7923 50 42 3.9120 3.7377 14.6218 15.3039 47 38 3.8501 3.6376 14.0052 14.8236 45 30 3.8067 3.4012 12.9472 14.4907 39 29 3.6636 3.3673 12.3363 13.4217 50 41 3.9120 3.7136 14.5276 15.3039 35 23 3.5553 3.1355 11.1478 12.6405 40 36 3.6889 3.5835 13.2192 13.6078 45 42 3.8067 3.7377 14.2280 14.4907 50 48 3.9120 3.8712 15.1442 15.3039  tổng cộng  37.5413 35.5525 133.7406 141.1791  trung bình  3.7541 3.5553 Kết quả hồi quy: Ví dụ áp dụng Nêu ý nghĩa kinh tế của các hệ số hồi quy Xét xem giá bán có ảnh hưởng đến doanh số bán không ?(với mức ý nghĩa 1%) Nếu giá bán là 8,5 ngàn đồng /kg thì doanh số bán trung bình là bao nhiêu? Hãy viết lại SRF ở trên nếu đơn vị tính của Y là triệu đồng/năm Kiểm định giả thiết H 0 :β 2 = -1; H1 : β 2 ≠ -1; với mức ý nghĩa α=1% Tính hệ số co giãn của Y theo X tại điểm Cho kết quả hồi quy giữa Y – doanh số bán (trđ/tấn) và X - giá bán ( ngàn đồng/kg) như sau :