Luận văn Sử dụng câu hỏi trắc nghiệm khách quan nhiều lựa chọn trong kiểm tra đánh giá kết quả học tập môn Tiếng Việt lớp 10 Ban cơ bản tại trường Trung học Chuyên tỉnh Kon Tum

Câu 9 VD 0.797 0.23 18.2 79.7 0.0 0.0 Sửa Câu 10 H 0.777 0.18 7.0 12.2 0.0 77.7 Câu 11 VD 0.717 0.03 0.0 16.2 71.7 10.1 Loại Câu 12 H 0.737 0.18 0.0 73.7 17.2 7.0 Câu 13 H 0.737 0.25 11.1 0.0 12.2 73.7 Câu 14 VD 0.757 0.10 0.0 0.0 21.2 75.7 Sửa Câu 15 VD 0.737 0.00 7.0 9.0 9.0 73.7 Loại Câu 16 B 0.747 0.16 11.1 0.0 14.2 74.7 Sửa Câu 17 H 0.696 0.12 69.9 9.0 0.0 20.2 Loại Câu 18 VD 0.797 0.13 79.7 11.1 0.0 9.0 Loại Câu 19 H 0.777 0.23 0.0 22.2 77.7 0.0 Câu 20 VD 0.757 0.08 19.2 0.0 0.0 75.7 Loại Câu 21 B 0.797 -0.01 79.7 0.0 20.2 0.0 Loại Câu 22 B 0.838 0.13 0.0 0.0 15.2 83.8 Loại Câu 23 H 0.757 0.02 21.2 0.0 0.0 75.7 Loại Câu 24 VD 0.828 0.14 0.0 14.2 82.8 0.0 Loại Câu 25 VD 0.848 0.04 84.8 0.0 14.2 0.0 Loại Câu 26 VD 0.828 0.10 82.8 0.0 0.0 15.2 Loại Câu 27 VD 0.747 0.17 15.2 9.0 74.7 0.0 Câu 28 VD 0.777 0.12 20.2 0.0 77.7 0.0 Loại Câu 29 VD 0.777 0.11 1.0 10.0 77.7 11.1 Loại Câu 30 B 0.787 0.33 78.7 0.0 20.2 0.0 Câu 31 H 0.818 0.20 0.0 81.8 17.2 0.0 Câu 32 H 0.818 0.14 0.0 8.0 81.8 9.0 Sửa Câu 33 B 0.898 0.09 89.8 0.0 0.0 8.0 Loại Câu 34 VD 0.838 0.31 0.0 83.8 15.2 0.0 Câu 35 B 0.787 0.26 19.2 0.0 0.0 78.7 Câu 36 B 0.777 0.16 0.0 18.2 4.0 77.7 Sửa Câu 37 B 0.707 0.26 0.0 15.2 6.0 70.7 Câu 38 B 0.707 0.45 8.0 15.2 6.0 70.7 Câu 39 VD 0.818 0.39 0.0 8.0 10.0 81.8 Câu 40 VD 0.777 0.12 0.0 0.0 77.7 22.2 Loại 112 Bảng 4.2 Bảng tổng hợp kết quả phân tích câu hỏi 1 tiết Tiếng Việt – phụ lục 2, HKI Câu hỏi Mức độ Độ khó p Độ phân biệt D Lựa chọn A (%) Lựa chọn B (%) Lựa chọn C (%) Lựa chọn D (%) Kết luận Câu 1 B 0.757 0.16 13.2 11.1 0.0 75.7 Sửa Câu 2 B 0.747 0.20 0.0 74.7 11.1 14.2 Sửa Câu 3 B 0.767 0.00 12.2 0.0 11.1 76.7 Loại Câu 4 B 0.797 0.00 0.0 0.0 79.7 20.2 Loại Câu 5 B 0.910 0.22 0.0 3.0 91 6.0 Câu 6 H 0.818 0.24 0.0 81.8 12.2 6.0 Câu 7 VD 0.828 -0.05 0.0 0.0 17.2 82.8 Loại Câu 8 B 0.838 0.00 0.0 16.2 0.0 83.8 Loại Câu 9 VD 0.787 0.00 8.0 78.7 0.0 13.2 Loại Câu 10 VD 0.767 0.32 76.7 17.2 2.0 4.0 Câu 11 B 0.828 0.26 0.0 82.8 17.2 0.0 Câu 12 VD 0.797 0.00 0.0 20.2 0.0 79.7 Loại Câu 13 VD 0.797 0.32 0.0 20.2 79.7 0.0 Câu 14 VD 0.797 0.00 17.2 79.7 0.0 0.0 Loại Câu 15 H 0.757 0.27 0.0 0.0 24.2 75.7 Câu 16 H 0.777 0.00 0.0 77.7 20.2 0.0 Loại Câu 17 H 0.949 0.00 0.0 4.0 0.0 94.9 Loại Câu 18 B 0.848 0.18 0.0 5.0 10.0 84.8 Sửa Câu 19 H 0.797 0.00 20.2 79.7 0.0 0.0 Loại Câu 20 VD 0.777 0.39 0.0 77.7 0.0 21.2 Câu 21 H 0.848 0.32 84.8 15.2 0.0 0.0 Câu 22 B 0.767 0.00 0.0 10.0 13.2 76.7 Loại Câu 23 VD 0.797 0.00 0.0 17.2 79.7 0.0 Loại Câu 24 VD 0.808 0.00 80.8 19.2 0.0 0.0 Loại Câu 25 VD 0.757 0.23 0.0 0.0 75.7 24.2 Câu 26 B 0.787 0.00 0.0 0.0 21.2 78.7 Loại Câu 27 B 0.777 0.14 0.0 20.2 0.0 77.7 Sửa Câu 28 VD 0.797 0.17 20.2 0.0 79.7 0.0 Sửa Câu 29 VD 0.808 0.35 18.2 80.8 0.0 0.0 Câu 30 B 0.777 0.12 77.7 10.0 0.0 12.2 Sửa Câu 31 VD 0.777 0.10 7.0 7.0 77.7 6.0 Sửa Câu 32 VD 0.787 0.17 11.1 0.0 78.7 10.0 Sửa Câu 33 B 0.777 0.00 20.2 0.0 0.0 77.7 Loại 113 Câu 34 VD 0.787 0.28 7.0 78.7 0.0 14.2 Câu 35 VD 0.919 0.00 0.0 3.0 91.9 4.0 Loại Câu 36 B 0.818 -0.03 0.0 10.0 81.8 8.0 Loại Câu 37 VD 0.696 0.01 9.0 13.2 6.0 69.6 Loại Câu 38 H 0.787 0.03 78.7 6.0 7.0 6.0 Loại Câu 39 VD 0.757 0.21 0.0 75.7 9.0 12.2 Câu 40 VD 0.727 -0.02 7.0 72.7 8.0 12.2 Loại Bảng 4.3 Bảng tổng hợp kết quả phân tích câu hỏi 1 tiết Tiếng Việt – phụ lục 1, HKII Câu hỏi Mức Độ Độ khó p Độ phân biệt D Lựa chọn A (%) Lựa chọn B (%) Lựa chọn C (%) Lựa chọn D (%) Kết luận Câu 1 B 0.757 0.19 8.0 12.0 0.0 75.7 Sửa Câu 2 B 0.787 0.24 20.0 0.0 78.7 0.0 Câu 3 B 0.787 0.30 8.0 78.7 12.0 0.0 Câu 4 B 0.808 0.15 0.0 0.0 80.8 14.0 Sửa Câu 5 H 0.758 0.16 0.0 9.1 12.1 75.8 Sửa Câu 6 H 0.869 0.13 0.0 2.0 3.0 86.9 Loại Câu 7 VD 0.798 0.10 0.0 16.2 79.8 0.0 Loại Câu 8 VD 0.727 0.37 11.1 0.0 12.1 72.7 Câu 9 VD 0.737 0.29 23.2 0.0 73.7 0.0 Câu 10 VD 0.787 0.18 16.2 78.8 0.0 0.0 Sửa Câu 11 VD 0.828 0.23 13.1 0.0 82.8 0.0 Câu 12 VD 0.869 0.15 86.9 0.0 9.1 0.0 Sửa Câu 13 VD 0.787 0.14 78.7 20.2 0.0 0.0 Sửa Câu 14 B 0.788 0.26 0.0 16.2 0.0 78.8 Câu 15 B 0.788 0.42 0.0 78.8 18.2 0.0 Câu 16 B 0.798 0.17 19.2 79.8 0.0 0.0 Sửa Câu 17 B 0.758 0.22 75.8 7.1 11.1 0.0 Câu 18 H 0.778 0.40 0.0 77.8 19.2 0.0 Câu 19 VD 0.778 0.41 0.0 77.8 20.2 0.0 Câu 20 H 0.747 0.28 74.7 0.0 0.0 21.2 Câu 21 VD 0.778 0.08 10.1 8.1 77.8 0.0 Loại Câu 22 VD 0.889 0.31 88.9 0.0 6.1 0.0 Câu 23 VD 0.848 0.05 0.0 84.8 0.0 7.1 Loại Câu 24 VD 0.768 0.11 0.0 11.1 10.1 76.8 Sửa Câu 25 VD 0.909 0.15 0.0 0.0 2.0 90.9 Loại Câu 26 B 0.828 0.08 9.1 4.0 82.8 0.0 Loại 114 Câu 27 VD 0.798 0.18 17.2 79.8 0.0 0.0 Sửa Câu 28 B 0.798 0.31 0.0 0.0 17.2 79.8 Câu 29 VD 0.909 0.16 0.0 0.0 90.9 1.0 Loại Câu 30 H 0.798 0.25 6.1 0.0 5.1 79.8 Câu 31 H 0.798 0.18 8.1 79.8 2.0 8.1 Sửa Câu 32 H 0.929 0.12 0.0 2.0 92.9 1.0 Loại Câu 33 H 0.828 0.27 82.8 14.1 0.0 0.0 Sửa Câu 34 VD 0.788 0.16 9.1 6.1 78.8 0.0 Sửa Câu 35 VD 0.818 0.20 0.0 81.8 14.1 0.0 Sửa Câu 36 VD 0.798 0.00 6.1 7.1 79.8 2.0 Loại Câu 37 VD 0.848 0.29 0.0 0.0 0.0 84.8 Câu 38 VD 0.828 0.12 0.0 0.0 82.8 17.2 Loại Câu 39 H 0.889 0.32 0.0 0.0 1.0 88.9 Câu 40 VD 0.879 0.35 1.0 1.0 0.0 87.9 Phụ lục 5 Bảng tổng hợp kết quả phân tích câu hỏi theo đề kiểm tra Loại đề kiểm tra Số câu trước khi thứ nghiệm Số câu bị loại Số câu còn lại 1. Đề 1 tiết-PL1-HKI 40 21 19 2. Đề 1 tiết-PL2-HKI 40 20 20 Đề 1 tiết 3. Đề 1 tiết-PL1-HKII 40 10 30 Tổng 120 51 69 ---------------------------------------------- Phụ lục 6: Phân tích câu hỏi 6.1. Đề kiểm tra Tiếng Việt 1 tiết học kì II 1. Dữ liệu để phân tích 1.1. File dữ liệu SPSS - File dữ liệu được nhập vào máy tính, sử dụng phần mềm SPSS, tên file là kiemtra 1tiet- HKII.sav - Biến đầu tiên là: Tên học sinh - 40 biến tiếp theo là: c1 c2 c3 c4 c5 c6 c7 c8 c9 c10 c11 c12 c13 c14 c15 c16 c17 c18 c19 c20 c21 c22 c23 c24 c25 c26 c27 c28 c29 c30 c31 c32 c33 c34 c35 c36 c37 c38 c39 c40. Đây là các biến ghi lại các câu trả lời của học sinh khi làm bài kiểm tra ứng với 40 câu hỏi trắc nghiệm (chỉ nhận các giá trị 0 và 1). Mỗi biến ghi kết quả trả lời của học sinh nhận các giá 115 trị nguyên dương từ 1 đến 4 ứng với các phương án lựa chọn trong câu trắc nghiệm (1=A, 2=B, 3=C, 4=D), giá trị 9 để chỉ dữ liệu bị bỏ sót hoặc không hợp lệ. 1.2. File dữ liệu để sử dụng mô hình Rasch Lệnh để tạo file dữ liệu : write outfile'giang.dat'/ c1 c2 c3 c4 c5 c6 c7 c8 c9 c10 c11 c12 c13 c14 c15 c16 c17 c18 c19 c20 c21 c22 c23 c24 c25 c26 c27 c28 c29 c30 c31 c32 c33 c34 c35 c36 c37 c38 c39 c40 (40f1). execute. File dữ liệu có tên là giang.dat 1.3. Tạo file điều khiển Các dòng lệnh: set width =132 ! page data_file giang.dat codes 012349 FORMAT NAME 1 ITEMS 9-48 key 1244124444112142114414321123411343113121 ! score=1 scale 1-40 ! giang ESTIMATE !iter=50; SCALE=giang >-giang.out SHOW ! SCALE=giang >-giang.map SHOW ITEMS ! SCALE=giang >-giang.itm SHOW CASES ! SCALE=giang; form=export;delimiter=tab >-giang.cas ITANAL ! scale=giang >-giang.ITn Quit File điều khiển có tên: giang.ctl 2. Lựa chọn phần mềm để phân tích câu hỏi Sử dụng phần mềm chuyên dụng Quest để phân tích câu hỏi 3. Kết quả chạy chương trình 3.1. Xem kết quả trong file giang.map 3.1.1 Mức độ phù hợp với mô hình 116 QUEST: The Interactive Test Analysis System ----------------------------------------------------------------------------------------------------------------------------------- - Item Estimates (Thresholds) 5/ 1/10 14:17 all on giang (N = 99 L = 40 Probability Level= .50) ----------------------------------------------------------------------------------------------------------------------------------- - Summary of item Estimates ========================= Mean .00 SD .53 SD (adjusted) .44 Reliability of estimate .70 Fit Statistics =============== Infit Mean Square Outfit Mean Square Mean 1.00 Mean 1.00 SD .05 SD .19 Infit t Outfit t Mean .06 Mean .04 SD .34 SD .69 0 items with zero scores 3 items with perfect scores ============================================================================= ======================================================= 117 QUEST: The Interactive Test Analysis System ----------------------------------------------------------------------------------------------------------------------------------- - Case Estimates 5/ 1/10 14:17 all on giang (N = 99 L = 40 Probability Level= .50) ----------------------------------------------------------------------------------------------------------------------------------- - Summary of case Estimates ========================= Mean 1.68 SD .65 SD (adjusted) .43 Reliability of estimate .44 Fit Statistics =============== Infit Mean Square Outfit Mean Square Mean 1.00 Mean 1.00 SD .06 SD .22 Infit t Outfit t Mean .10 Mean .10 SD .28 SD .51 ============================================================================= 3.1.2. Kiểm tra mức độ phù hợp của các câu hỏi với nhau Trong biểu đồ Item Fit sau đây, mỗi câu trắc nghiệm biểu thị bằng dấu *. Những câu trắc nghiệm nằm trong hai đường chấm thẳng đứng có giá trị trung bình bình phương độ phù hợp INFIT MNSQ nằm trong khoảng (0.77 ; 2.30) sẽ phù hợp với mô hình Rasch. Nếu câu nào không phù hợp thì phải sửa lại. QUEST: The Interactive Test Analysis System -------------------------------------------------------------------------------------------------------- ---------------------------- Item Fit 5/ 1/10 14:17 all on giang (N = 99 L = 40 Probability Level= .50) -------------------------------------------------------------------------------------------------------- ---------------------------- INFIT MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 1.40 1.50 1.60 ----------+---------+---------+---------+---------+---------+---------+---------+---------+---------+--- ------+---------+---------+- 1 item 1 . * . 2 item 2 . * | . 3 item 3 . * | . 4 item 4 . * . 5 item 5 . * | . 6 item 6 . * | . 7 item 7 . | * . 118 8 item 8 . | * . 9 item 9 . * . 11 item 11 . *| . 12 item 12 . | * . 13 item 13 . | * . 14 item 14 . |* . 15 item 15 . * | . 16 item 16 . *| . 17 item 17 . * | . 18 item 18 . *| . 19 item 19 . | * . 21 item 21 . | * . 23 item 23 . |* . 24 item 24 . *| . 25 item 25 . | * . 26 item 26 . * | . 27 item 27 . * | . 28 item 28 . * | . 29 item 29 . * | . 30 item 30 . *| . 31 item 31 . * | . 32 item 32 . |* . 33 item 33 . *| . 34 item 34 . | * . 35 item 35 . | * . 36 item 36 . |* . 37 item 37 . | * . 38 item 38 . *| . 39 item 39 . * | . 40 item 40 . |* . ======================================================================================================== ============================ 119 ======================================================================================================== Các câu hỏi đều có chỉ số INFIT MNSQ nằm trong khoảng cho phép, tạo thành cấu trúc. 3.1.3. Kiểm tra năng lực của học sinh so với độ khó của câu hỏi Biểu đồ minh họa sự phân bố độ khó của câu hỏi so với năng lực của học sinh QUEST: The Interactive Test Analysis System ------------------------------------------------------------------------------------------- Item Estimates (Thresholds) 5/ 1/10 14:17 all on giang (N = 99 L = 40 Probability Level= .50) ------------------------------------------------------------------------------------------- 4.0 | | | XXX | | | | | | 3.0 XXXXX | | | | XXXXX | | | XXXXXXXXXX | | 2.0 | XXXXXXX | | XXXXXXXXXXXXXX | | XXXXXXXXXXXX | XXXXXXXXXXXXXXXX | | XXXXXXXXXXXX | 1.0 XXXXXXX | XXXX | 13 | | 14 28 XXX | 1 X | 2 11 | 4 12 16 34 35 39 | | 6 7 9 19 27 31 32 | 3 21 .0 | 5 26 37 38 | 40 | 30 | | 17 24 33 36 | 23 25 29 | 15 18 | | -1.0 | | | | | | 8 | | | -2.0 | 120 ------------------------------------------------------------------------------------------- Dựa vào ma trận trên ta thấy, đề kiểm tra ở mức độ dễ so với năng lực của học sinh trong lớp. Cần bổ sung thêm các câu hỏi khó vào đề kiểm tra và loại đi bớt đi các câu hỏi dễ. Tuy nhiên để phân tích kỹ hơn và để quyết định bỏ đi câu hỏi nào, giữ lại câu hỏi nào, chúng ta xem thêm ở file TN.ita. 3.2. Xem kết quả trong file TN.ita Ta xem xét các chỉ số: - Categories: là câu có phương án đúng, các số 1, 2, 3 ,4 tương ứng với các lựa chọn A, B, C, D trong câu trắc nghiệm, phương án đúng được đánh dấu (*), giá trị 9 chỉ missing - học sinh không chọn hoặc bỏ trống không trả lời câu hỏi. - Disc: độ phân biệt. - Percent: tỉ lệ phần trăm của một phương án là tỉ lệ giữa số thí sinh chọn phương án đó so với thí sinh làm bài kiểm tra. - Pt – Beserial: hệ số tương quan point biserial. Cần loại bỏ những câu hỏi có mối tương quan thấp hoặc dưới 0 sẽ làm tăng độ tin cậy của bài kiểm tra. - StepLabel 1: Giữa giá trị 0 và 1 có một bước, thí sinh thực hiện được bước này khi trả lời đúng câu hỏi. - Thresholds: ngưỡng để vượt qua, thực chất là độ khó của câu trắc nghiệm. Ví dụ với câu hỏi 1 dưới đây, chỉ số Thresholds là -0.53 là một câu hỏi dễ nó chỉ đòi hỏi người có ngưỡng khả năng là -0.53 đã có cơ may 50% trả lời đúng câu hỏi này. - Error: sai số trong tính toán. Đối với câu hỏi 4 (Item 4) Độ khó p = 75.8 Độ phân biệt D = 0.22 Infit MNSQ = 1.00 nằm trong khoảng cho phép Đây là câu hỏi có độ khó trung bình, độ phân biệt tương đối tốt và chỉ số Infit MNSQ = 1.00 nằm trong khoảng cho phép. Có thể giữ lại câu hỏi trắc nghiệm này để làm kiểm tra. Item 4: item 4 Infit MNSQ = 1.00 Disc = .22 Categories 0 1 2 3 4* 9 missing Count 0 9 15 0 75 0 0 Percent (%) .0 9.1 15.2 .0 75.8 .0 Pt-Biserial NA -.11 -.18 NA .22 NA p-value NA .144 .039 NA .014 NA Mean Ability NA 1.48 1.42 NA 1.76 NA NA Step Labels 1 Thresholds .43 Error .24 ........................................................................................... Đối với câu hỏi 8 (item 8) Độ khó p = 96.0 121 Độ phân biệt D = -0.2 Infit MNSQ = 1.03 nằm trong khoảng cho phép Đây là câu hỏi dễ; không có giá trị phân biệt; chỉ số infit MNSQ nằm trong khoảng cho phép, tuy nhiên các phương án nhiễu không phát huy được tác dụng, học sinh dễ dàng dùng phương pháp loại trừ. Item 8: item 8 Infit MNSQ = 1.03 Disc = -.02 Categories 0 1 2 3 4* 9 missing Count 0 0 3 1 95 0 0 Percent (%) .0 .0 3.0 1.0 96.0 .0 Pt-Biserial NA NA .07 -.08 -.02 NA p-value NA NA .242 .221 .413 NA Mean Ability NA NA 1.82 1.20 1.68 NA NA Step Labels 1 Thresholds -1.60 Error .51........................................................................................ ... Đối với câu hỏi 11 (item 11) Độ khó p = 74.7 Infit MNSQ = 0.99 nằm trong khoảng cho phép Đây là câu hỏi có độ khó tương đối, các phương án nhiễu tốt, có độ phân biệt cao. Đây có thể xem là câu hỏi có các phương án nhiễu tốt. Item 11: item 11 Infit MNSQ = .99 Disc = .25 Categories 0 1* 2 3 4 9 missing Count 0 74 6 12 5 2 0 Percent (%) .0 74.7 6.1 12.1 5.1 2.0 Pt-Biserial NA .25 .13 -.32 -.06 -.16 p-value NA .006 .096 .001 .263 .055 Mean Ability NA 1.77 1.96 1.21 1.48 1.13 NA Step Labels 1 Thresholds .49 Error .24 4. Kết luận Trên đây là các chỉ số của 3 câu trắc nghiệm : câu 3, câu 8, câu 11. Qua phân tích tổng số 40 câu trắc nghiệm trong đề kiểm tra 1 tiết Tiếng Việt của học kì I có thể đưa ra một số kết luận đã được thể hiện ở bảng tổng hợp trên. ---------------------------------------- 122 6.2. Đề kiểm tra Tiếng Việt 15’ học kì I 1. Dữ liệu để phân tích 1.1. File dữ liệu SPSS - File dữ liệu được nhập vào máy tính, sử dụng phần mềm SPSS, tên file là kiemtra 15’- HKI.sav - Biến đầu tiên là: Tên học sinh - 20 biến tiếp theo là: c1 c2 c3 c4 c5 c6 c7 c8 c9 c10 c11 c12 c13 c14 c15 c16 c17 c18 c19 c20. Đây là các biến ghi lại các câu trả lời của học sinh khi làm bài kiểm tra ứng với 20 câu hỏi trắc nghiệm (chỉ nhận các giá trị 0 và 1). Mỗi biến ghi kết quả trả lời của học sinh nhận các giá trị nguyên dương từ 1 đến 4 ứng với các phương án lựa chọn trong câu trắc nghiệm (1=A, 2=B, 3=C, 4=D), giá trị 9 để chỉ dữ liệu bị bỏ sót hoặc không hợp lệ. 1.2. File dữ liệu để sử dụng mô hình Rasch Lệnh để tạo file dữ liệu : write outfile'giang.dat'/ c1 c2 c3 c4 c5 c6 c7 c8 c9 c10 c11 c12 c13 c14 c15 c16 c17 c18 c19 c20 (20f1). execute. File dữ liệu có tên là giang.dat 1.3. Tạo file điều khiển Các dòng lệnh: set width =132 ! page data_file giang.dat codes 012349 FORMAT NAME 1 ITEMS 9-48 key 2211344322333443411300000000000000000000 ! score=1 scale 1-40 ! giang ESTIMATE !iter=50; SCALE=giang >-giang.out SHOW ! SCALE=giang >-giang.map SHOW ITEMS ! SCALE=giang >-giang.itm SHOW CASES ! SCALE=giang; form=export;delimiter=tab >-giang.cas ITANAL ! scale=giang >-giang.ITn Quit File điều khiển có tên: giang.ctl 123 2. Lựa chọn phần mềm để phân tích câu hỏi Sử dụng phần mềm chuyên dụng Quest để phân tích câu hỏi 3. Kết quả chạy chương trình 3.1. Xem kết quả trong file giang.map 3.1.1 Mức độ phù hợp với mô hình QUEST: The Interactive Test Analysis System ----------------------------------------------------------------------------------------------------------------------------------- - Item Estimates (Thresholds) 5/ 1/10 14:30 all on giang (N = 79 L = 40 Probability Level= .50) ----------------------------------------------------------------------------------------------------------------------------------- Summary of item Estimates ========================= Mean .00 SD .34 SD (adjusted) .21 Reliability of estimate .38 Fit Statistics =============== Infit Mean Square Outfit Mean Square Mean 1.00 Mean 1.00 SD .07 SD .11 Infit t Outfit t Mean .06 Mean .06 SD .56 SD .51 20 items with zero scores 0 items with perfect scores ======================================================= 124 QUEST: The Interactive Test Analysis System ----------------------------------------------------------------------------------------------------------------------------------- - Case Estimates 5/ 1/10 14:30 all on giang (N = 79 L = 40 Probability Level= .50) ----------------------------------------------------------------------------------------------------------------------------------- Summary of case Estimates ========================= Mean 1.10 SD .64 SD (adjusted) .32 Reliability of estimate .25 Fit Statistics =============== Infit Mean Square Outfit Mean Square Mean 1.00 Mean 1.00 SD .07 SD .13 Infit t Outfit t Mean .11 Mean .12 SD .41 SD .30 ============================================================================= 3.1.2. Kiểm tra mức độ phù hợp của các câu hỏi với nhau Trong biểu đồ Item Fit sau đây, mỗi câu trắc nghiệm biểu thị bằng dấu *. Những câu trắc nghiệm nằm trong hai đường chấm thẳng đứng có giá trị trung bình bình phương độ phù hợp INFIT MNSQ nằm trong khoảng (0.77 ; 2.30) sẽ phù hợp với mô hình Rasch. Nếu câu nào không phù hợp thì phải sửa lại. QUEST: The Interactive Test Analysis System -------------------------------------------------------------------------------------------------------- ---------------------------- Item Fit 5/ 1/10 14:30 all on giang (N = 79 L = 40 Probability Level= .50) -------------------------------------------------------------------------------------------------------- ---------------------------- INFIT MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 1.40 1.50 1.60 ----------+---------+---------+---------+---------+---------+---------+---------+---------+---------+--- ------+---------+---------+- 1 item 1 . * | . 2 item 2 . | * . 3 item 3 . *| . 4 item 4 . * | . 5 item 5 . | * . 6 item 6 . | * . 7 item 7 . * . 8 item 8 . *| . 9 item 9 . * | . 10 item 10 . * | . 11 item 11 . * | . 125 12 item 12 . *| . 13 item 13 . * | . 14 item 14 . * | . 15 item 15 . | * . 16 item 16 . | * . 17 item 17 . * | . 18 item 18 . * | . 19 item 19 . | * . 20 item 20 . | * . ======================================================================================================== Các câu hỏi đều có chỉ số INFIT MNSQ nằm trong khoảng cho phép, tạo thành cấu trúc. 3.1.3. Kiểm tra năng lực của học sinh so với độ khó của câu hỏi Biểu đồ minh họa sự phân bố độ khó của câu hỏi so với năng lực của học sinh QUEST: The Interactive Test Analysis System ------------------------------------------------------------------------------------------- ----------------------------------------- Item Estimates (Thresholds) 5/ 1/10 14:30 all on giang (N = 79 L = 40 Probability Level= .50) ------------------------------------------------------------------------------------------- ----------------------------------------- 3.0 X | | | | | | | | | | XXXXXXXX | | | | 2.0 | | | XXXXXX | | | | | XXXXXXXXXXXX | | | | XXXXXXXXXXXXXX | 1.0 | | XXXXXXXXXXXX | 7 | | | XXXXXXXXXX | | 6 | XXXXXXX | 2 | XXXX | | 9 11 20 | 17 .0 XX | 10 | 1 3 | 5 13 14 15 18 X | 12 19 | 16 | 126 | | 4 | | | 8 | | | -1.0 | -------------- 3.2. Xem kết quả trong file TN.itn Ta xem xét các chỉ số: - Categories: là câu có phương án đúng, các số 1, 2, 3 ,4 tương ứng với các lựa chọn A, B, C, D trong câu trắc nghiệm, phương án đúng được đánh dấu (*), giá trị 9 chỉ missing - học sinh không chọn hoặc bỏ trống không trả lời câu hỏi. - Disc: độ phân biệt. - Percent: tỉ lệ phần trăm của một phương án là tỉ lệ giữa số thí sinh chọn phương án đó so với thí sinh làm bài kiểm tra. - Pt – Beserial: hệ số tương quan point biserial. Cần loại bỏ những câu hỏi có mối tương quan thấp hoặc dưới 0 sẽ làm tăng độ tin cậy của bài kiểm tra. - StepLabel 1: Giữa giá trị 0 và 1 có một bước, thí sinh thực hiện được bước này khi trả lời đúng câu hỏi. - Thresholds: ngưỡng để vượt qua, thực chất là độ khó của câu trắc nghiệm. - Error: sai số trong tính toán. Đối với câu hỏi 5 (Item 5) Độ khó p = 75.9 Độ phân biệt D = 0.22 Infit MNSQ = 1.02 nằm trong khoảng cho phép Đây là câu hỏi có độ khó tương đối; chỉ số infit MNSQ nằm trong khoảng cho phép, tuy nhiên cần sửa chữ phương án nhiễu 1 để câu hỏi tốt hơn. Item 5: item 5 Infit MNSQ = 1.02 Disc = .22 Categories 0 1 2 3* 4 9 missing Count 0 0 9 60 9 1 0 Percent (%) .0 .0 11.4 75.9 11.4 1.3 Pt-Biserial NA NA -.24 .22 -.04 -.03 p-value NA NA .015 .026 .362 .383 Mean Ability NA NA .75 1.17 1.00 .87 NA Step Labels 1 Thresholds -.11 Error .27........................................................................................ ... 127 Đối với câu hỏi 6 (item 6) Độ khó p = 63.3 Độ phân biệt D = 0.16 Infit MNSQ = 1.08 nằm trong khoảng cho phép Đây là câu hỏi tương đối khó, có giá trị phân biệt cao; chỉ số infit MNSQ nằm trong khoảng cho phép, các phương án nhiễu tốt. Item 6: item 6 Infit MNSQ = 1.08 Disc = .16 Categories 0 1 2 3 4* 9 missing Count 0 3 16 8 50 2 0 Percent (%) .0 3.8 20.3 10.1 63.3 2.5 Pt-Biserial NA .05 -.08 -.12 .16 -.12 p-value NA .322 .229 .148 .076 .152 Mean Ability NA 1.26 1.01 .87 1.18 .64 NA Step Labels 1 Thresholds .52 Error .25 4. Kết luận Trên đây là các chỉ số của 2 câu trắc nghiệm : câu 5, câu 6. Qua phân tích tổng số 20 câu trắc nghiệm trong đề kiểm tra 15’ Tiếng Việt của học kì I có thể đưa ra một số kết luận đã được thể hiện ở bảng tổng hợp trên. ----------------------------------- 6.3. Đề kiểm tra Tiếng Việt 15’ học kì II 1. Dữ liệu để phân tích 1.1. File dữ liệu SPSS - File dữ liệu được nhập vào máy tính, sử dụng phần mềm SPSS, tên file là kiemtra 15’- HKII.sav - Biến đầu tiên là: Tên học sinh - 20 biến tiếp theo là: c1 c2 c3 c4 c5 c6 c7 c8 c9 c10 c11 c12 c13 c14 c15 c16 c17 c18 c19 c20. Đây là các biến ghi lại các câu trả lời của học sinh khi làm bài kiểm tra ứng với 20 câu hỏi trắc nghiệm (chỉ nhận các giá trị 0 và 1). Mỗi biến ghi kết quả trả lời của học sinh nhận các giá trị nguyên dương từ 1 đến 4 ứng với các phương án lựa chọn trong câu trắc nghiệm (1=A, 2=B, 3=C, 4=D), giá trị 9 để chỉ dữ liệu bị bỏ sót hoặc không hợp lệ. 1.2. File dữ liệu để sử dụng mô hình Rasch Lệnh để tạo file dữ liệu : write outfile'giang.dat'/ c1 c2 c3 c4 c5 c6 c7 c8 c9 c10 c11 c12 c13 c14 c15 c16 c17 c18 c19 c20 (20f1). execute. 128 File dữ liệu có tên là giang.dat 1.3. Tạo file điều khiển Các dòng lệnh: set width =132 ! page data_file giang.dat codes 012349 FORMAT NAME 1 ITEMS 9-48 key 4322444332332434123400000000000000000000 ! score=1 scale 1-40 ! giang ESTIMATE !iter=50; SCALE=giang >-giang.out SHOW ! SCALE=giang >-giang.map SHOW ITEMS ! SCALE=giang >-giang.itm SHOW CASES ! SCALE=giang; form=export;delimiter=tab >-giang.cas ITANAL ! scale=giang >-giang.ITn Quit File điều khiển có tên: giang.ctl 2. Lựa chọn phần mềm để phân tích câu hỏi Sử dụng phần mềm chuyên dụng Quest để phân tích câu hỏi 3. Kết quả chạy chương trình 3.1. Xem kết quả trong file giang.map 3.1.1 Mức độ phù hợp với mô hình QUEST: The Interactive Test Analysis System ---------------------------------------------------------------------------------------------------------------------------------- Item Estimates (Thresholds) 5/ 1/10 14:39 all on giang (N = 99 L = 40 Probability Level= .50) ----------------------------------------------------------------------------------------------------------------------------------- Summary of item Estimates ========================= Mean .00 SD 1.92 SD (adjusted) 1.90 Reliability of estimate .97 129 Fit Statistics =============== Infit Mean Square Outfit Mean Square Mean 1.00 Mean 1.06 SD .07 SD .28 Infit t Outfit t Mean .00 Mean .12 SD .40 SD .69 ======================================================= QUEST: The Interactive Test Analysis System ----------------------------------------------------------------------------------------------------------------------------------- Case Estimates 5/ 1/10 14:39 all on giang (N = 99 L = 40 Probability Level= .50) ----------------------------------------------------------------------------------------------------------------------------------- Summary of case Estimates ========================= Mean -.36 SD .78 SD (adjusted) .16 Reliability of estimate .04 Fit Statistics =============== Infit Mean Square Outfit Mean Square Mean .99 Mean 1.06 SD .50 SD 1.08 Infit t Outfit t Mean -.04 Mean .06 SD 1.13 SD .99 3.1.2. Kiểm tra mức độ phù hợp của các câu hỏi với nhau Trong biểu đồ Item Fit sau đây, mỗi câu trắc nghiệm biểu thị bằng dấu *. Những câu trắc nghiệm nằm trong hai đường chấm thẳng đứng có giá trị trung bình bình phương độ phù 130 hợp INFIT MNSQ nằm trong khoảng (0.77 ; 2.30) sẽ phù hợp với mô hình Rasch. Nếu câu nào không phù hợp thì phải sửa lại. QUEST: The Interactive Test Analysis System ------------------------------------------------------------------------------------------------------- Item Fit 5/ 1/10 14:39 all on giang (N = 99 L = 40 Probability Level= .50) -------------------------------------------------------------------------------------------------------- ---------------------------- INFIT MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 1.40 1.50 1.60 ----------+---------+---------+---------+---------+---------+---------+---------+---------+---------+--- ------+---------+---------+- 1 item 1 . * . 2 item 2 . * | . 4 item 4 . * | . 6 item 6 . | * . 7 item 7 . * | . 9 item 9 . |* . 10 item 10 . * | . 11 item 11 . | * . 13 item 13 . * . 15 item 15 . | * . 18 item 18 . | * . 19 item 19 . | * . 20 item 20 . * | . ======================================================================================================== Các câu hỏi đều có chỉ số INFIT MNSQ nằm trong khoảng cho phép, tạo thành cấu trúc. 3.1.3. Kiểm tra năng lực của học sinh so với độ khó của câu hỏi Biểu đồ minh họa sự phân bố độ khó của câu hỏi so với năng lực của học sinh QUEST: The Interactive Test Analysis System Item Estimates (Thresholds) 5/ 1/10 14:39 all on giang (N = 99 L = 40 Probability Level= .50) ------------------------------------------------------------------------------------ ------------------------------------------------ 3.0 | | | | | | 15 | | 19 | 18 2.0 | 11 | | 20 | | X | | | | 1.0 | | 131 XXXXXXXXXXX | 6 | | | | XXXXXXXXXXXXXXXXXXXXXXXXX | | .0 | | | | XXXXXXXXXXXXXXXXXXXXXXXXXX | | | | | 7 9 XXXXXXXXXXXXXXXXXXXXX | -1.0 | | | | XXXXXXXXXXX | 13 | | 10 | 4 | -2.0 XXXX | | | 2 | | | 1 | | | -3.0 | ------------------------------------------------------------------------------------------- 3.2. Xem kết quả trong file TN.itn Ta xem xét các chỉ số: - Categories: là câu có phương án đúng, các số 1, 2, 3 ,4 tương ứng với các lựa chọn A, B, C, D trong câu trắc nghiệm, phương án đúng được đánh dấu (*), giá trị 9 chỉ missing - học sinh không chọn hoặc bỏ trống không trả lời câu hỏi. - Disc: độ phân biệt. - Percent: tỉ lệ phần trăm của một phương án là tỉ lệ giữa số thí sinh chọn phương án đó so với thí sinh làm bài kiểm tra. - Pt – Beserial: hệ số tương quan point biserial. Cần loại bỏ những câu hỏi có mối tương quan thấp hoặc dưới 0 sẽ làm tăng độ tin cậy của bài kiểm tra. - StepLabel 1: Giữa giá trị 0 và 1 có một bước, thí sinh thực hiện được bước này khi trả lời đúng câu hỏi. - Thresholds: ngưỡng để vượt qua, thực chất là độ khó của câu trắc nghiệm. - Error: sai số trong tính toán. 132 Đối với câu hỏi 6 (Item 6) Độ khó p = 25.3 Độ phân biệt D = 0.21 Infit MNSQ = 1.08 nằm trong khoảng cho phép Đây là câu hỏi khó; chỉ số infit MNSQ nằm trong khoảng cho phép, tuy nhiên cần sửa chữa các phương án nhiễu, đặc biệt là phương án 3 để câu hỏi tốt hơn. Item 6: item 6 Infit MNSQ = 1.08 Disc = .21 Categories 0 1 2 3 4* 9 missing Count 0 0 0 74 25 0 0 Percent (%) .0 .0 .0 74.7 25.3 .0 Pt-Biserial NA NA NA -.21 .21 NA p-value NA NA NA .018 .018 NA Mean Ability NA NA NA -.46 -.08 NA NA Step Labels 1 Thresholds .78 Error .25 Đối với câu hỏi 15 (item 15) Độ khó p = 6.1 Độ phân biệt D = 0.7 Infit MNSQ = 1.03 nằm trong khoảng cho phép Đây là câu hỏi khó, có giá trị phân biệt cao; chỉ số infit MNSQ nằm trong khoảng cho phép, tuy nhiên cần xem xét các phương án nhiễu, đặc biệt là phương án 4 gây rất nhiều nhầm lẫn cho học sinh. Item 15: item 15 Infit MNSQ = 1.03 Disc = .07 Categories 0 1 2 3* 4 9 missing Count 0 7 13 6 73 0 0 Percent (%) .0 7.1 13.1 6.1 73.7 .0 Pt-Biserial NA .07 -.10 .07 -.01 NA p-value NA .250 .172 .239 .479 NA Mean Ability NA -.16 -.55 -.13 -.37 NA NA Step Labels 1 Thresholds 2.43 Error .43 4. Kết luận Trên đây là các chỉ số của 2 câu trắc nghiệm: câu 6, câu 15. Qua phân tích tổng số 20 câu trắc nghiệm trong đề kiểm tra 15’ Tiếng Việt của học kì II có thể đưa ra một số kết luận đã được thể hiện ở bảng tổng hợp trên. ---------------------------------------- 133 6.4. Đề kiểm tra Tiếng Việt 1 tiết (đề bổ sung ) học kì I 1. Dữ liệu để phân tích 1.1. File dữ liệu SPSS - File dữ liệu được nhập vào máy tính, sử dụng phần mềm SPSS, tên file là kiemtra 1tiet- HKI.sav - Biến đầu tiên là: Tên học sinh - 40 biến tiếp theo là: c1 c2 c3 c4 c5 c6 c7 c8 c9 c10 c11 c12 c13 c14 c15 c16 c17 c18 c19 c20 c21 c22 c23 c24 c25 c26 c27 c28 c29 c30 c31 c32 c33 c34 c35 c36 c37 c38 c39 c40. Đây là các biến ghi lại các câu trả lời của học sinh khi làm bài kiểm tra ứng với 40 câu hỏi trắc nghiệm (chỉ nhận các giá trị 0 và 1). Mỗi biến ghi kết quả trả lời của học sinh nhận các giá trị nguyên dương từ 1 đến 4 ứng với các phương án lựa chọn trong câu trắc nghiệm (1=A, 2=B, 3=C, 4=D), giá trị 9 để chỉ dữ liệu bị bỏ sót hoặc không hợp lệ. 1.2. File dữ liệu để sử dụng mô hình Rasch Lệnh để tạo file dữ liệu : write outfile'giang.dat'/ c1 c2 c3 c4 c5 c6 c7 c8 c9 c10 c11 c12 c13 c14 c15 c16 c17 c18 c19 c20 c21 c22 c23 c24 c25 c26 c27 c28 c29 c30 c31 c32 c33 c34 c35 c36 c37 c38 c39 c40 (40f1). execute. File dữ liệu có tên là giang.dat 1.3. Tạo file điều khiển Các dòng lệnh: set width =132 ! page data_file giang.dat codes 012349 FORMAT NAME 1 ITEMS 9-48 key 4322444332332434123421134241222332123334 ! score=1 scale 1-40 ! giang ESTIMATE !iter=50; SCALE=giang >-giang.out SHOW ! SCALE=giang >-giang.map SHOW ITEMS ! SCALE=giang >-giang.itm SHOW CASES ! SCALE=giang; form=export;delimiter=tab >-giang.cas ITANAL ! scale=giang >-giang.ITn 134 Quit File điều khiển có tên: giang.ctl 2. Lựa chọn phần mềm để phân tích câu hỏi Sử dụng phần mềm chuyên dụng Quest để phân tích câu hỏi 3. Kết quả chạy chương trình 3.1. Xem kết quả trong file giang.map 3.1.1 Mức độ phù hợp với mô hình QUEST: The Interactive Test Analysis System ----------------------------------------------------------------------------------------------------------------------------------- - Item Estimates (Thresholds) 5/ 1/10 15:11 all on giang (N = 99 L = 40 Probability Level= .50) ----------------------------------------------------------------------------------------------------------------------------------- Summary of item Estimates ========================= Mean .00 SD 1.55 SD (adjusted) 1.52 Reliability of estimate .96 Fit Statistics =============== Infit Mean Square Outfit Mean Square Mean 1.00 Mean 1.02 SD .05 SD .20 Infit t Outfit t Mean .05 Mean .11 SD .27 SD .59 15 items with zero scores 0 items with perfect scores ============================================================================= ======================================================= 135 QUEST: The Interactive Test Analysis System ----------------------------------------------------------------------------------------------------------------------------------- Case Estimates 5/ 1/10 15:11 all on giang (N = 99 L = 40 Probability Level= .50) ---------------------------------------------------------------------------------------------------------------------------------- Summary of case Estimates ========================= Mean -1.24 SD .54 SD (adjusted) .00 Reliability of estimate .00 Fit Statistics =============== Infit Mean Square Outfit Mean Square Mean .99 Mean 1.02 SD .35 SD .53 Infit t Outfit Mean -.01 Mean .08 SD .98 SD .85 0 cases with zero scores 0 cases with perfect scores 3.1.2. Kiểm tra mức độ phù hợp của các câu hỏi với nhau Trong biểu đồ Item Fit sau đây, mỗi câu trắc nghiệm biểu thị bằng dấu *. Những câu trắc nghiệm nằm trong hai đường chấm thẳng đứng có giá trị trung bình bình phương độ phù hợp INFIT MNSQ nằm trong khoảng (0.77 ; 1.30) sẽ phù hợp với mô hình Rasch. Nếu câu nào không phù hợp thì phải sửa lại. 136 QUEST: The Interactive Test Analysis System -------------------------------------------------------------------------------------------------------- ---------------------------- Item Fit 5/ 1/10 15:11 all on giang (N = 99 L = 40 Probability Level= .50) -------------------------------------------------------------------------------------------------------- ---------------------------- INFIT MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 1.40 1.50 1.60 ----------+---------+---------+---------+---------+---------+---------+---------+---------+---------+--- ------+---------+---------+- 1 item 1 . |* . 2 item 2 . *| . 5 item 5 . * | . 6 item 6 . * | . 7 item 7 . | * . 10 item 10 . * | . 11 item 11 . * | . 13 item 13 . * | . 15 item 15 . * | . 18 item 18 . * . 20 item 20 . * | . 21 item 21 . * | . 25 item 25 . * . 27 item 27 . | * . 28 item 28 . | * . 29 item 29 . * | . 30 item 30 . | * . 31 item 31 . | * . 32 item 32 . | * . 34 item 34 . * | . 36 item 36 . | * . 37 item 37 . | * . 38 item 38 . | * . 39 item 39 . * | . 40 item 40 . | * . ================================================================================= 137 Các câu hỏi đều có chỉ số INFIT MNSQ nằm trong khoảng cho phép, tạo thành cấu trúc. 3.1.3. Kiểm tra năng lực của học sinh so với độ khó của câu hỏi Biểu đồ minh họa sự phân bố độ khó của câu hỏi so với năng lực của học sinh QUEST: The Interactive Test Analysis System ------------------------------------------------------------------------------------------- ----------------------------------------- Item Estimates (Thresholds) 5/ 1/10 15:11 all on giang (N = 99 L = 40 Probability Level= .50) ------------------------------------------------------------------------------------------- ----------------------------------------- 2.0 | | | | 18 | | 5 6 | | 31 37 38 | | | 39 1.0 | 36 | 2 30 | 40 | | | | 21 | 10 11 | | 13 28 X | 20 .0 | | 15 25 XXX | | XXXXXX | | | XXXXXXXXX | | | | -1.0 XXXXXXXXXXXXXXXXXXXXXXX | | | XXXXXXXXXXXXXXXXXXXXXX | | | | XXXXXXXXXXXXXXXXXXXX | | | | -2.0 XXXXXXXXXXXXXX | | | | | 1 | 27 32 | 34 | 29 | 138 | 7 X | -3.0 | ------------------------------------------------------------------------------------ ------------------------------------------------ Each X represents 1 students 3.2. Xem kết quả trong file TN.ita Ta xem xét các chỉ số: - Categories: là câu có phương án đúng, các số 1, 2, 3 ,4 tương ứng với các lựa chọn A, B, C, D trong câu trắc nghiệm, phương án đúng được đánh dấu (*), giá trị 9 chỉ missing - học sinh không chọn hoặc bỏ trống không trả lời câu hỏi. - Disc: độ phân biệt. - Percent: tỉ lệ phần trăm của một phương án là tỉ lệ giữa số thí sinh chọn phương án đó so với thí sinh làm bài kiểm tra. - Pt – Beserial: hệ số tương quan point biserial. Cần loại bỏ những câu hỏi có mối tương quan thấp hoặc dưới 0 sẽ làm tăng độ tin cậy của bài kiểm tra. - StepLabel 1: Giữa giá trị 0 và 1 có một bước, thí sinh thực hiện được bước này khi trả lời đúng câu hỏi. - Thresholds: ngưỡng để vượt qua, thực chất là độ khó của câu trắc nghiệm. - Error: sai số trong tính toán. Đối với câu hỏi 1 (Item 28) Độ khó p = 69.7 Độ phân biệt D = 0.26 Infit MNSQ = 0.97 nằm trong khoảng cho phép Đây là câu hỏi có độ khó tương đối, độ phân biệt khá; chỉ số Infit MNSQ = 0.97 nằm trong khoảng cho phép, các phương án nhiễu tốt. Có thể giữ lại câu hỏi trắc nghiệm này để làm kiểm tra. Item 28: item 28 Infit MNSQ = 1.02 Disc = .17 Categories 0 1* 2 3 4 9 missing Count 0 20 0 78 0 1 0 Percent (%) .0 20.2 .0 78.8 .0 1.0 Pt-Biserial NA .17 NA -.15 NA -.08 p-value NA .048 NA .073 NA .229 Mean Ability NA -1.06 NA -1.29 NA -1.63 NA Step Labels 1 Thresholds .19 Error .26 ........................................................................................... ............................................ Đối với câu hỏi 27 (item 27) Độ khó p = 74.7 139 Độ phân biệt D = 0.17 Infit MNSQ = 1.00 nằm trong khoảng cho phép Đây là câu hỏi có mức độ khó vừa phải; chỉ số infit MNSQ nằm trong khoảng cho phép, các phương án nhiễu tương đối. Item 27: item 27 Infit MNSQ = 1.00 Disc = .17 Categories 0 1 2 3* 4 9 missing Count 0 15 9 74 0 1 0 Percent (%) .0 15.2 9.1 74.7 .0 1.0 Pt-Biserial NA -.08 -.20 .17 NA .11 p-value NA .216 .025 .045 NA .139 Mean Ability NA 1.24 1.08 1.33 NA 1.76 NA Step Labels 1 Thresholds .19 Error .23 4. Kết luận Trên đây là các chỉ số của 3 câu trắc nghiệm : câu 1 và câu 27. Qua phân tích tổng số 40 câu trắc nghiệm trong đề kiểm tra 1 tiết (bổ sung 2) Tiếng Việt của học kì I có thể đưa ra một số kết luận đã được thể hiện ở bảng tổng hợp trên. ---------------------------------------- 6.5. Đề kiểm tra Tiếng Việt 1 tiết (đề bổ sung) học kì II 1. Dữ liệu để phân tích 1.1. File dữ liệu SPSS - File dữ liệu được nhập vào máy tính, sử dụng phần mềm SPSS, tên file là kiemtra 1tiet- HKII.sav - Biến đầu tiên là: Tên học sinh - 40 biến tiếp theo là: c1 c2 c3 c4 c5 c6 c7 c8 c9 c10 c11 c12 c13 c14 c15 c16 c17 c18 c19 c20 c21 c22 c23 c24 c25 c26 c27 c28 c29 c30 c31 c32 c33 c34 c35 c36 c37 c38 c39 c40. Đây là các biến ghi lại các câu trả lời của học sinh khi làm bài kiểm tra ứng với 40 câu hỏi trắc nghiệm (chỉ nhận các giá trị 0 và 1). Mỗi biến ghi kết quả trả lời của học sinh nhận các giá trị nguyên dương từ 1 đến 4 ứng với các phương án lựa chọn trong câu trắc nghiệm (1=A, 2=B, 3=C, 4=D), giá trị 9 để chỉ dữ liệu bị bỏ sót hoặc không hợp lệ. 1.2. File dữ liệu để sử dụng mô hình Rasch Lệnh để tạo file dữ liệu : write outfile'giang.dat'/ 140 c1 c2 c3 c4 c5 c6 c7 c8 c9 c10 c11 c12 c13 c14 c15 c16 c17 c18 c19 c20 c21 c22 c23 c24 c25 c26 c27 c28 c29 c30 c31 c32 c33 c34 c35 c36 c37 c38 c39 c40 (40f1). execute. File dữ liệu có tên là giang.dat 1.3. Tạo file điều khiển Các dòng lệnh set width =132 ! page data_file giang.dat codes 012349 FORMAT NAME 1 ITEMS 9-48 key 4323443432311422122131244324342313234344 ! score=1 scale 1-40 ! giang ESTIMATE !iter=50; SCALE=giang >-giang.out SHOW ! SCALE=giang >-giang.map SHOW ITEMS ! SCALE=giang >-giang.itm SHOW CASES ! SCALE=giang; form=export;delimiter=tab >-giang.cas ITANAL ! scale=giang >-giang.ITn Quit File điều khiển có tên: giang.ctl 2. Lựa chọn phần mềm để phân tích câu hỏi Sử dụng phần mềm chuyên dụng Quest để phân tích câu hỏi 3. Kết quả chạy chương trình 3.1. Xem kết quả trong file giang.map 3.1.1 Mức độ phù hợp với mô hình QUEST: The Interactive Test Analysis System ----------------------------------------------------------------------------------------------------------------------------------- - Item Estimates (Thresholds) 5/ 1/10 15: 3 all on giang (N = 99 L = 40 Probability Level= .50) ----------------------------------------------------------------------------------------------------------------------------------- Summary of item Estimates ========================= Mean .00 141 SD .38 SD (adjusted) .26 Reliability of estimate .48 Fit Statistics =============== Infit Mean Square Outfit Mean Square Mean 1.00 Mean 1.00 SD .05 SD .11 Infit t Outfit t Mean .05 Mean .06 SD .33 SD .51 0 items with zero scores 0 items with perfect scores QUEST: The Interactive Test Analysis System ---------------------------------------------------------------------------------------------------------------------------------- Case Estimates 5/ 1/10 15: 3 all on giang (N = 99 L = 40 Probability Level= .50) ----------------------------------------------------------------------------------------------------------------------------------- Summary of case Estimates ========================= Mean 1.51 SD .51 SD (adjusted) .28 Reliability of estimate .29 Fit Statistics =============== Infit Mean Square Outfit Mean Square 142 Mean 1.00 Mean 1.00 SD .04 SD .15 Infit t Outfit t Mean .09 Mean .09 SD .21 SD .38 0 cases with zero scores 5 cases with perfect scores ============================================================================= 3.1.2. Kiểm tra mức độ phù hợp của các câu hỏi với nhau Trong biểu đồ Item Fit sau đây, mỗi câu trắc nghiệm biểu thị bằng dấu *. Những câu trắc nghiệm nằm trong hai đường chấm thẳng đứng có giá trị trung bình bình phương độ phù hợp INFIT MNSQ nằm trong khoảng (0.77 ; 1.30) sẽ phù hợp với mô hình Rasch. Nếu câu nào không phù hợp thì phải sửa lại. QUEST: The Interactive Test Analysis System -------------------------------------------------------------------------------------------------------- ---------------------------- Item Fit 5/ 1/10 15: 3 all on giang (N = 99 L = 40 Probability Level= .50) -------------------------------------------------------------------------------------------------------- ---------------------------- INFIT MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 1.40 1.50 1.60 ----------+---------+---------+---------+---------+---------+---------+---------+---------+---------+--- ------+---------+---------+- 1 item 1 . | * . 2 item 2 . *| . 3 item 3 . * | . 4 item 4 . | * . 5 item 5 . | * . 6 item 6 . | * . 7 item 7 . | * . 8 item 8 . * | . 9 item 9 . * | . 10 item 10 . | * . 11 item 11 . *| . 12 item 12 . |* . 13 item 13 . | * . 14 item 14 . * | . 15 item 15 . * | . 16 item 16 . | * . 143 17 item 17 . |* . 18 item 18 . * | . 19 item 19 . * | . 20 item 20 . * | . 21 item 21 . | * . 22 item 22 . * | . 23 item 23 . | * . 24 item 24 . | * . 25 item 25 . * . 26 item 26 . | * . 27 item 27 . | * . 28 item 28 . * | . 29 item 29 . * . 30 item 30 . *| . 31 item 31 . | * . 32 item 32 . * . 33 item 33 . * | . 34 item 34 . | * . 35 item 35 . * . 36 item 36 . | * . 37 item 37 . * | . 38 item 38 . | * . 39 item 39 . * | . 40 item 40 . * | . ======================================================================================================== ============================ Các câu hỏi đều có chỉ số INFIT MNSQ nằm trong khoảng cho phép, tạo thành cấu trúc. 3.1.3. Kiểm tra năng lực của học sinh so với độ khó của câu hỏi Biểu đồ minh họa sự phân bố độ khó của câu hỏi so với năng lực của học sinh QUEST: The Interactive Test Analysis System ------------------------------------------------------------------------------------------- ----------------------------------------- Item Estimates (Thresholds) 5/ 1/10 15: 3 all on giang (N = 99 L = 40 Probability Level= .50) ------------------------------------------------------------------------------------------- ----------------------------------------- 3.0 | | | | | XXXXX | | | XXXXXXX | | | 2.0 XXXXXX | | XXXXXXXXXXX | | XXXXXXXXXXXXX | | XXXXXXXXXXXXXX | | XXXXXXX | | XXXXXXXXXXXXX | 1.0 XXXXXXX | XX | 144 | XXXXX | XX | X | 8 | 9 20 | 1 5 17 | 18 19 21 24 | 2 3 10 13 14 15 34 | 4 7 16 27 28 30 31 36 .0 | 35 | 11 26 33 38 | 23 37 | | 6 12 | 40 | 22 39 | | | 25 29 | -1.0 | | 32 | | | | | | | | | -2.0 | ------------------------------------------------------------------------------------ ------------------------------------------------ Each X represents 1 students 3.2. Xem kết quả trong file TN.ita Ta xem xét các chỉ số: - Categories: là câu có phương án đúng, các số 1, 2, 3 ,4 tương ứng với các lựa chọn A, B, C, D trong câu trắc nghiệm, phương án đúng được đánh dấu (*), giá trị 9 chỉ missing - học sinh không chọn hoặc bỏ trống không trả lời câu hỏi. - Disc: độ phân biệt. - Percent: tỉ lệ phần trăm của một phương án là tỉ lệ giữa số thí sinh chọn phương án đó so với thí sinh làm bài kiểm tra. - Pt – Beserial: hệ số tương quan point biserial. Cần loại bỏ những câu hỏi có mối tương quan thấp hoặc dưới 0 sẽ làm tăng độ tin cậy của bài kiểm tra. - StepLabel 1: Giữa giá trị 0 và 1 có một bước, thí sinh thực hiện được bước này khi trả lời đúng câu hỏi. - Thresholds: ngưỡng để vượt qua, thực chất là độ khó của câu trắc nghiệm. - Error: sai số trong tính toán. Đối với câu hỏi 13 (Item 13) 145 Độ khó p = 78.8 Độ phân biệt D = 0.14 Infit MNSQ = 1.04 nằm trong khoảng cho phép Đây là câu hỏi dễ, độ phân biệt thấp; chỉ số Infit MNSQ = 1.04 nằm trong khoảng cho phép, tuy nhiên các phương án nhiễu chưa thực sự hiệu quả. Item 13: item 13 Infit MNSQ = 1.04 Disc = .14 Categories 0 1* 2 3 4 9 missing Count 0 78 20 0 0 1 0 Percent (%) .0 78.8 20.2 .0 .0 1.0 Pt-Biserial NA .14 -.15 NA NA .05 p-value NA .084 .065 NA NA .323 Mean Ability NA 1.54 1.40 NA NA 1.78 NA Step Labels 1 Thresholds .19 Error .25.22..................................................................................... ...... Đối với câu hỏi 18 (item 18) Độ khó p = 77.8 Độ phân biệt D = 0.40 Infit MNSQ = 0.92 nằm trong khoảng cho phép Đây là câu hỏi có mức độ khó vừa phải; chỉ số infit MNSQ nằm trong khoảng cho phép, các phương án nhiễu tương đối, độ phân biệt cao. Item 18: item 18 Infit MNSQ = .92 Disc = .40 Categories 0 1 2* 3 4 9 missing Count 0 0 77 19 0 3 0 Percent (%) .0 .0 77.8 19.2 .0 3.0 Pt-Biserial NA NA .40 -.38 NA -.10 p-value NA NA .000 .000 NA .173 Mean Ability NA NA 1.61 1.18 NA 1.23 NA Step Labels 1 Thresholds .25 Error .25 ........................................................................................... 4. Kết luận Trên đây là các chỉ số của 3 câu trắc nghiệm : câu 13 và câu 18. Qua phân tích tổng số 40 câu trắc nghiệm trong đề kiểm tra 1 tiết (bổ sung) Tiếng Việt của học kì II có thể đưa ra một số kết luận đã được thể hiện ở bảng tổng hợp trên. ---------------------------------------- 146