Luận văn Đánh giá các yếu tố ảnh hưởng đến chất lượng các bộ đề thi trắc nghiệm khách quan tại Khoa Công Nghệ Thông tin - Đại học Thái Nguyên

.351 35.362 35.035 38.178 37.078 35.328 34.381 32.680 34.822 35.020 34.568 33.504 32.785 33.087 33.304 .234 .284 .159 .066 .160 .134 .328 .063 .386 .168 .030 .144 .263 .084 .269 .069 .438 .107 .178 .380 .201 .099 .300 .575 .546 .320 .416 .403 .668 .488 .604 .756 .778 .759 .760 .759 .759 .778 .761 .750 .759 .763 .772 .776 .763 .755 .760 .751 .761 .758 .781 .774 .761 .753 .741 .752 .755 .752 .748 .740 .745 .743 44 Tên biến Varia ble Điểm trung bình của thang đo nếu item bị xoá Scale Mean if Item Deleted Phương sai của thang đo nếu item bị xoá Scale Variance if Item Deleted Hệ số tương quan của item với các item còn lại Corrected Item- Total Correlation Hệ số alpha nếu item bị xoá Cronbach's Alpha if Item Deleted c33 c34 c35 c36 c37 c38 v39 c40 c41 c42 c43 c44 c45 c46 c47 c48 c49 c50 c51 c52 c53 c54 c55 c56 c57 c58 c59 c60 42.00 42.31 42.23 42.62 41.98 42.08 42.38 42.12 42.00 42.12 42.62 42.54 42.02 42.00 42.62 42.25 42.25 42.12 42.02 42.48 42.15 42.04 41.98 42.15 42.04 42.15 41.98 41.98 35.412 33.982 33.710 37.457 35.156 33.680 34.908 33.241 35.020 33.712 32.908 34.998 33.862 34.196 33.849 33.407 33.407 35.398 35.353 34.372 34.172 36.038 35.862 35.388 35.763 36.015 35.862 36.015 .196 .330 .404 .274 .322 .544 .160 .591 .320 .485 .559 .150 .624 .586 .377 .453 .453 .117 .189 .253 .354 .008 .069 .107 .063 .017 .069 .063 .758 .752 .749 .776 .755 .746 .759 .743 .755 .747 .742 .759 .746 .748 .750 .747 .747 .760 .758 .755 .751 .763 .760 .761 .761 .765 .760 .761 45 Các thông tin về độ tin cậy của toàn bài trắc nghiệm được cho trong bảng sau Bảng 3.2: Các thông số về độ tin cậy (Reliability Statistics) Hệ số tin cậy Cronbach's Alpha Hệ số tin cậy trên các item chuẩn Cronbach's Alpha Based on Standardized Items Số lượng item N of Items .805 .819 60 Qua phân tích số liệu trên bảng Output ta thấy đề thi trên dù còn có một số câu hỏi (item) chưa được tốt song độ tin cậy của toàn bộ trắc nghiệm là khá cao. Kết quả phân tích cho hệ số tin cậy của toàn trắc nghiệm α = 0,805 có nghĩa là 80,5% phương sai của điểm trắc nghiệm là phương sai của điểm số thực và chỉ có 15,5% phương sai của điểm là do sai số ngẫu nhiên của phép đo. Cũng bằng phép phân tích này, nhìn vào bảng 1 ta thấy, những item có tương quan với các item còn lại là thấp (αi < 0.30) thì cần phải xem lại, những item có tương quan qúa thấp (αi < 0) thì nên loại bỏ. Bằng cách tương tự ta có kết quả tổng hợp về độ tin cậy của 50 đề thi trong bảng dưới đây. Bảng 3.3: Hệ số tin cậy Alpha Cronbach’s của 50 đề trắc nghiệm Đề thi Hệ số tin cậy Cronbach's Alpha Hệ số tin cậy trên các item chuẩn Cronbach's Alpha Based on Standardized Items Số lượng item N of Items Đề số 1 .80 .819 60 Đề số 2 .78 .794 60 Đề số 3 .75 .760 60 Đề số 4 .60 .621 60 Đề số 5 .54 .554 60 Đề số 6 .35 .360 60 Đề số 7 .33 .345 60 Đề số 8 .84 .850 60 46 Đề số 9 .86 .872 60 Đề số 10 .65 .661 60 Đề số 11 .65 .655 60 Đề số 12 .58 .591 60 Đề số 13 .48 .492 60 Đề số 14 .47 .485 60 Đề số 15 .50 .512 60 Đề số 16 .73 .743 60 Đề số 17 .74 .750 60 Đề số 18 .70 .712 60 Đề số 19 .69 .700 60 Đề số 20 .47 .485 60 Đề số 21 .50 .512 60 Đề số 22 .73 .743 60 Đề số 23 .74 .750 60 Đề số 24 .70 .712 60 Đề số 25 .69 .700 60 Đề số 26 .35 .360 60 Đề số 27 .33 .345 60 Đề số 28 .35 .360 60 Đề số 29 .33 .345 60 Đề số 30 .84 .850 60 Đề số 31 .86 .872 60 Đề số 32 .65 .661 60 Đề số 33 .65 .655 60 Đề số 34 .58 .591 60 Đề số 35 .80 .812 60 Đề số 36 .81 .821 60 Đề số 37 .65 .661 60 Đề số 38 .65 .655 60 Đề số 39 .58 .591 60 Đề số 40 .80 .812 60 Đề số 41 .81 .821 60 Đề số 42 .54 .554 60 Đề số 43 .35 .360 60 Đề số 44 .33 .345 60 Đề số 45 .84 .850 60 Đề số 46 .86 .872 60 Đề số 47 .65 .661 60 Đề số 48 .65 .655 60 Đề số 49 .70 .712 60 Đề số 50 .69 .700 60 47 3.1.4. Xử lý số liệu đề thi trên mô hình QUEST Phần trên chúng tôi đã dùng phần mềm SPSS để xử lý số liệu kết quả thi, tương tự ta cũng có thể sử dụng mô hình RASCH trên phần mềm chuyên dụng QUEST để phân tích, đánh giá kết quả các bài thi trắc nghiệm. Ví dụ xử lý số liệu cho đề thi của môn Thông tin quang (ký hiệu Môn 1). Để chạy được phần mềm QUEST, ta nhất định phải có file PFE.EXE và file QUEST.EXE, file SPSS.sav chứa dữ liệu bằng số của kết quả thi. Tạo file MON1.dat - Từ cửa sổ file MON1.sav, dùng menu file, chọn Save as, xuất hiện cửa sổ lệnh Save Data As. - Tại cửa sổ Save Data As, Chọn mục Save as type. - Chọn FixedASCII(*.dat). Gõ vào tên MON1. sau đó chọn Save. - Trong PFE.EXE, mở open ta thấy file MON1.DAT. Tạo file mon1.ctl - Từ file PFE.EXE, mở cửa sổ mới, nhập vào đoạn lệnh sau: set width=132!page DATA_FILE MON01.DAT CODES 01 FORMAT NAME 1 ITEMS 9-68 SCALE 1-60! MON01 ESTIMATE !iter=50; SCALE=MON01 >-MON01.out SHOW ! SCALE=MON01 >-MON01.map SHOW ITEMS ! SCALE=MON01 >-MON01.itm SHOW CASES ! SCALE=MON01; form=export;delimiter=tab >- MON01.cas ITANAL ! scale=MON01 >-MON01.ITn Quit 48 Thực hiện ghi lại (chọn nút ghi) ta có file điều khiển mon1.ctl Vào file PFE.EXE, chọn Open, mở file MON1.map, ta có bảng sau Bảng 3.4: Phân bố tương quan giữa độ khó của đề và năng lực học sinh. QUEST: The Interactive Test Analysis System ------------------------------------------------------------------------------------------- Item Estimates (Thresholds) all on mon01 (N = 54 L = 60 Probability Level= .50) 3.0 | | | | NăNG LỰC CAO | ĐỘ KHó CAO X | | XX | XX | 44 2.0 | 15 37 48 XXXX | 8 XX | 45 X | 23 XXXXXX | X | | | XXXXXXXXX | 30 53 1.0 XXX | XXX | 3 32 40 X | XXX | 14 22 26 35 XXXXXX | 24 XXX | 6 | 21 50 54 | 49 57 | 20 36 .0 X | 4 11 25 31 39 55 59 X | 13 | XX | 17 43 | 51 58 | 33 41 | 5 52 56 | 9 16 19 46 60 | X | 7 -1.0 | | 18 28 29 34 38 47 | | 1 12 42 | | 27 | | | 10 -2.0 | | | | 2 | NăNG LỰC THấP | Độ KHó THấP | | -3.0 | ----------------------------------------- Each X represents 1 students Ta cũng thấy đây là một đề có độ khó thấp (đề tương đối dễ). Phân bố kết quả thi gần với phân bố chuẩn. Các item có độ khó cao nhất (item 15, 27, 44, 48) cũng chưa vượt quá năng lực cao nhất của sinh viên tham gia trắc nghiệm. Các item có độ khó quá thấp (item 2, 10, 27) nên loại bỏ vì không phân biệt được năng lực của sinh viên. 49 Để thấy rõ phân bố của các item, ta xem xét bảng sau: Bảng 3.5: Phân bố các item trong khoảng cho phép (infit mean square) ---------------------------------------------------------------------------------------------------------------- all on mon01 (N = 54 L = 60 Probability Level= .50) ---------------------------------------------------------------------------------------------------------------- MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 1.40 ----------+---------+---------+---------+---------+---------+---------+---------+---------+---------+---------+- 1 item 1 . | * . 2 item 2 . | * . 3 item 3 . | * . 4 item 4 . | * . 5 item 5 . * | . 6 item 6 . | * . 7 item 7 . * | . 8 item 8 . | . * 9 item 9 . | * . 10 item 10 . * | . 11 item 11 . * | . 12 item 12 . * | . 13 item 13 . * | . 14 item 14 . | . * 15 item 15 . | * . 16 item 16 . |* . 17 item 17 . * | . 18 item 18 . * | . 19 item 19 . * | . 20 item 20 . * | . 21 item 21 . |* . 22 item 22 . | . * 23 item 23 . | * . 24 item 24 . *| . 25 item 25 . *| . 26 item 26 * | . 27 item 27 . * | . 28 item 28 . |* . 29 item 29 . * . 30 item 30 . * | . 31 item 31 . * | . 32 item 32 . * | . 33 item 33 . * | . 34 item 34 . | * . 35 item 35 . * | . 36 item 36 . * | . 37 item 37 . | . * 38 item 38 . * | . 39 item 39 . * | . 40 item 40 . | * . 41 item 41 . * | . 42 item 42 . * | . 43 item 43 . * | . 44 item 44 . * | . 45 item 45 . | * . 46 item 46 . * | . 47 item 47 . * | . 48 item 48 . * | . 49 item 49 . * | . 50 item 50 . * | . 51 item 51 . | * . 52 item 52 . * | . 53 item 53 . * | . 54 item 54 . * | . 55 item 55 . * | . 56 item 56 . *| . 57 item 57 . | * . 58 item 58 . |* . 59 item 59 . | * . 60 item 60 . *| . Nhìn vào Bảng 3.5 ta thấy, các item 8, 14, 22, 37 mặc dù có độ khó hợp lý nhưng lại nằm ngoài khoảng cho phép (infit mean square) hay có thể nói không tương thích với toàn thang đo nên cần xem xét lại. Để thấy rõ hơn các thông số đo lường của từng item, ta phân tích bảng Results for Observed Responses trong file mon1.itn 50 Bảng 3.6: Các thông số đo lường của từng item trong file mon1.itn QUEST: The Interactive Test Analysis System ........................................................................................... Item 6: item 6 Infit MNSQ = 1.05 Disc = .22 Categories 0 1 missing Count 19 33 0 Percent (%) 36.5 63.5 Pt-Biserial -.22 .22 p-value .058 .058 Mean Ability .85 1.24 NA Step Labels 1 Thresholds .49 Error .30 ........................................................................................... Item 7: item 7 Infit MNSQ = .97 Disc = .31 Categories 0 1 missing Count 7 45 0 Percent (%) 13.5 86.5 Pt-Biserial -.31 .31 p-value .013 .013 Mean Ability .54 1.18 NA Step Labels 1 Thresholds -.92 Error .42 ........................................................................................... Item 8: item 8 Infit MNSQ = 1.40 Disc = -.28 Categories 0 1 missing Count 35 17 0 Percent (%) 67.3 32.7 Pt-Biserial .28 -.28 p-value .023 .023 Mean Ability 1.24 .79 NA Step Labels 1 Thresholds 1.88 Error .31 ........................................................................................... Trong Bảng 3.6 (minh hoạ các tham số của 3 item: 6; 7; 8), ta thấy các item 6; 7 có độ phân biệt tương ứng là Disc = 0,22; 0,31 đều nằm trong khoảng cho phép. Riêng item 8 có độ phân biệt Disc = - 0,8 (D < 0), chứng tỏ đây là câu có vấn đề, cần loại bỏ. 51 3.1.5. Kết luận về độ giá trị của các bộ đề Việc đánh giá độ giá trị của các bộ đề trên cả bốn góc độ: “Độ giá trị nội dung”; “Độ giá trị cấu trúc”; “Độ giá trị tiêu chuẩn” và “Độ giá trị dự báo” là một bài toán quá phức tạp. Trong phạm vi nghiên cứu của luận văn, chúng tôi chỉ đề cập đến yếu tố “Độ giá trị nội dung” và “Độ giá trị cấu trúc”. - Có thể nói nội dung và cấu trúc của các bộ đề đã được đánh giá sơ bộ (một cách định tính) bằng phương pháp chuyên gia qua sự thẩm định của chính người ra đề cũng như nhóm môn học. - Bằng các kỹ thuật phân tích trên phần mềm SPSS hay QUEST, chúng tôi đã chỉ ra các yếu tố (mang tính định lượng) quyết định đến độ giá trị của bộ đề, đó là: + “Độ tin cậy” của bộ đề qua hệ số Cronbach’s alpha. + Hệ số tương quan của mỗi item đối với toàn bộ các item còn lại. + Ma trận tương quan giữa các item trong cùng một trắc nghiệm. + Sự phù hợp giữa độ khó của trắc nghiệm đối với năng lực của sinh viên tham gia làm trắc nghiệm. + Tính đồng nhất của các item trong cùng một trắc nghiệm. Cả 5 thông số trên đều phản ánh độ giá trị của trắc nghiệm, trong đó hệ số tin cậy Cronbach’s coefficent alpha có thể coi là trội hơn cả và dễ được định lượng nhất (càng lớn càng tốt). Do đó trong tính toán, phân tích kỹ thuật, chúng tôi cũng lấy đây là thông số chính để đánh giá chất lượng của trắc nghiệm. 3.2. Xử lý số liệu mẫu phiếu phỏng vấn (phiếu hỏi) trong giảng viên 3.2.1. Đánh giá độ tin cậy của công cụ đo (mẫu phiếu hỏi) Trên cơ sở mẫu phiếu đánh giá các yếu tố ảnh hưởng đến chất lượng các bộ đề thi TNKQ đã nêu ở trên, chúng tôi đã tiến hành phỏng vấn và lấy phiếu đối với 50 giáo viên trực tiếp soạn thảo 50 bộ đề của 50 môn học áp dụng thi TNKQ hết học phần. Kết quả cụ thể như sau. 52 Nếu ta quy đổi thang bậc các mức đồng ý của các phiếu hỏi thành điểm số tương ứng với 5 mức điểm từ 0 đến 4 (chú ý các item với phát biểu ngược chiều lấy giá trị điểm ngược lại), ta sẽ có bảng các điểm số của phiếu hỏi. Về mặt ý nghĩa đo lường, các phiếu hỏi cho điểm số tổng cộng cao sẽ tương ứng với các cá nhân có các yếu tố thuận lợi cho việc xây dựng đề trắc nghiệm, ngược lại các phiếu hỏi có điểm số tổng cộng thấp sẽ tương ứng với các cá nhân có các yếu tố kém thuận lợi cho việc xây dựng đề trắc nghiệm. Các phiếu có phân bố điểm tổng cộng từ 43 đến 94 điểm (điểm tối đa có thể là 120 điểm) cho thấy phân bố điểm rất rộng chứng tỏ các cá nhân tham gia xây dựng đề trắc nghiệm trong các điều kiện rất khác nhau và nhận thức quan điểm cũng rất khác nhau. Tiến hành xử lý số liệu trên phần mềm SPSS ta nhận thấy: Đánh giá độ tin cậy của trắc nghiệm bằng phương pháp đánh giá độ phù hợp của từng item (internal consistency methods) sử dụng mô hình Cronbach’s Coefficent Alpha. Mô hình này đánh giá độ tin cậy của phép đo dựa trên sự tính toán phương sai của từng item trong toàn phép đo và tính tương quan điểm của từng item với với điểm tổng của các item còn lại của phép đo. Phương pháp này thích hợp cho việc xác định độ tin cậy của các loại trắc nghiệm có các item nhiều mức độ tính theo điểm số (kiểu thang định khoảng hay thang định tỷ lệ). Công thức tính như sau: Rxx = )1(1 2 2 x i K K σ σα ∑−−= . Trong đó Rxx : Hệ số tương quan K : Số các item của trắc nghiệm σ2i : Giá trị phương sai của từng item cụ thể của trắc nghiệm σ2x : Giá trị phương sai của toàn trắc nghiệm 53 ∑ σ2i : Tổng các giá trị phương sai của tất cả các item của trắc nghiệm Thực hiện: Sử dụng mô hình Cronbach’s Coefficent Alpha đánh giá độ tin cậy của phép đo các yếu tố ảnh hưởng đến chất lượng bộ đề trắc nghiệm khách quan. Mô hình này đòi hỏi phép đo phải có phân bố chuẩn (hoặc gần chuẩn), có các item được tính theo thang định khoảng. Sử dụng mô hình đo với 30 biến, gồm ba biến trong nhóm thời gian (từ tg1 đến tg3), ba biến trong nhóm động cơ (từ đc1 đến đc3), 16 biến trong nhóm kỹ thuật (từ kt1 đến kt16), 3 biến trong nhóm quan tânm (từ qt1 đến qt3) và 3 biến trong nhóm môn học (từ mh1 đến mh3). Số mẫu sử dụng là 50 (50 cá thể giáo viên được hỏi ý kiến) Chọn Analyze \ Scale \ Reliability như hình vẽ. Hình 1: Các thao tác trong thủ tục Reliability trong SPSS Kết quả tại Out put ta có bảng: Hình 3.1: Thủ tục Analyze \ Scale \ Reliability trong file SPSS.sav 54 Kết quả qua xử lý số liệu, ta có bảng hệ số tin cậy. Bảng 3.7: Hệ số tin cậy của từng item trên mẫu 50 giáo viên (N = 50). Tên biến Variable Điểm trung bình của thang đo nếu item bị xoá Scale Mean if Item Deleted Phương sai của thang đo nếu item bị xoá Scale Variance if Item Deleted Hệ số tương quan của item với các item còn lại Corrected Item- Total Correlation Hệ số alpha nếu item bị xoá Cronbach's Alpha if Item Deleted tg1 tg2 tg3 dc1 dc2 dc3 dc4 dc5 kt1 kt2 kt3 kt4 kt5 kt6 kt7 kt8 kt9 kt10 kt11 kt12 kt13 kt14 kt15 kt16 qt1 qt2 qt3 mh1 mh2 mh3 diemtong 142.68 142.38 143.20 142.10 141.84 141.94 146.22 144.60 142.24 142.10 142.52 142.52 142.00 142.26 142.36 142.68 143.14 143.14 142.82 142.46 146.50 146.14 144.78 144.78 142.84 142.52 143.08 143.00 142.34 142.84 72.78 1108.834 1093.424 1072.531 1102.827 1117.239 1122.262 1079.644 1023.388 1119.002 1102.827 1085.357 1127.479 1107.633 1114.033 1085.990 1117.651 1123.837 1150.204 1100.967 1090.131 1064.867 1054.694 1017.644 986.624 1108.096 1094.500 1128.687 1126.571 1123.494 1108.096 283.032 .521 .521 .839 .521 .484 .293 .879 .814 .409 .869 .897 .122 .726 .390 .804 .655 .241 .542 .639 .854 .958 .868 .905 .909 .789 .716 .094 .158 .200 .789 .760 .746 .742 .737 .744 .748 .749 .738 .725 .748 .744 .740 .750 .745 .747 .740 .748 .750 .756 .744 .741 .735 .732 .723 .716 .745 .742 .751 .750 .750 .745 .937 55 56 Nhận xét: Từ bảng 3.7 ta nhận thấy, hầu hết các item từ tg1 đến mh3 đều có tương quan khá chặt với các item còn lại của thang đo (R ≥ 0.30 được coi là thích hợp). Như vậy hầu hết các item đều phù hợp, tức là điểm của các item có tương quan đáng kể với tổng điểm của các item còn lại. Điều này có nghĩa là các item của từng phép đo có tính đồng nhất và đều đóng góp cho độ tin cậy của toàn phép đo (phép đo Tổng điểm). Ta còn có thể phân tích độ tin cậy của phép đo dựa trên phiếu trả lời trắc nghiệm qua một đánh giá khác. Đó là dựa vào bảng ma trận tương quan giữa các yếu tố (item) trong thang đo với nhau. Sử dụng thủ tục phân tích Data Reduction trong phần mềm SPSS Chọn Analyze \ Data Reduction \ Facter Tại Output ta có bảng sau. 57 tg1 tg2 .84 tg3 0.7 .6 dc1 .1 52 .6 Tg1 Tg2 Tg3 dc1 Dc2 Dc3 Dc4 Dc5 Kt1 Kt2 Kt3 Kt4 Kt5 Kt6 Kt7 Kt8 Kt9 Kt10 Kt11 Kt12 Kt13 Kt14 Kt15 Kt16 Qt1 Qt2 Qt3 Mh1 Mh2 Mh3 1 0 1 0 1 0 7 0. 0 1 dc2 0.48 0.14 0.48 0.32 1 dc3 0.65 0.26 0.74 0.06 0.66 1 dc4 0.76 0.83 0.77 0.62 0.31 0.46 1 dc5 0.64 0.64 0.58 0.36 0.29 0.42 0.78 1 kt1 0.65 0.26 0.74 0.06 0.66 0.55 0.46 0.42 1 kt2 0.17 0.52 0.6 0.45 0.34 0.06 0.62 0.36 0.06 1 kt3 0.56 0.67 0.91 0.78 0.26 0.41 0.78 0.53 0.41 0.78 1 kt4 0.21 0.22 0.36 0.29 0.29 0.08 0.26 0.12 0.08 0.29 0.44 1 kt5 0.21 0.48 0.53 0.82 0.09 -0.1 0.56 0.3 0.43 0.82 0.78 0.5 1 kt6 0.72 0.68 0.47 0.07 0.25 0.2 0.53 0.44 0.2 0.07 0.52 0.25 0.28 1 kt7 0.84 0.79 0.95 0.54 0.4 0.65 0.84 0.64 0.65 0.54 0.9 0.33 0.49 0.67 1 kt8 0.5 0.52 0.48 0.34 0.34 0.25 0.52 0.41 0.25 0.34 0.5 0.19 0.42 0.72 0.52 1 kt9 0.65 0.2 0.63 -0.1 0.76 0.81 0.38 0.34 0.81 -0.1 0.38 0.28 0.1 0.4 0.56 0.31 1 kt10 0.35 0.24 0.46 0.15 0.39 0.26 0.29 0.13 0.26 0.15 0.48 0.78 0.38 0.38 0.46 0.2 0.47 1 kt11 0.53 0.31 0.92 0.39 0.56 0.73 0.56 0.41 0.73 0.39 0.81 0.4 0.47 0.41 0.81 0.38 0.76 0.55 1 kt12 0.28 0.43 0.74 0.76 0.09 0.38 0.57 0.4 0.38 0.76 0.77 0.14 0.45 0.31 0.68 0.56 0.05 0.15 0.59 1 kt13 0.6 0.78 0.78 0.83 0.25 0.29 0.83 0.57 0.29 0.83 0.89 0.38 0.82 0.54 0.8 0.73 0.26 0.33 0.58 0.73 1 kt14 0.29 0.39 0.53 0.53 0.05 0.29 0.47 0.34 0.29 0.53 0.54 0.13 0.38 0.32 0.5 0.59 0.11 0.14 0.4 0.69 0.62 1 kt15 0.35 0.24 0.46 0.15 0.39 0.26 0.29 0.13 0.26 0.15 0.48 0.78 0.38 0.38 0.46 0.2 0.47 0.36 0.55 0.15 0.33 0.14 1 kt16 0.65 0.26 0.74 0.06 0.66 0.34 0.46 0.42 0.35 0.06 0.41 0.08 0.44 0.2 0.65 0.25 0.81 0.26 0.73 0.38 0.29 0.29 0.26 1 qt1 0.84 0.87 0.8 0.58 0.4 0.43 0.86 0.63 0.43 0.58 0.84 0.43 0.7 0.68 0.88 0.59 0.53 0.46 0.64 0.45 0.89 0.42 0.46 0.43 1 qt2 -0.1 0.17 0.52 0.78 0.33 0.35 0.36 0.16 0.36 0.78 0.73 0.34 0.78 0.21 0.41 0.5 0.32 0.27 0.52 0.77 0.69 0.54 0.27 0.32 0.38 1 qt3 0.5 0.11 0.44 0.45 0.89 0.66 0.28 0.37 0.66 0.35 0.2 0.27 0.04 0.31 0.37 0.38 0.82 0.37 0.55 0.02 0.21 0.02 0.37 0.66 0.38 0.42 1 mh1 0.84 0.87 0.8 0.58 0.4 0.43 0.86 0.63 0.43 0.58 0.84 0.43 0.7 0.68 0.88 0.59 0.53 0.46 0.64 0.45 0.89 0.42 0.46 0.43 0.60 0.38 0.38 1 mh2 0.65 0.2 0.63 0.43 0.76 0.81 0.38 0.34 0.81 0.35 0.38 0.28 0.1 0.4 0.56 0.31 0.43 0.47 0.76 0.05 0.26 0.11 0.47 0.81 0.53 0.37 0.82 0.53 1 mh3 0.84 0.87 0.8 0.58 0.4 0.43 0.86 0.63 0.43 0.58 0.84 0.43 0.7 0.68 0.88 0.59 0.53 0.46 0.64 0.45 0.89 0.42 0.46 0.43 0.52 0.38 0.38 0.52 0.53 Bảng 3.8: Ma trận tương quan của các item qua xử lý phiếu hỏi Nhìn vào Bảng 3.8, ta nhận thấy: Hầu hết tương quan giữa các item (30 item từ tg1 đến mh3) đều có trị số lớn hơn 30%. Điều đó chứng tỏ các item trong phiếu trắc nghiệm có tương quan chặt với nhau và đây là một công cụ đo có độ tin cậy đảm bảo cho phép đánh giá các điều kiện thuận lợi cho một giáo viên khi xây dựng bộ đề thi trắc nghiệm. Có thể đánh giá độ tin cậy và phân tích mẫu các phiếu hỏi bằng mô hình RASCH trên phần mềm QUEST. Trong phạm vi này chúng tôi chỉ nghiên cứu trên nhóm các item trong thang đo hẹp, cụ thể là phân tích các item trong thang đo thứ ba: “Mức độ nắm vững kỹ thuật ra đề trắc nghiệm của giảng viên”. - Tạo file dữ liệu. dat + Từ file dữ liệu PHIEU.sav, vào file chọn save as. Xuất hiện cửa sổ lệnh Save as + Trong mục Save as type, chọn FixedASCII(*.dat), gõ vào PHEU + Save. - Trong PFE.EXE, mở open ta thấy file PHIEU.DAT - Tạo file ctl + Trong PFE.EXE, mở file mới. + Gõ vào cửa sổ đoạn lệnh. set width=132!page DATA_FILE PHIEU.DAT CODES 01234 FORMAT NAME 1-2 ITEMS 3-18 58 SCALE 1-16! PHIEU ESTIMATE !iter=50; SCALE=PHIEU >-PHIEU.out SHOW ! SCALE=PHIEU >-PHIEU.map SHOW ITEMS ! SCALE=PHIEU >-PHIEU.itm SHOW CASES ! SCALE=PHIEU; form=export;delimiter=tab >- PHIEU.cas ITANAL ! scale=PHIEU >-PHIEU.ITn Quit + Chọn nút ghi, ta có file phieu.ctl - Trong PFE.EXE, mở open ta thấy có file phieu.ctl - Từ cửa sổ Quest.exe, ta gõ lệnh Submit phieu.ctl ENTER - Trong PFE.EXE, mở open ta thấy có file phieu.map - Chạy file PHIEU.map để phân tích câu hỏi. 59 Bảng 3.9: Ma trận phân bố của các item phiếu hỏi trong file Phieu.map QUEST: The Interactive Test Analysis System ------------------------------------------------------------------------------------------------------------ ------------------------ Item Estimates (Thresholds) 28/12/ 9 10:22 all on phieu (N = 52 L = 16 Probability Level= .50) ------------------------------------------------------------------------------------------------------------ 5.0 | | | | | 11.4 4.0 | | | 3.4 | | | 3.0 | X | | XXXX | | 2.0 | X | | XX | XXXXXXX | 1.4 16.2 | 12.4 1.0 XX | XXXX | 9.3 XXXXXXXX | 2.4 4.4 11.3 15.4 | 6.4 XXX | 13.4 14.3 .0 X | 3.3 5.4 7.4 8.3 10.4 | XX | XX | | X | -1.0 | XXXXX | 12.3 | XXXX | | -2.0 X | | | | X | | -3.0 | X | | | | -4.0 | | 4.3 7.3 10.3 13.3 15.3 | | | | -5.0 | ------------------------------------------------------------------------------------------------------------ ------------------------ Each X represents 1 students 60 Sự phân bố giữa mức độ đồng ý của giáo viên được hỏi so với mức độ yêu cầu của item trong phiếu hỏi là tương đối phù hợp. Phân bố có hình chuông gần đối xứng qua trục của bảng phân bố. Để thấy rõ hơn, ta phân tích Bảng 3.10. Bảng 3.10: Phân bố của các item trong phiếu hỏi trong khoảng cho phép (infit mean square) QUEST: The Interactive Test Analysis System ---------------------------------------------------------------------------------------------------------------------------------- Item Fit 28/12/ 9 10:22 all on phieu (N = 52 L = 16 Probability Level= .50) ---------------------------------------------------------------------------------------------------------------------------------- INFIT MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 1.40 1.50 1.60 ----------+---------+---------+---------+---------+---------+---------+---------+---------+---------+---------+---------+ 1 item 1 . * | . 2 item 2 . * | . 3 item 3 . * . 4 item 4 . * | . 5 item 5 . * | . 6 item 6 . | .* 7 item 7 . * | . 8 item 8 . | * . 9 item 9 . * | . 10 item 10 . * . 11 item 11 . *| . 12 item 12 . | * . 13 item 13 . | * . 14 item 14 . | . * 15 item 15 . * | . 16 item 16 . * | . ============================================================================= Nhìn vào bảng ta thấy, hầu hết các item trong tiểu thang đo “Mức độ được trang bị kỹ thuật ra đề TN” đều nằm trong khoảng cho phép (infit mean square). Duy chỉ có hai item 6 và 14 là nằm ở ngoài khoảng (chứng tỏ có vấn đề). Theo chúng tôi, đây là hai câu hỏi có đề cập đến các khái niệm kỹ thuật cao nên một số người được hỏi chưa nắm được bản chất vấn đề được hỏi. 61 3.2.2. Đánh giá về độ giá trị của công cụ đo và sự phù hợp của mô hình các yếu tố ảnh hưởng đến chất lượng bộ đề thi TNKQ qua xử lý phiếu hỏi Tương tự như xem xét độ giá trị của các bộ đề trắc nghiệm [trong phần 3.1.5], độ giá trị của mẫu phiếu hỏi cũng được đánh giá qua các yếu tố: + “Độ tin cậy” của phiếu hỏi qua hệ số Cronbach’s Alpha. + Hệ số tương quan của mỗi item đối với toàn bộ các item còn lại trong phiếu hỏi. + Ma trận tương quan giữa các item trong cùng một phiếu hỏi. + Sự phù hợp giữa mức độ đánh giá cao của trắc nghiệm đối với sự nhất trí của giáo viên tham gia làm trắc nghiệm. + Tính đồng nhất của các item trong cùng một phiếu hỏi. Với những kết quả đã phân tích trong mục [3.2.1], có thể kết luận mẫu phiếu hỏi sử dụng trong nghiên cứu có độ giá trị tốt (độ tin cậy cao và phù hợp với mô hình đo là các yếu tố ảnh hưởng đến chất lượng bộ đề thi TNKQ). 3.3. Kết luận về các yếu tố ảnh hưởng đến chất lượng bộ đề thi TNKQ Để thấy rõ hơn ảnh hưởng của các yếu tố tác động đến chất lượng bộ đề TNKQ như thế nào ta tiến hành phân tích hai mẫu “Chất lượng đề thi phản ánh qua hệ số tin cậy Alpha Cronbach’s” và “Điều kiện thuận lợi phản ánh qua tổng điểm trên phiếu điều tra”. Để thực hiện được, ta tiến hành - Nhập số liệu của “Chất lượng đề thi” vào cột biến “chl.đe” - Chất lượng đề thi. - Nhập số liệu của “Tổng điểm trên phiếu điều tra” vào cột biến “diem.ptn” - Điểm phiếu trắc nghiệm. - Chú ý mối quan hệ 1-1 giữa các mẫu trên cùng một giáo viên. 62 Dùng thủ tục Bảng chéo (Crosstabulation) để phân tích mối quan hệ giữa hai biến “chl.de” và “diem.ptn”. - Recode lại các biến thành ba nhóm có độ lớn của biến là thấp, vừa và cao. + Chia biến “chl.de” thành ba nhóm “Chất lượng đề kém”, “Chất lượng đề trung bình” và “Chất lượng đề tốt”. + Chia biến “diem.ptn” thành ba nhóm “Điểm phiếu hỏi thấp”, “Điểm phiếu hỏi trung bình” và “Điểm phiếu hỏi cao”. - Để chia biến (Recode) “chl.de” ta phải xác định các yếu tố: Độ trung bình (mean); Độ lệch chuẩn (σ = devian standar). Từ đó xác định các mức: + Mức thấp là giá trị của biến ≤ mean - 1σ + Mức trung bình từ giá trị “ mean - 1σ ” đến giá trị “ mean + 1σ ” + Mức cao là giá trị của biến ≥ mean + 1σ - Áp dụng thủ tục Transform \ Recode \ Into Same Variable cho biến “chl.de” 63 100.0090.0080.0070.0060.0050.00 diem.ptn 10 8 6 4 2 0 Fr eq ue nc y Mean = 76.28 Std. Dev. = 13.22187 N = 50 diem.ptn Hình 3.2: Phân bố thống kê của biến “diem.ptn” - Lấy giá trị trung bình (mean) là 76. - Lấy độ lệch chuẩn Std. Dev là 13 - Mức thấp sẽ là các biến có giá trị nhỏ hơn hoặc bằng 76 - 13 = 63 - Mức cao sẽ là các biến có giá trị lớn hơn hoặc băng 76 + 13 = 89 - Mức trung bình nằm giữa hai giá trị 63 và 89 Sau khi Recode lại biến “ diem.ptn” ta sẽ có biến mới “ diem.ptn.nhom” – (Biến điểm phiếu trắc nghiệm theo nhóm) nhận các giá trị 1,2,3 ứng với các mức 64 điểm phiếu trắc nghiệm thấp, điểm phiếu trắc nghiệm trung bình và điểm phiếu trắc nghiệm cao. Hình 3.3: Biểu đồ phân chia mức khi Recode biến “diem.ptn” Hình 3.4: Thủ tục Transform \ Recode \ Into Same Variables 65 Hình 3.5: Thủ tục Transform \ Recode \ Into Same Variables khi nhóm biến Sau khi đã Recode biến, ta quay lại bảng số liệu SPSS để khai báo lại biến - Trong Sheet Variable chọn Variable view. Chọn biến “diem.ptn.nhom” - Trong mục giá trị (cột Values), kích vào nút bên phải, xuất hiện bảng Values Labels. Khai báo thuộc tính nhãn - Ô value: Nhập 1, ô Value Label nhập nhãn: “Nhóm điểm thấp” \ Add - Ô value: Nhập 2, ô Value Label nhập nhãn: “Nhóm điểm trung bình” \ Add - Ô value: Nhập 1, ô Value Label nhập nhãn: “Nhóm điểm cao” \ Ok. Tiếp tục thực hiện Recode biến đối với biến “chl.de”. Sử dụng thủ tục Analyze \ Descriptive Statistic \ Frequencities. 66 Ta có được biểu đồ phân bố biến “chl.de” với các thông số “mean”, “ Std.dev” như hình vẽ. 1.000.900.800.700.600.500.400.30 chl.de 12 10 8 6 4 2 0 Fr eq ue nc y Mean = 0.642 Std. Dev. = 0.16596 N = 50 chl.de Hình 3.6: Biểu đồ phân bố biến “chl.de” trên mẫu kết quả thi của 50 bộ đề TNKQ Từ đồ thị phân bố biến “chl.de” ta có thể nhận được các thông số - Giá trị trung bình (mean) = 0.642 lấy tròn là 0.64 - Độ lệch chuẩn (Standar Devian) = 0.165 lấy tròn là 0.16 - Mức thấp sẽ là các biến có giá trị nhỏ hơn hoặc bằng 0.64 – 0.16 = 0.48 - Mức cao sẽ là các biến có giá trị lớn hơn hoặc bằng 0.64 + 0.16 = 0.80 67 - Mức trung bình nằm giữa hai giá trị 0.48 và 0.80 Như vậy ta sẽ có phân bố mức khi Recode lại biến “chl.de” theo hình sau Hình 3.7: Phân bố mức của biến “chl.de” sau khi Recode Sau khi dùng thủ tục Transform \ Recode \ Into Same Variables khi nhóm biến. Ta có được biến mới là “chl.de.nhom” - Chất lượng đề nhóm Sau khi đã Recode biến, ta quay lại bảng số liệu SPSS để khai báo lại biến - Trong Sheet Variable chọn Variable view. Chọn biến “chl.de.nhom” - Trong mục giá trị (cột Values), kích vào nút bên phải, xuất hiện bảng Values Labels. Khai báo thuộc tính nhãn. - Ô value: Nhập 1, ô Value Label nhập nhãn: “Nhóm đề chất lượng kém ” \ Add. - Ô value: Nhập 2, ô Value Label nhập nhãn: “Nhóm đề chất lượng trung bình” \ Add. - Ô value: Nhập 1, ô Value Label nhập nhãn: “Nhóm đề chất lượng cao” \ Ok. 68 Bằng cách phân nhóm và khai báo lại nhãn cho các biến mới ta đã có hai biến mới mang đặc trưng của hai biến ban đầu nhưng được phân bố theo nhóm điểm số của thang đo. Vấn đề đặt ra là tìm mối quan hệ giãư hai biến này theo phân bố nhóm. Áp dụng thủ tục Bảng chéo (Crosstabulation) trong SPSS ta sẽ có kết luận về mối tương quan này. Từ thanh menu chọn Statistics \ Summaries \ Crosstabs . Sau đó nhấn nút reset để phục hồi mặc định của hộp thoại rồi chọn: Row : “diem.ptn.nhom” Colum : “chl.de.nhom” Statistic… Tích vào hộp Chi – square và hộp Crrelations Cell.. Counts tích vào hộp Observed và hộp Total Hình 3.8: Thủ tục Bảng chéo (Statistics \ Summaries \ Crosstabs) 69 Trong Output của thủ tục này ta sẽ có bảng chéo Crosstabs Hình 3.9: Kết quả bảng chéo Crosstabs giữa hai biến “diem.ptn.nhom” và “chl.de.nhom” Nhìn vào bảng ta có thể kết luận: - Trong 50 mẫu phiếu hỏi có 10 mẫu phiếu cho điểm số thấp, chiếm 20%, trong đó: + 03 phiếu ứng với người có đề chất lương kém, chiếm 30% của nhóm. + 03 phiếu ứng với người có đề chất lượng vừa, chiếm 30% của nhóm. + 04 phiếu ứng với người có chất lượng đề cao, chiếm 40% của nhóm. - Trong 50 mẫu phiếu có 30 mẫu cho điểm số trung bình, chiếm 60% tổng số mẫu, trong đó: 70 + 05 phiếu ứng với người có chất lượng đề kém, chiếm 16,7% của nhóm + 21 phiếu ứng với người có chất lượng đề trung bình, chiếm 70% của nhóm + 04 phiếu ứng với người có chất lượng đề cao, chiếm 13,3% của nhóm - Trong 50 mẫu phiếu hỏi có 10 mẫu cho điểm số cao, chiếm 20% của nhóm mẫu, trong đó: + 07 phiếu ứng với người có chất lượng đề trung bình, chiếm 70% của nhóm. + 03 phiếu ứng với người có chất lượng đề tốt, chiếm 30% của nhóm. Kết luận: - Bảng chéo Crosstabs cho ta thấy mối quan hệ tương đối giữa các nhóm của hai mẫu biến “chl.de.nhom” và “diem.ptn.nhom”. - Các phân tích trên chỉ ra rằng về cơ bản thì đây là tương quan thuận giữa hai biến “chl.de” và “diem.ptn”. - Một số phân bố không theo quy luật như “điểm phiếu trắc nghiệm thấp lại là của người có đề chất lượng cao”. Điều này có thể giải thích là do số lượng mẫu nghiên cứu là chưa đủ lớn (50 mẫu), hoặc có những người trả lời phiếu trắc nghiệm không trung thực (điều này có thể xảy ra trong thực tế) do những yếu tố chủ quan hoặc khách quan. 71 KẾT LUẬN VÀ ĐỀ NGHỊ A. KẾT LUẬN Với những nghiên cứu và phân tích ở trên, chúng tôi có thể kết luận. - Chất lượng của một đề thi TNKQ được đánh giá trên nhiều yếu tố và theo nhiều góc độ xem xét khác nhau. Tuy nhiên, yếu tố mang tính định lượng và có ý nghĩa đặc trưng nhất có thể dùng để đánh giá chất lượng của trắc nghiệm là “độ tin cậy” được tính bằng hệ số Cronbach’s Alpha. Các trắc nghiệm cho hệ số tin cậy Cronbach’s Alpha lớn thì có chất lượng tốt và ngược lại. - Mô hình các yếu tố ảnh hưởng đến chất lượng các bộ đề trắc nghiệm mà luận văn đưa ra trong mẫu phiếu hỏi đối với giáo viên là phù hợp. Trắc nghiệm cho độ tin cậy chung khá cao và tương quan giữa các item trong phiếu hỏi cũng ở mức đáng tin cậy. - Điểm lượng hoá của phiếu hỏi (sau khi đã Recode biến) đặc trưng cho sự thuận lợi của các yếu tố ảnh hưởng đến người ra đề. Qua phân tích, ta thấy điểm phiếu hỏi cao tương ứng với giáo viên có các yếu tố thuận lợi cho việc ra đề thi TNKQ và ngược lại, điểm phiếu hỏi thấp ứng với giáo viên có các yếu tố kém thuận lợi cho việc ra đề. - Có sự tương quan chặt chẽ giữa điểm số của phiếu hỏi với chất lượng đề thi của chính nghiệm thể đó (trừ số ít trường hợp ngoại lệ). Điều đó cho thấy qua phân tích phiếu hỏi có thể dự đoán khá chính xác chất lượng đề thi mà cá nhân đó chịu trách nhiệm biên soạn. - Qua đánh giá các yếu tố ảnh hưởng đến chất lượng đề thi TNKQ, có thể thấy yếu tố ảnh hưởng lớn nhất đến chất lượng đề thi là việc trang bị kỹ thuật ra đề thi TNKQ cho giáo viên (16 item / tổng số 30 item của phiếu hỏi). 72 B. ĐỀ NGHỊ Từ các nghiên cứu và phân tích ở trên chúng tôi mạnh dạn đề xuất một số giải pháp nhằm nâng cao chất lượng các bộ đề thi TNKQ như sau. - Đầu tư thời gian, kinh phí tập huấn cho đội ngũ giáo viên tại các Bộ môn lý thuyết về đo lường, đánh giá kết quả học tập, trong đó chú trọng đến các kỹ thuật soạn thảo câu hỏi TNKQ. - Triển khai xây dựng ngân hàng câu hỏi TNKQ theo đúng quy trình đã được thống nhất trong toàn trường, có sự quản lý giám sát của bộ phận chuyên trách. - Tăng cường công tác khảo thí, xây dựng đội ngũ cán bộ khảo thí có chuyên môn vững làm nhiệm vụ tư vấn trong xây dựng cũng như đánh giá trực tiếp chất lượng ngân hàng đề thi TNKQ của nhà trường. - Nhanh chóng áp dụng các phần mềm ra đề thi tự động, phần mềm thi TNKQ trực tiếp trên máy tính. Áp dụng các kỹ thuật xử lý số liệu có trợ giúp của máy tính trong phân tích, đánh giá chất lượng đề thi. - Xây dựng một môi trường tương tác làm việc (trên mạmg internet) giữa bộ phận khảo thí với các giáo viên bộ môn sao cho giáo viên có thể dễ dàng đánh giá đề thi của mình cũng như cập nhật sửa đổi ngân hàng câu hỏi thi TNKQ có sự quản lý của trung tâm khảo thí. - Nhà trường cần có sự quan tâm thích đáng về vật chất và tinh thần đối với giáo viên có áp dụng thi TNKQ, coi việc đổi mới phương pháp kiểm tra đánh giá là một trong những khâu nhằm đổi mới phương pháp giảng dạy, nâng cao chất lượng đào tạo. 73 TÀI LIỆU THAM KHẢO Tiếng Việt 1- Nguyễn Phụng Hoàng (2003), Phương pháp trắc nghiệm trong kiểm tra và đánh giá thành quả học tập. NXB Giáo dục. 2- Phạm Viết Vượng (2006), Giáo dục học. NXB ĐHQGHN. 3- Nguyễn Công Khanh (2004), Đánh giá và đo lường trong khoa học xã hội. NXB Chính trị quốc gia. 4- Nguyễn Công Khanh (2001), Ứng dụng SPSS FOR WINDOWS: Xử lý và phân tích dữ liệu. NXB ĐHQGHN. 5- Lê Đức Ngọc (2003), Bài giảng đo lường và đánh giá thành quả học tập trong giáo dục. Đại học Quốc gia Hà Nội. 6- Phạm Minh Hạc, Trần Kiều, Đặng Bá Lãm, Nghiêm Đình Vỹ (2002), Giáo dục thế giới đi vào thế kỉ XXI, NXB Chính trị Quốc gia. 7 - Dương Thiệu Tống (2004), Phương pháp nghiên cứu trong khoa học giáo dục và tâm lí, NXB Giáo dục. Tiếng Anh 8- Taylo & Francis Grup (2003), Quality in Higher Education. 9- Jemes H.McMillan (2001), Classroom assessment, Virginia Commonwealth University. 10- Norman E. Grounlund (2003), Constructing Achivement Tets. 11- Peggy O’Neill (2009), Guide to College Writing Assessment, Utah State University Press. 12- Claire Wyatt – Smith (2009), Assessment in the 21st century, Griffith University Australia. 74 PHỤ LỤC Phụ lục 1: File dữ liệu mon01.Itn QUEST: The Interactive Test Analysis System ............................................................................................................................................................................................................. Item Analysis Results for Observed Responses 21/12/ 9 14:30 all on mon01 (N = 52 L = 60 Probability Level= .50) ............................................................................................................................................................................................................. Item 1: item 1 Infit MNSQ = 1.06 Disc = .19 Categories 0 1 missing Count 5 47 0 Percent (%) 9.6 90.4 Pt-Biserial -.18 .18 p-value .097 .097 Mean Ability .66 1.14 NA Step Labels 1 Thresholds -1.32 Error .48 ............................................................................................................................................................................................................. Item 2: item 2 Infit MNSQ = 1.02 Disc = .14 Categories 0 1 missing Count 2 50 0 Percent (%) 3.8 96.2 Pt-Biserial -.14 .14 p-value .161 .161 Mean Ability .59 1.12 NA Step Labels 1 Thresholds -2.32 Error .73 ............................................................................................................................................................................................................. Item 3: item 3 Infit MNSQ = 1.22 Disc = .00 Categories 0 1 missing Count 24 28 0 Percent (%) 46.2 53.8 Pt-Biserial .00 .00 p-value .499 .499 Mean Ability 1.08 1.11 NA Step Labels 1 Thresholds .92 Error .29 ............................................................................................................................................................................................................. Item 4: item 4 Infit MNSQ = 1.07 Disc = .19 Categories 0 1 missing Count 15 37 0 Percent (%) 28.8 71.2 Pt-Biserial -.19 .19 p-value .086 .086 Mean Ability .90 1.18 NA Step Labels 1 Thresholds .10 Error .32 ............................................................................................................................................................................................................. Item 5: item 5 Infit MNSQ = .95 Disc = .36 Categories 0 1 missing Count 9 43 0 Percent (%) 17.3 82.7 Pt-Biserial -.36 .36 p-value .005 .005 75 Mean Ability .54 1.21 NA Step Labels 1 Thresholds -.61 Error .38 ............................................................................................................................................................................................................. Item 6: item 6 Infit MNSQ = 1.05 Disc = .22 Categories 0 1 missing Count 19 33 0 Percent (%) 36.5 63.5 Pt-Biserial -.22 .22 p-value .058 .058 Mean Ability .85 1.24 NA Step Labels 1 Thresholds .49 Error .30 ............................................................................................................................................................................................................. Item 7: item 7 Infit MNSQ = .97 Disc = .31 Categories 0 1 missing Count 7 45 0 Percent (%) 13.5 86.5 Pt-Biserial -.31 .31 p-value .013 .013 Mean Ability .54 1.18 NA Step Labels 1 Thresholds -.92 Error .42 ............................................................................................................................................................................................................. Item 8: item 8 Infit MNSQ = 1.40 Disc = -.28 Categories 0 1 missing Count 35 17 0 Percent (%) 67.3 32.7 Pt-Biserial .28 -.28 p-value .023 .023 Mean Ability 1.24 .79 NA Step Labels 1 Thresholds 1.88 Error .31 ............................................................................................................................................................................................................. Item 9: item 9 Infit MNSQ = 1.11 Disc = .12 Categories 0 1 missing Count 8 44 0 Percent (%) 15.4 84.6 Pt-Biserial -.12 .12 p-value .196 .196 Mean Ability .85 1.14 NA Step Labels 1 Thresholds -.76 Error .40 ................................................................................................................................................................................................. ............ 76 Phụ lục 2: File dữ liệu mon01.map QUEST: The Interactive Test Analysis System ---------------------------------------------------------------------------------------------- 21/12/ 9 14:30 all on mon01 (N = 54 L = 60 Probability Level= .50) ---------------------------------------------------------------------------------------------- Data File = MON01.DAT Data Format = NAME 1 ITEMS 9-68 Log file = LOG not on Page Width = 132 Page Length = 65 Screen Width = 78 Screen Length = 24 Probability level = .50 Maximum number of cases set at 60000 VALID DATA CODES 0 1 GROUPS 1 all ( 54 cases ) : All cases SCALES 1 all ( 60 items ) : All items 2 mon01 ( 60 items ) : 1-60 DELETED AND ANCHORED CASES: No case deletes or anchors DELETED AND ANCHORED ITEMS: No item deletes or anchors RECODES ---------------------------------------------------------------------------------------------- all on mon01 (N = 54 L = 60 Probability Level= .50) ---------------------------------------------------------------------------------------------- Summary of item Estimates Mean .00 SD 1.05 SD (adjusted) .98 Reliability of estimate .87 Fit Statistics Infit Mean Square Outfit Mean Square Mean 1.00 Mean .95 SD .14 SD .24 Infit t Outfit t Mean .13 Mean -.04 SD 1.14 SD .90 0 items with zero scores 0 items with perfect scores ---------------------------------------------------------------------------------------------- all on mon01 (N = 54 L = 60 Probability Level= .50) ---------------------------------------------------------------------------------------------- Summary of case Estimates Mean 1.10 SD .71 SD (adjusted) .63 Reliability of estimate .79 Fit Statistics Infit Mean Square Outfit Mean Square Mean .99 Mean .95 SD .19 SD .32 Infit t Outfit t Mean .09 Mean -.03 SD 1.20 SD 1.03 0 cases with zero scores 2 cases with perfect scores ============================================================================================== 77 QUEST: The Interactive Test Analysis System ---------------------------------------------------------------------------------------------- 21/12/ 9 14:30 all on mon01 (N = 54 L = 60 Probability Level= .50) ---------------------------------------------------------------------------------------------- -------------------------------------- 3.0 | | | | NANG LUC CAO | DO KHO CAO X | | XX | XX | 44 2.0 | 15 37 48 XXXX | 8 XX | 45 X | 23 XXXXXX | X | | | XXXXXXXXX | 30 53 1.0 XXX | XXX | 3 32 40 X | XXX | 14 22 26 35 XXXXXX | 24 XXX | 6 | 21 50 54 | 49 57 | 20 36 .0 X | 4 11 25 31 39 55 59 X | 13 | XX | 17 43 | 51 58 | 33 41 | 5 52 56 | 9 16 19 46 60 | X | 7 -1.0 | | 18 28 29 34 38 47 | | 1 12 42 | | 27 | | | 10 -2.0 | | | NANG LUC THAP | 2 DO KHO THAP | | | | | -3.0 | ---------------------------------------------------------------------------------------------- Each X represents 1 students QUEST: The Interactive Test Analysis System 78 ------------------------------------------------------------------------------------------------------------ -----Item Fit 21/12/ 9 14:30 all on mon01 (N = 54 L = 60 Probability Level= .50) ------------------------------------------------------------------------------------------------------------ INFIT MNSQ .63 .67 .71 .77 .83 .91 1.00 1.10 1.20 1.30 1.40 1.50 1.60 ----------+---------+---------+---------+---------+---------+---------+---------+---------+---------+------- 1 item 1 . | * . 2 item 2 . | * . 3 item 3 . | * . 4 item 4 . | * . 5 item 5 . * | . 6 item 6 . | * . 7 item 7 . * | . 8 item 8 . | . * 9 item 9 . | * . 10 item 10 . * | . 11 item 11 . * | . 12 item 12 . * | . 13 item 13 . * | . 14 item 14 . | . * 15 item 15 . | * . 16 item 16 . |* . 17 item 17 . * | . 18 item 18 . * | . 19 item 19 . * | . 20 item 20 . * | . 21 item 21 . |* . 22 item 22 . | . * 23 item 23 . | * . 24 item 24 . *| . 25 item 25 . *| . 26 item 26 * | . 27 item 27 . * | . 28 item 28 . |* . 29 item 29 . * . 30 item 30 . * | . 31 item 31 . * | . 32 item 32 . * | . 33 item 33 . * | . 34 item 34 . | * . 35 item 35 . * | . 36 item 36 . * | . 37 item 37 . | . * 38 item 38 . * | . 39 item 39 . * | . 40 item 40 . | * . 41 item 41 . * | . 42 item 42 . * | . 43 item 43 . * | . 44 item 44 . * | . 45 item 45 . | * . 46 item 46 . * | . 47 item 47 . * | . 48 item 48 . * | . 49 item 49 . * | . 50 item 50 . * | . 51 item 51 . | * . 52 item 52 . * | . 53 item 53 . * | . 54 item 54 . * | . 55 item 55 . * | . 56 item 56 . *| . 57 item 57 . | * . 58 item 58 . |* . 59 item 59 . | * . 60 item 60 . *| . ------------------------------------------------------------------------------------------------------------ 79 Phụ lục 3: Mẫu phiếu khảo sát giảng viên ra đề thi PHIẾU KHẢO SÁT GIẢNG VIÊN RA ĐỀ THI TNKQ Họ tên giảng viên:.................................................. Tuổi...............Giới tính.............. Thâm niên giảng dạy.................................................................................................. Môn học đảm nhiệm giảng dạy:.................................................................................. Trình độ:...................................................................................................................... Anh (Chị) hãy đọc kỹ các phát biểu dưới đây và đánh dấu X vào 1 trong 5 số phù hợp nhất theo sự chọn lựa của cá nhân 0 = Hoàn toàn không đúng / hoàn toàn không đồng ý 1 = Cơ bản không đúng / cơ bản không đồng ý 2 = Đúng một phần / đồng ý một phần/ phân vân 3 = Cơ bản đúng / cơ bản đồng ý 4 = Hoàn toàn đúng / hoàn toàn đồng ý Mức độ Stt Nội dung được đánh giá 0 1 2 3 4 I Yếu tố thời gian dành cho công việc 1 Tôi đã đầu tư nhiều thời gian cho việc ra đề thi TNKQ. 2 Nhà trường bố trí thời gian đủ cho giáo viên xây dựng bộ đề thi TNKQ. 3 Tôi đã áp dụng thử bộ đề thi trước khi thi kết thúc môn học. II Động cơ của người thực hiện 4 Tôi thực sự hứng thú đối với việc áp dụng phương pháp thi TNKQ. 5 Tôi đã dành thời gian tìm hiểu kỹ về thi TNKQ. 6 Tôi đã chủ động áp dụng việc thi TNKQ trong môn học do mình giảng dạy. 7 Tôi cho rằng thi TNKQ là không cần thiết. 8 Tôi nhận thấy thi TNKQ là tiện lợi và khoa học. III Mức độ nắm vững kỹ thuật ra đề TNKQ của giảng viên. 9 Bộ đề thi TNKQ dùng để đánh giá SV được thiết kế theo ma trận kiến thức của môn học tôi giảng dạy. 10 Bộ đề thi TNKQ tôi thiết kế có thể phân loại được sinh viên theo lực học. 11 Bộ đề thi TNKQ tôi thiết kế không quá khó, phù hợp với lực học trung bình của sinh viên. 12 Tôi hiểu rõ từng câu hỏi và có thể trả lời đúng từng câu hỏi trong bộ đề thi của mình mà không cần tới đáp án. 13 Tôi đã được tập huấn những kiến thức cơ bản về kỹ thuật ra đề thi TNKQ. 80 14 Các câu hỏi trong đề thi phù hợp với thời lượng của từng nội dung trong đề cương chi tiết môn học. 15 Số lượng các câu hỏi trong đề thi phân bố đều ở các nội dung và bao quát cả chương trình môn học. 16 Tôi đã bỏ ra khá nhiều thời gian để tự nghiên cứu về kỹ thuật ra đề thi TNKQ. 17 Tôi đã trao đổi về nội dung bộ đề thi TNKQ trong nhóm giảng viên của Bộ môn. 18 Bộ đề thi TNKQ của tôi được thiết kế chung cho cả nhóm môn học trong Bộ môn. 19 Sau mỗi lần thi tôi thường đánh giá chất lượng đề (các đặc tính đo lường) để bổ sung và chỉnh sửa bộ đề thi. 20 Tôi thiết kế đề thi TNKQ chủ yếu dựa trên kinh nghiêm cá nhân 21 Tôi chưa nắm được kỹ thuật phân tích item 22 Tôi chưa nắm được lý thuyết hồi đáp IRT 23 Tôi biết sử dụng phần mêm SPSS để đánh giá độ tin cậy 24 Tôi biết sử dụng phần mêm Quest hoặc Conquest để phân tích item IV Sự quan tâm của nhà trường 25 Nhà trường khuyến khích việc áp dụng thi TNKQ. 26 Xây dựng đề thi TNKQ được coi là một tiêu chuẩn nhằm đánh giá đổi mới phương pháp giảng dạy 27 Nhà trường có hỗ trợ kinh phí thích đáng cho việc xây dựng đề thi TNKQ V Tính chất các nhóm môn học 28 Môn học tôi giảng dạy phù hợp với việc thi TNKQ 29 Tôi cho rằng đề thi TNKQ chỉ phù hợp với một số môn học 30 Tôi cho rằng tính chất các nhóm môn học có ảnh hưởng đáng kể đến chất lượng đề thi TNKQ 31. Anh chị giảng dạy môn học thuộc nhóm nào? a. Nhóm Toán, Lý, Hoá c. Nhóm Ngoại ngữ b. Nhóm Văn, Chính trị xã hội d. Nhóm các môn Kỹ thuật 32. Theo anh chị, yếu tố nào (trong 5 nhóm yếu tố trên) có ảnh hưởng lớn nhất đến quá trình ra đề thi TNKQ của giảng viên? ....................................................................................................................................... 33. Anh chị có kinh nghiệm như thế nào về ra đề thi TNKQ: ……………………………………………………………………………………… Xin chân thành cảm ơn! 81