Tự động hóa lựa chọn và phối trộn đề thi tự luận

NGHIÊN CỨU TRAO ĐỔI Văn hóa - Xã hội 58Tạp chí Kinh doanh và Công nghệ Số 10/2020 1. Mở đầu Muốn đánh giá chính xác điểm thi của sinh viên cần chú trọng thực hiện tốt khâu ra đề, phối trộn và tổ chức thi kết thúc học phần. Thời đại cách mạng công nghệ lần thứ tư với các phương tiện kỹ thuật hiện đại cho phép chúng ta đẩy nhanh tốc độ, tăng cường độ chính xác việc tự động hóa các khâu ra đề, phối trộn đề, quản lý đề thi, chấm thi và quản lý điểm thi của sinh viên. Thực hiện tốt các khâu này cũng hạn chế tối đa các hiện tượng tiêu cực khi thi. 2. Thực trạng thi tự luận tại Trường Đại học Kinh doanh và Công nghệ Hà Nội Hiện nay, Trường Đại học Kinh doanh và Công nghệ Hà Nội đang tiến hành chủ yếu hai hình thức thi: tự luận và trắc nghiệm khách quan. Trong thi tự luận, theo Quyết định số 634/QĐ-BGH của Ban Giám hiệu ngày 15/12/2014, mỗi môn học/học phần cần biên soạn 30 câu hỏi cho 1 tín chỉ. Bộ câu hỏi chia thành hai rổ: rổ “trung bình” (phản ảnh nội dung cốt lõi của môn học) chiếm 60% số câu, rổ “khó” chiếm 40 % số câu. Khi thi, sinh viên được chọn ngẫu nhiên 2 câu thuộc rổ trung bình và 1 câu thuộc rổ khó (học phần 2 tín chỉ), 3 câu thuộc rổ trung bình và 1 câu thuộc rổ khó (học phần 3 tín chỉ) và 4 câu thuộc rổ trung bình và 2 câu thuộc rổ khó (học phần 4 tín chỉ). Tuy nhiên, việc quy định như trên khó thực hiện, nên ngày 14/2/2017, Ban Giám hiệu có văn bản số 708/QĐ-BGH sửa đổi quy định lại là: mỗi học phần thi tự luận phải soạn 10-20 đề cho một tín chỉ, tối đa không quá 30 đề. Sau khi TỰ ĐỘNG HÓA LỰA CHỌN VÀ PHỐI TRỘN ĐỀ THI TỰ LUẬN Nguyễn An * * Phòng Khoa học và Đảm bảo chất lượng, Trường ĐH KD&CN Hà Nội. Tóm tắt: Hiện nay, Trường Đại học Kinh doanh và Công nghệ Hà Nội đang tiến hành chủ yếu hai hình thức thi: tự luận và trắc nghiệm khách quan. Muốn đánh giá chính xác điểm thi của sinh viên cần chú trọng thực hiện tốt khâu ra đề thi, phối trộn và tổ chức thi kết thức học phần. Bài viết này, tác giả đề cập đến việc tự động hóa trong khâu lựa chọn và phối trộn đề thi tự luận. Từ khóa: tự động hóa, phối trộn, thi tự luận. Summary: Currently, Hanoi University of Business and Technology is conducting two main types of exams: essay and objective test. To accurately assess the students’ test scores, it is necessary to focus on well performing the exam topic preparation stage, mixing and organizing final exams. This article, the author discusses automating the selection and mixing of essay questions. Keywords: automation, mixing, essay examination. exam topic. Văn hóa - Xã hội NGHIÊN CỨU TRAO ĐỔI 59Tạp chí Kinh doanh và Công nghệ Số 10/2020 Hội đồng Khoa học và Đào tạo (KHĐT) trường nghiệm thu, bộ đề thi được lưu trữ ở Trung tâm Khảo thí trường. Ban Giám hiệu yêu cầu trước một kỳ thi Trung tâm Khảo thí cử cán bộ bốc 2 đề (một đề chẵn, một đề lẻ) và sao, đóng gói bảo mật, niêm phong. Khi thi, các giám thị phòng thi ký nhận phong bì đề thi để phát cho sinh viên trong phòng thi. Hội đồng thi chấm từng bài thi tự luận và chuyển cho Trung tâm Khảo thí kiểm tra, sau đó, Trung tâm Tin học nhập điểm vào máy chủ. Thi tự luận nêu trên có một số nhược điểm: mỗi học phần ra một bộ đề thi cố định; từng đề thi có dạng độc lập, rời rạc, chỉ phản ánh một phần nào đó của kiến thức cả học phần; khi thi, Trung tâm Khảo thí chỉ chọn xác suất 2 đề cho mỗi lần/kỳ thi. Điều này là chưa hợp lý, vì các đề thi độc lập, nên chỉ gồm một số câu hỏi của một phần kiến thức nào đó của học phần. Vì vậy, có lúc cả kỳ thi chỉ hỏi một phần kiến thức nhỏ của môn học. Cách thức này nảy sinh suy nghĩ sai trái, như học lệch, học tủ trong sinh viên hoặc đánh giá thiếu công bằng đối với sinh viên dự thi. Vì, thông thường gặp đề dễ, sinh viên đạt điểm cao, gặp đề khó sinh viên đạt điểm thấp. Cách tổ chức như trên là không khách quan, rất dễ phát sinh tiêu cực trong các kỳ thi. Mặt khác, đề thi do con người lựa chọn, nên không loại trừ khả năng lộ đề. Việc chỉ chọn quá ít đề thi cho mỗi lần thi cũng dễ phát sinh hiện tượng quay cóp, trao đổi bài giữa các sinh viên dự thi. Việc quy định soạn 10-30 đề thi cho mỗi tín chỉ là chưa hợp lý. Một số khoa chỉ soạn dưới 30 đề thi cho môn học, nên hiển nhiên quay vòng vài lần thi là lộ hết đề. Vì thế, sinh viên chỉ mua “phao” đáp án đề thi, chứ không cần học. 3. Mô hình tự động hóa lựa chọn và phối trộn đề thi tự luận Trong mô hình này, cần tiến hành các công việc cụ thể như sau: 3.1. Chuyển đổi ngân hàng đề thi tự luận thành ngân hàng câu hỏi thi tự luận Mỗi môn học/học phần, thay vì xây dựng ngân hàng đề thi, nay thực hiện xây dựng một ngân hàng câu hỏi thi theo cấu trúc mới. Tùy tính đặc thù của từng môn học, ngân hàng câu hỏi thi gồm các câu từ đơn giản đến phức tạp, các bài tập, các phương trình, công thức bài toán, hình vẽ (nếu có). Các câu hỏi phân thành các nhóm theo chuyên môn (chương/phần) của môn học. Câu hỏi trong mỗi chương gồm hai mức trung bình và khó (theo quy định 634/QĐ-BGH), kèm theo hệ số điểm (Bảng 1). Bảng 1. Cấu trúc ngân hàng câu hỏi thi tự luận của một môn học/học phần. Nội dung khoa học của ngân hàng này được Hội đồng KHĐT Khoa và Trường xét duyệt, nghiệm thu, sau đó lưu trong máy chủ của Trung tâm Khảo thí và Văn phòng các khoa. Số các câu hỏi thi nên lớn hơn 30 câu cho mỗi loại, để đảm bảo ngân hàng có tối thiểu 90- 120 câu. NGHIÊN CỨU TRAO ĐỔI Văn hóa - Xã hội 60Tạp chí Kinh doanh và Công nghệ Số 10/2020 Khi nhập ngân hàng câu hỏi thi tự luận vào phần mềm máy tính để quản lý, phối trộn, cần phải trình bày nội dung (mã hóa) ngân hàng này theo format như trong Bảng 2. Trong đó: Các nhóm ký tự [<O a=`` c=`02` d=`4`>] là lời ghi công thức chú thích để khi nhập vào phần mềm quản lý ngân hàng câu hỏi thi, máy tính hiểu và nhận được quy tắc lựa chọn. Với ký tự a=``: câu hỏi thi tự luận không có đáp nào cả; c=`02`: có nghĩa là câu này thuộc nhóm kiến thức số 02; d=`4`: độ khó câu này ở mức khó (độ khó bằng ‘1’ là rất dễ; ‘2’ là dễ; ‘3’ là trung bình, ‘4’ là khó; ‘5’ là rất khó). Các câu hỏi được ngăn cách nhau bởi nhóm ký tự []. Phần đáp án (điểm cho câu...) là đáp án và hướng dẫn thang điểm để chấm từng câu. 3.2. Ma trận thuật toán lựa chọn, phối trộn đề thi tự luận Ma trận thuật toán lựa chọn, phối trộn đề thi (gọi tắt là Ma trận chọn đề) là một bảng tập hợp các tên gọi các nhóm kiến thức và các số nguyên dùng để hướng dẫn máy tính thực hiện các quy cách thao tác lựa chọn câu hỏi từ ngân hàng câu hỏi, sao cho vừa đảm bảo đủ sự phân bố cần thiết về số lượng câu hỏi trong các chương, phần môn học, vừa đảm bảo trình độ khó, dễ và vừa đồng đều về số lượng câu hỏi cũng như trình độ trong các mã đề thi tự luận khác nhau với mỗi lần thi/kỳ thi. Để có các đề thi tự luận, phải sử dụng một phần mềm tin học nhằm tự động lựa chọn, phối trộn các câu hỏi thi và xuất ra các mã đề thi. Muốn đạt được các mục tiêu đặt ra, các đề thi do phần mềm máy tính xuất ra phải đảm bảo các điều kiện sau đây: - Phải bao hàm phần kiến thức cơ bản được học theo quy định của đề cương chi tiết và chuẩn đầu ra môn học; - Phải phân bổ đều kiến thức các chương/phần; - Mỗi mã đề cho từng sinh viên dự thi phải đồng đều nhau về kiến thức các chương, phần cần hỏi và độ khó để đánh giá công bằng mọi sinh viên khi thi; Bảng 3. Cấu trúc ma trận chọn đề thi tự luận Bảng 2. Format mã hóa ngân hàng câu thi tự luận để nhập vào phần mềm phối trộn đề thi tự luận [] Nội dung câu 1 [] Đáp án (điểm cho câu 1): .. [] Nội dung câu 2 . [] Đáp án (điểm cho câu 2): ,. [] Nội dung câu 3. v.v. [] Nội dung câu 1 [] Đáp án (điểm cho câu 1): .. [] Nội dung câu 2 . [] Đáp án (điểm cho câu 2): ,. [] Nội dung câu 3. v.v. [] v.v. Văn hóa - Xã hội NGHIÊN CỨU TRAO ĐỔI 61Tạp chí Kinh doanh và Công nghệ Số 10/2020 Tùy theo yêu cầu chuyên môn, các Chủ nhiệm bộ môn các khoa điền cụ thể số lượng hợp lý các thông số trên vào ma trận chọn đề trước khi thi. Khi vận hành phần mềm phối trộn, máy tính sẽ dựa vào đề xuất trong ma trận để lựa chọn và phối trộn, xuất ra các mã đề thi tự luận đảm bảo yêu cầu cho mỗi lần thi. 3.3. Phần mềm tự động hóa lựa chọn, phối trộn, xuất ra mã đề thi trên máy và in ra giấy Khi thi, Trung tâm Khảo thí cần lựa chọn và đề xuất các đề thi tự luận đảm bảo tính khoa học, khách quan, công bằng với mọi sinh viên dự thi. Muốn vậy phải sử dụng phần mềm để đọc vào, nhận dạng, lựa chọn, trộn, phân phối và in ra các mã đề thi tự luận đảm bảo phù hợp các yêu cầu nêu trên. Phần mềm hoạt động theo cấu trúc như Bảng 4. Ở đây lưu ý quá trình đọc, nhận dạng, lựa chọn, trộn và phân phối câu thi cần xây dựng mềm dẻo, sao cho máy thực hiện các lệnh nêu trên phải tuân theo một kịch bản đã ghi trong ma trận chọn đề. Kịch bản này nhằm đảm bảo yêu cầu về chuyên môn và do các giảng viên đang dạy từng học phần ở các khoa đề xuất. Số lượng câu, mức độ khó dễ và yêu cầu của loại đề thi hoặc đề kiểm tra khác nhau. Bảng 4. Giải thích các ký hiệu và ký số trong Ma trận chọn đề thi tự luận 1 C1, C2, ..., Cn Ký hiệu tên các đơn vị kiến thức 2 n1c1, n1c2,...,n1cn Số lượng câu loại khó thuộc các đơn vị kiến thức C1, C2, ... Cn tương ứng 3 n2c1, n2c2,....n2cn Số lượng câu loại trung bình thuộc các đơn vị kiến thức C1, C2,... Cn tương ứng 4 X1, X2,...,Xn Tổng số cả 2 loại khó và trung bình thuộc các đơn vị kiến thức C1, C2,... Cn tương ứng 5 Xk, Xtb, X Tổng số câu khó, trung bình và tổng số cả 2 loại trong ngân hàng câu hỏi tự luận 6 a1c1, a1c2,...,a1cn Số lượng câu loại khó để đưa vào mã đề thi được chọn từ trong các đơn vị kiến thức C1, C2,... Cn tương ứng 7 n2c1, n2c2,....n2cn Số lượng câu loại trung bình để đưa vào mã đề thi được chọn từ trong các đơn vị kiến thức C1, C2,... Cn tương ứng 8 N1, N2,...,Nn Tổng số cả 2 loại khó và trung bình được chọn để đưa vào mã đề thi từ trong các đơn vị kiến thức C1, C2,... Cn tương ứng 9 Nk, Ntb, N Tổng số câu khó, trung bình và tổng số cả 2 loại trong mã đề thi được chọn theo ma trận chọn đề. - Phải đảm bảo chống các hiện tượng tiêu cực trong khi thi. Muốn vậy, phải xây dựng ma trận chọn đề phù hợp. Cấu trúc ma trận mô tả trong Bảng 3. Bảng 4 dưới đây sau giải thích ý nghĩa của các ký tự và ký số trong ma trận chọn đề thi tự luận ở Bảng 3 NGHIÊN CỨU TRAO ĐỔI Văn hóa - Xã hội 62Tạp chí Kinh doanh và Công nghệ Số 10/2020 Bảng 4. Cấu trúc và cơ chế hoạt động của phần mềm phối trộn đề thi tự luận Các khoa chỉ cần thay đổi các thông số trong ma trận chọn đề. Ví dụ, theo yêu cầu chất lượng chuyên môn và trình độ từng bậc học, trong đề thi tự luận lần thi này cần chọn chương 1, 2,.. n bao nhiêu câu loại trung bình, khó,... để đưa vào mã đề thi. 4. Kết quả thử nghiệm phần mềm ngân hàng câu hỏi thi của một số khoa trong trường 4.1. Vài nét về kết quả áp dụng cho các ngân hàng câu hỏi thi tự luận Đề tài đã áp dụng cho các ngân hàng đề thi tự luận sau: Hóa hữu cơ 1, Hóa hữu cơ 2 (Khoa Dược), Toán cao cấp 1 và Lý thuyết Điều khiển tự động 1 (Khoa Điện - Điện tử). Đối với mỗi ngân hàng đề thi của từng học phần, đề tài đều đã hoàn thành các công việc sau đây: i) Chuyển đổi ngân hàng đề thi thành ngân hàng câu hỏi thi; ii) Mã hóa ngân hàng câu hỏi thi để nhập vào phần mềm máy tính; iii) Xây dựng ma trận chọn đề cho các mã đề thi tự luận; iv) Vận hành phần mềm in ra số lượng tùy ý (theo yêu cầu của kỳ thi) các mã đề thi tự luận; v) Khi Hội đồng chấm thi yêu cầu, in ra các mã đề thi có đáp án để dùng cho chấm thi. Để minh họa những nội dung trình bày ở trên, xin dẫn ra đây kết quả áp dụng của đề tài cho ngân hàng đề tự luận học phần Hóa hữu cơ 1 (Khoa Dược). Bạn đọc muốn tham khảo kết quả áp dụng cho các ngân hàng đề thi tự luận khác, xin xem Báo cáo Tổng kết nghiên cứu đề tài. 4.2. Kết quả áp dụng cho ngân hàng đề thi tự luận học phần Hóa hữu cơ 1 Ngân hàng đề thi tự luận môn Hóa hữu cơ 1 có 30 đề đã được sử dụng cho sinh viên thi ở các khóa 22, 23 và 24. Quá trình áp dụng đề tài đã cho các kết quả sau đây: a) Chuyển ngân hàng đề thi này thành ngân hàng các câu hỏi thi và mã hóa Thực hiện công việc này nhằm đảm bảo có thể nhập vào phần mềm máy tính. Nội dung file đã mã hóa của học phần trình bày trong mục 4.1.2 của Báo cáo kết quả nghiên cứu đề tài. Trong file mã hóa, ngoài việc tuân thủ các yêu cầu như hướng dẫn ở Bảng 2. Sau mỗi câu hỏi, đã đưa thêm phần đáp án để sử dụng chấm điểm cho các kỳ thi. Như vậy, ngân hàng này có 90 câu, phân thành 3 đơn vị kiến thức. Mỗi câu đều có ghi chú hệ số điểm kèm theo và đáp án dùng cho chấm thi. b) Xây dựng ma trận chọn đề Dựa trên gợi ý của PGS-TS. Phạm Văn Thỉnh (Phó Chủ nhiệm Khoa Dược), nhóm đề tài đã xây dựng ma trận chọn đề như hình 5: Theo đó, máy sẽ trộn trong 3 đơn vị kiến thức, mỗi đơn vị có 30 câu và chọn lấy mỗi nhóm 1 câu, nghĩa là mã đề tự luận sẽ chỉ có 3 câu. Trong đó có 2 câu mức trung bình và 1 câu mức khó. Văn hóa - Xã hội NGHIÊN CỨU TRAO ĐỔI 63Tạp chí Kinh doanh và Công nghệ Số 10/2020 c) Vận hành phần mềm để lựa chọn, phối trộn và tự động xuất ra các mã đề thi tự luận Sau khi khởi động phần mềm, khai báo tên kỳ thi và nhập ngân hàng Hóa hữu cơ 1 (đã mã hóa) và ma trận chọn đề vào máy tính, máy sẽ cho phép khai báo để tạo ra số lượng mã đề thi tự luận tùy ý (theo yêu cầu của kỳ thi, thường đảm bảo mỗi sinh viên một mã đề). Kết quả tên các mã đề thi hiển thị trên màn hình (phía phải cửa sổ trong Bảng 6). Bảng 6. Màn hình khai báo để xuất các mã đề thi tự luận học phần Hóa hữu cơ 1 Tiếp theo, muốn dùng mã đề thi nào, chỉ cần nhấp chuột vào tên mã đề tương ứng và nháy chuột vào In đề chuẩn, máy tiến hành in từng mã đề thi tự luận đã chọn (Bảng 7). Kết quả thực hiện phần mềm đã xuất ra số lượng không hạn chế mã đề thi tự luận học phần Hóa hữu cơ 1. Để minh họa, xin dẫn kết quả xuất ra mã đề DE2 trên Bảng 8. Ngoài ra, muốn in ra mã đề thi kèm theo đáp án để sử dụng trong Hội đồng chấm thi, trong ngân hàng mã hóa, ta chỉ cần thay đổi thứ tự các phần. Bảng 7. Hiển thị và in các mã đề thi tự luận Hóa hữu cơ 1 ra giấy Đáp án và nhóm ký tự chú thích [<O a=`` c=`...` d=`...`>] tương ứng trong mỗi câu. Sau khi nhập ngân hàng câu hỏi mã hóa đã thay đổi đó và chọn câu hỏi cho đề thi chuẩn đúng số câu đã có trong mã đề thi không có đáp án. Cuối cùng, thay vì khi in ra mã đề thi dùng để thi, máy sẽ in ra mã đề thi có đáp án (Bảng 9). Bảng 8. Hiển thị và in mã đề thi tự luận DE2 (Hóa hữu cơ 1) ra giấy Bảng 9. In mã đề thi có cả đáp án DE2 để dùng khi chấm thi NGHIÊN CỨU TRAO ĐỔI Văn hóa - Xã hội 64Tạp chí Kinh doanh và Công nghệ Số 10/2020 5. Kết luận Thi tự luận là một trong những hình thức thi kết thúc học phần cần được tồn tại ở Trường Đại học Kinh doanh và Công nghệ Hà Nội, một trường đa ngành, đa nghề, có hàng trăm môn học tiến hành thi cùng lúc. Để nâng cao hiệu quả thi, cần có quy định chặt chẽ, có tính khoa học để thực hiện. Căn cứ kết quả nghiên cứu đề tài thu được, xin đề nghị: - Mỗi học phần thi tự luận, thay vì quy định soạn ngân hàng gồm từ 10-30 đề thi/tín chỉ, nay soạn một ngân hàng các câu hỏi thi. Ngân hàng này có ba mức trình độ (dễ, trung bình và khó); mỗi mức trình độ có ít nhất 30 câu hỏi/tín chỉ. Các câu hỏi kèm theo đáp án, thang điểm, phân bổ đều cho các chương/phần và có nội dung theo quy định của đề cương chi tiết và chuẩn đầu ra của môn học. - Ngân hàng câu hỏi thi sau khi được nghiệm thu, có thể sử dụng công khai làm tài liệu ôn tập cho sinh viên. Nếu đề xuất này được trường chấp nhận, sẽ không còn khái niệm lộ đề thi nữa. Ngân hàng câu hỏi cần được mã hóa để nhập vào máy tính. Trước khi thi, các khoa đề xuất ma trận chọn đề phù hợp với cấp học của thí sinh và chuẩn đầu ra yêu cầu của ngành học. - Trung tâm Khảo thí nhập ngân hàng đã mã hóa vào máy chủ của Trung tâm, tạo ra số mã đề thi tự luận cần thiết cho mỗi kỳ thi theo số liệu ma trận chọn đề do các khoa đề xuất. Số mã đề thi tự luận tối thiểu bằng số sinh viên dự thi trong một phòng thi, đảm bảo mỗi sinh viên có mã đề khác nhau, tránh mọi hiện tượng tiêu cực trong khi thi. - Khi chấm bài, tùy theo độ phức tạp của môn học và số người trong Hội đồng chấm thi, sử dụng phần mềm in ra các mã đề có đáp án thang điểm tương ứng với các mã đề thi đã dùng khi thi. Một số kết quả nghiên cứu của đề tài về mô hình tự động hóa lựa chọn, phối trộn khi ra đề thi tự luận nêu trên đây có thể là căn cứ đầu tiên để cải tiến, hoàn thiện quy chế thi kết thúc học phần../. Tài liệu tham khảo 1. Trường Đại học Kinh doanh và Công nghệ Hà Nội. Quy chế thi kết thúc học phần (ban hành theo Quyết định số 634/QĐ ngày 15/12/2014 của Ban Giám hiệu). 2. Trường Đại học Kinh doanh và Công nghệ Hà Nội. Quy chế thi kết thúc học phần sửa đổi (ban hành theo Quyết định số 708/QĐ-BGH ngày 14/02/2017 của Ban Giám hiệu). 3. Trung tâm Khảo thí Trường Đại học Kinh doanh và Công nghệ Hà Nội. Sổ tay Nghiệp vụ thi. Hà Nội, 2020. 4. TS. Nguyễn An. Tự động hóa công tác lựa chọn, phối trộn đề thi/kiểm tra kết thúc học phần. Báo cáo kết quả nghiên cứu đề tài. Hà Nội, 2020. Ngày nhận bài: 20/05/2020