Đề tài Tìm hiểu về nghiên cứu tác động trong giáo dục

này. Chúng ta cùng xét một ví dụ để hiểu rõ thế nào là mức độ ảnh hưởng. Một công ty quảng cáo chương trình giảm cân có thể giúp bạn giảm 5kg trong 3 tháng. Chỉ số 5 kg biểu thị cho mức độ ảnh hưởng theo quảng cáo chương trình giảm cân công ty này đưa ra. Nó thể hiện độ lớn của ảnh hưởng. Trong những năm gần đây, ngày càng có nhiều nhà nghiên cứu chú trọng việc báo cáo mức độ ảnh hưởng bên cạnh kết quả của phép kiểm chứng t-test. Nguyên nhân là sau khi phép kiểm chứng t-test khẳng định chênh lệch có ý nghĩa, mức độ ảnh hưởng cho biết độ lớn của chênh lệch đó. Với cách hiểu như vậy, chúng ta cùng xem xét một số ví dụ để thấy rõ việc sử dụng các phép kiểm chứng t-test, Khi bình phương và Độ lệch giá trị trung bình chuẩn (đo mức độ ảnh hưởng) để phân tích các dữ liệu trong nghiên cứu tác động. 13 2. So sánh dữ liệu Đánh giá độ lớn ảnh hưởng của tác động được thực hiện trong nghiên cứu Mức độ ảnh hưởng (ES) c So sánh các giá trị trung bình của cùng một nhóm Phép kiểm chứng t-test phụ thuộc (theo cặp) b So sánh các giá trị trung bình của hai nhóm khác nhau Phép kiểm chứng t-test độc lập a Mục đíchQuy trình 65 a. Phép kiểm chứng t-test độc lập Đối với phép kiểm chứng t-test, kết quả chúng ta cần tính toán là khả năng xảy ra ngẫu nhiên (giá trị p) thay vì giá trị t. Chúng ta sẽ kiểm tra xem liệu giá trị p nhỏ hơn hoặc bằng 0,05. Giá trị p được giải thích như sau: Khi Chênh lệch giữa giá trị trung bình của 2 nhóm p < = 0,05 ⇒ p >= 0,05 ⇒ Có ý nghĩa (chênh lệch không có khả năng xảy ra ngẫu nhiên) KHÔNG có ý nghĩa (chênh lệch có khả năng xảy ra ngẫu nhiên) Về mặt kỹ thuật, giá trị p (xác suất xảy ra ngẫu nhiên) nói đến tỷ lệ phần trăm. Ví dụ, độ giá trị p bằng 0,04 có nghĩa là khả năng chênh lệch giữa hai giá trị trung bình chỉ là 4%. Dựa trên giá trị quy ước là 5%, chúng ta coi chênh lệch đó không có khả năng xảy ra ngẫu nhiên. Khi đó, chênh lệch là có ý nghĩa. 15 2. So sánh dữ liệu Phép kiểm chứng t-test độc lập giúp chúng ta xác định xem chênh lệch giữa giá trị trung bình của hai nhóm không liên quan có khả năng xảy ra ngẫu nhiên hay không. Trong phép kiểm chứng t-test, chúng ta thường tính giá trị p, trong đó: p là sác xuất xảy ra ngẫu nhiên, thông thường hệ số p được quy định p <= 0,05 a. Phép kiểm chứng t-test độc lập 17 2. So sánh dữ liệu a. Phép kiểm chứng t-test độc lập Ví dụ 3: 3 tập hợp điểm kiểm tra của 2 nhóm Phép kiểm chứng t-test so sánh các giá trị trung bình các bài kiểm tra giữa nhóm thực nghiệm với nhóm đối chứng Nhóm thực nghiệm Nhóm đối chứng Kiểm tra ngôn ngữ Kiểm tra trước tác động Kiểm tra sau tác động Kiểm tra ngôn ngữ Kiểm tra trước tác động Kiểm tra sau tác động Giá trị trung bình Độ lệch chuẩn Giá trị p của phép kiểm chứng t-test độc lập 66 Trong trường hợp này, giá trị trung bình (với điểm tối đa là 100) của ba bài kiểm tra (kiểm tra ngôn ngữ, bài kiểm tra trước và bài kiểm tra sau tác động) của nhóm thực nghiệm và nhóm đối chứng đã được tính toán. Chênh lệch về giá trị trung bình của hai nhóm được thể hiện như sau: KT ngôn ngữ KT trước tác động KT sau tác động Nhóm thực nghiệm (a) 76,3 24,9 27,6 Nhóm đối chứng (b) 75,5 24,8 25,2 Giá trị chênh lệch (c = b – a) 0,8 0,1 2,4 Nhìn vào chênh lệch giá trị trung bình (c), có vẻ như đã có sự tiến bộ trong cả 3 kết quả kiểm tra. Tuy nhiên, chúng ta chưa thể đưa ra kết luận khi chưa thực hiện phép kiểm chứng t-test. Công thức tính giá trị p của phép kiểm chứng t-test trong phần mềm Excel được trình bày ở phần dưới. Các bạn có thể tra cứu mục “Help” trong Excel để biết thêm thông tin về chức năng của phép kiểm chứng t-test. KT ngôn ngữ KT trước tác động KT sau tác động Nhóm thực nghiệm (a) 76,3 24,9 27,6 Nhóm đối chứng (b) 75,5 24,8 25,2 Giá trị chênh lệch (c = b – a) 0,8 0,1 2,4 Giá trị p 0,56 0,95 0,05 Có ý nghĩa (p<= 0,05) Không có ý nghĩa Không có ý nghĩa Có Ý nghĩa Giá trị p trong phép kiểm chứng t-test cho thấy chênh lệch giá trị trung bình giữa các bài kiểm tra ngôn ngữ và bài kiểm tra trước tác động của hai nhóm lần lượt là 0,56 và 0,95. Điều này có nghĩa là chênh lệch này có khả năng xảy ra ngẫu nhiên cao. Do vậy, Soh K C (2006) AR(4) 19 a. Phép ki
m ch
ng t-test đ
c l
p = TTEST (b3:b17, f3:f15, 2, 2) = 0.56 67 chúng ta coi chênh lệch này KHÔNG có ý nghĩa. Giá trị p của phép kiểm chứng t-test cho biết chênh lệch giữa giá trị trung bình của các bài kiểm tra sau tác động của hai nhóm là 0,05, có nghĩa là chênh lệch không có khả năng xảy ra ngẫu nhiên. Chúng ta coi chênh lệch này là CÓ Ý NGHĨA. Kết luận của nghiên cứu này là không có chênh lệch có ý nghĩa giữa kết quả bài kiểm tra ngôn ngữ và bài kiểm tra trước tác động của hai nhóm. Tuy nhiên, chênh lệch giữa kết quả hai bài kiểm tra sau tác động của hai nhóm là có ý nghĩa, nghiêng về nhóm thực nghiệm. Điều này cho thấy tác động đã mang lại kết quả cao hơn trong bài kiểm tra sau tác động. b. Phép kiểm chứng t-test phụ thuộc Cùng ví dụ trên, cả nhóm thực nghiệm và nhóm đối chứng cùng làm một bài kiểm tra hai lần (Bài kiểm tra trước và sau tác động). Chênh lệch giá trị trung bình của bài kiểm tra trước tác động và sau tác động được tính như sau: KT trước tác động (a) KT sau tác động (b) Giá trị chênh lệch (c=b-a) Giá trị p Có ý nghĩa (p<= 0,05) Nhóm thực nghiệm 24,9 27,6 2,7 0,01 Có ý nghĩa Nhóm đối chứng 24,8 25,2 0,4 0,4 Không có ý nghĩa Giống như phần trên, không thể đưa ra kết luận về chênh lệch giá trị trung bình 2,7 điểm của nhóm thực nghiệm trước khi thực hiện phép kiểm chứng t-test phụ thuộc. Phép kiểm chứng t-test phụ thuộc kiểm tra chênh lệch về giá trị trung bình trong cùng một nhóm. Giá trị p bằng 0,01 của phép kiểm chứng t-test phụ thuộc cho thấy chênh lệch là có ý nghĩa và không có khả năng xảy ra ngẫu nhiên. Với nhóm đối chứng, kết quả phép kiểm chứng cho thấy chênh lệch giá trị trung bình 0,4 điểm là không có ý nghĩa. Đối với giáo viên - người nghiên cứu, điều này khẳng định thêm sự tiến bộ tích cực do tác động mang lại. c. Mức độ ảnh hưởng (ES) Mức độ ảnh hưởng (ES) cho biết độ lớn ảnh hưởng của tác động. Độ chênh lệch giá trị trung bình chuẩn (SMD) chính là công cụ đo mức độ ảnh hưởng. Công thức tính mức độ ảnh hưởng sử dụng độ chênh lệch giá trị trung bình chuẩn của Cohen (1998) được trình bày trong bảng bên. 26 Trong nghiên cứu tác động, chúng ta muốn biết chênh lệch điểm trung bình do tác động mang lại có tính thực tiễn hoặc có ý nghĩa hay không. Đó chính là độ lớn của chênh lệch giá trị TB. 2. So sánh dữ liệu ES = Giá trị TB Nhóm thực nghiệm – Giá trị TB nhóm đối chứng Độ lệch chuẩn Nhóm đối chứng c. Mức độ ảnh hưởng (ES) 68 Có thể giải thích mức độ ảnh hưởng bằng cách sử dụng các tiêu chí của Cohen, trong đó phân ra các mức độ ảnh hưởng từ rất nhỏ đến rất lớn. Giá trị mức độ ảnh hưởng (ES) Ảnh hưởng > 1,00 Rất lớn 0,80 – 1,00 Lớn 0,50 – 0,79 Trung bình 0,20 – 0,49 Nhỏ < 0,20 Rất nhỏ Về mặt lý thuyết, không có giới hạn trên của mức độ ảnh hưởng. Giá trị mức độ ảnh hưởng 0,63 nằm ở mức trung bình, nghĩa là tác động mang lại ảnh hưởng ở mức độ trung bình. Giá trị mức độ ảnh hưởng 0,10 thuộc mức rất nhỏ, nghĩa là tác động không có ảnh hưởng thực tiễn. Tác động của dự án được xác định thông qua mức độ ảnh hưởng là một cơ sở tốt để người quản lý đưa ra quyết định. Ví dụ, nhà trường có thể lựa chọn thực hiện các nghiên cứu có ảnh hưởng lớn hơn thay vì các nghiên cứu có ảnh hưởng nhỏ. Ví dụ, mức độ ảnh hưởng giữa hai bài kiểm tra trước tác động và hai bài kiểm tra sau tác động có kết quả như sau: Giá trị mức độ ảnh hưởng (ES) Ảnh hưởng KT trước tác động 0,03 Rất nhỏ KT sau tác động 0,63 Trung bình d. Phép kiểm chứng Khi bình phương Đối với các dữ liệu rời rạc, chúng ta sử dụng phép kiểm chứng Khi bình phương thay vì phép kiểm chứng t-test. Chúng ta cùng xét ví dụ sau. Có hai hạng mục phân biệt (“Đỗ” và “Trượt”) về kết quả kiểm tra của nhóm thực nghiệm và nhóm đối chứng. Dựa vào điểm số quy định đỗ và trượt, số học sinh trong mỗi hạng mục được liệt kê vào bảng tương ứng. 28 2. So sánh dữ liệu c. Mức độ ảnh hưởng (ES) Ví dụ Nhóm thực nghiệm Nhóm đối chứng Kiểm tra ngôn ngữ Kiểm tra trước tác động Kiểm tra sau tác động Kiểm tra ngôn ngữ Kiểm tra trước tác động Kiểm tra sau tác động Giá trị trung bình Độ lệch chuẩn ES KT trước tác động = 24,9 – 24,8 3,96 = 0,03 69 Trong nhóm thực nghiệm, số học sinh đỗ (108) nhiều hơn số học sinh trượt (42). Trong nhóm đối chứng, số học sinh đỗ (17) ít hơn số học sinh trượt (38). Đối với dữ liệu này, câu hỏi đặt ra là liệu có tương quan có ý nghĩa giữa thành phần nhóm (nhóm thực nghiệm và nhóm đối chứng) và các hạng mục kết quả (đỗ và trượt) hay không. Nói cách khác, hai câu hỏi đặt ra là: • Học sinh nhóm thực nghiệm có khả năng đỗ cao hơn không? • Học sinh nhóm đối chứng có khả năng trượt cao hơn không? Để tính giá trị p, có thể sử dụng phần mềm Khi bình phương sẵn có trên mạng internet. Tất cả những gì các bạn cần làm là đưa dữ liệu vào mỗi hạng mục, và phần mềm sẽ tự động tính kết quả. Trong số các kết quả tìm được, chúng ta chỉ quan tâm đến giá trị p. Có thể giải thích giá trị p trong phép kiểm chứng Khi bình phương như sau: Khi Tương quan giữa thành phần nhóm và kết quả p <= 0,001 ⇒ Tương quan CÓ Ý NGHĨA (các dữ liệu KHÔNG CÓ KHẢ NĂNG xảy ra ngẫu nhiên) p > 0,001 ⇒ Tương quan KHÔNG có ý nghĩa (các dữ liệu CÓ KHẢ NĂNG xảy ra ngẫu nhiên) 31 2. So sánh dữ liệu Phép kiểm chứng Khi bình phương đánh giá mối liên hệ giữa thành phần nhóm (nhóm thực nghiệm với nhóm đối chứng) và hạng mục kết quả (đỗ và trượt). d. Phép kiểm chứng Khi bình phương (Chi-square test) 3817Nhóm đối chứng 42108Nhóm dự án TrượtĐỗ Có nghĩa là: - Học sinh nhóm dự án có khả năng đỗ cao hơn không? - Học sinh nhóm đối chứng có khả năng trượt cao hơn không? 33 2. So sánh dữ liệu d. Phép kiểm chứng Khi bình phương (Chi-square test) 1. Nhập các dữ liệu và ấn nút “Calculate” (Tính) Giá trị Khi bình phương Mức độ tự do Giá trị p 2. Các kết quả sẽ xuất hiện! 70 Khác với phép kiểm chứng t- test cho biết giá trị p khi so sánh hai giá trị trung bình, phép kiểm chứng Khi bình phương chỉ tính được một giá trị p cho toàn bộ bảng dữ liệu. Trên cơ sở tính được giá trị p=9x10-8, nhỏ hơn 0,001, có thể kết luận rằng có tương quan có ý nghĩa giữa thành phần nhóm và kết quả. Tất cả các dữ liệu trong bảng ma trận này KHÔNG xảy ra ngẫu nhiên. Điều này có nghĩa là học sinh trong nhóm thực nghiệm có khả năng đỗ nhiều hơn và học sinh trong nhóm đối chứng có khả năng trượt nhiều hơn. Có thể sử dụng phép kiểm chứng Khi bình phương cho các bảng dữ liệu có số cột và hàng khác nhau. Nói cách khác, thành viên nhóm có thể thuộc nhiều hơn hai hạng mục (Phương pháp A, Phương pháp B, và nhóm đối chứng). Tương tự như vậy, có thể có nhiều hơn hai hạng mục kết quả (ví dụ: Cao, Trung bình, Thấp). Đối với các dữ liệu về thái độ, các hạng mục phản hồi có thể tuân theo thiết kế của thang đo thái độ (Ví dụ: Hoàn toàn đồng ý, Đồng ý, Bình thường, Không đồng ý, Hoàn toàn không đồng ý). Phép kiểm chứng Khi bình phương đòi hỏi tất cả dữ liệu trong các ô phải có giá trị lớn hơn 5 để đảm bảo độ tin cậy của phép tính. Trong ví dụ này, chúng ta có thể kết hợp một số cột liền kề để một bảng có kích thước hàng cột là 3x3 trở thành 2x2, Chẳng hạn, có thể kết hợp Lớp “Sao” và Lớp “Khác” thành Nhóm thực nghiệm, kết hợp Miền 1 và Miền 2-3 thành mục “Đỗ”. 35 2. So sánh dữ liệu d. Phép kiểm chứng Khi bình phương (Chi-square test) 205807946Tổng 5538134Nhóm đối chứng 122384935Lớp khác 284177Lớp Sao TổngMiền 4Miền 2-3Miền 1 Có thể sử dụng phép kiểm chứng Khi bình phương đối với bảng dữ liệu có từ 2 cột và 2 hàng trở lên 34 2. So sánh dữ liệu d. Phép kiểm chứng Khi bình phương (Chi-square test) Giải thích 1553817Nhóm đối chứng 125 108 Đỗ 20538Tổng 15042Nhóm thực nghiệm TổngTrượt Khi bình phương Mức độ tự do Giá trị p p = 9 x 10-8 = 0,00000009 < 0,001 ÎLiên hệ có ý nghĩa giữa thành phần nhóm và kết quả Î Các dữ liệu không xảy ra ngẫu nhiên Kết luận: - Học sinh nhóm thực nghiệm có khả năng đỗ cao hơn - Học sinh nhóm đối chứng có khả năng trượt cao hơn 36 2. So sánh dữ liệu d. Phép kiểm chứng Khi bình phương (Chi-square test) Bảng gốc được gộp thành một bảng 2x2, vì một số ô có giá trị < 5 Lớp Sao + Lớp khác Î Nhóm thực nghiệm Miền 1 + Miền 2-3 Î Đỗ Lớp Sao Lớp khác Nhóm đối chứng Tổng Nhóm đối chứng Nhóm thực nghiệm Tổng Tổng Miền 1 Miền 2-3 Miền 4 Tổng Đỗ Trượt 71  3. Liên hệ dữ liệu Chức năng thứ ba của thống kê trong nghiên cứu tác động là liên hệ dữ liệu. Khi nhóm duy nhất thực hiện hai bài kiểm tra hoặc làm một bài kiểm tra hai lần, chúng ta cần biết tương quan giữa điểm số của hai bài kiểm tra. Một ví dụ trong thực tế là tìm tương quan giữa chiều cao và cân nặng của một nhóm tham gia nghiên cứu. Hệ số tương quan Pearson (r) được sử dụng để đo mức độ tương quan. Mặc dù chúng ta đều biết không phải lúc nào một người cao hơn cũng nặng hơn, nhưng có thể tính hệ số tương quan r để đo mức độ của mối quan hệ tuyến tính giữa hai biến (chiều cao và cân nặng). Khi một nhóm duy nhất được đo bằng hai bài kiểm tra hoặc làm một bài kiểm tra hai lần, chúng ta cần đặt một trong các câu hỏi sau: • Mức độ tương quan của hai tập hợp điểm như thế nào? • Kết quả bài kiểm tra sau tác động có phụ thuộc vào kết quả bài kiểm tra trước tác động không? Chẳng hạn, chúng ta cần biết trong mỗi nhóm: • Kết quả kiểm tra ngôn ngữ có ảnh hưởng tới kết quả kiểm tra trước và sau tác động không? • Kết quả kiểm tra trước tác động có ảnh hưởng đến kết quả kiểm tra sau tác động không? Có thể dùng công thức sẵn có trong Excel để tính Hệ số tương quan Pearson (r). Ví dụ, công thức tính hệ số tương quan Pearson (r) dùng để đo tương quan giữa bài kiểm 3. Liên hệ dữ liệu Khi một nhóm duy nhất: • Làm 2 bài kiểm tra, hoặc • Làm 1 bài kiểm tra 2 lần Câu hỏi đặt ra là: 1. Mức độ tương quan của hai tập hợp điểm như thế nào?, hoặc 2. Kết quả kiểm tra sau tác động có phụ thuộc vào kết quả kiểm tra trước tác động không? 41 1. Kết quả bài kiểm tra ngôn ngữ có ảnh hưởng đến bài kiểm tra trước và sau tác động không? 2. Bài kiểm tra trước tác động có ảnh hưởng đến bài kiểm tra sau tác động hay không? Ví dụ: Hệ số tương quan 72 tra ngôn ngữ và bài kiểm tra trước tác động của nhóm thực nghiệm là CORREL (B3:B:17, C3:C17). Để trả lời hai câu hỏi này, cần tính hệ số tương quan r như sau: Nhóm thực nghiệm Nhóm đối chứng Giá trị r Ảnh hưởng Giá trị r Ảnh hưởng KT ngôn ngữ - KT trước tác động 0,39 Trung bình 0,31 Trung bình KT ngôn ngữ - KT sau tác động 0,36 Trung bình 0,25 Nhỏ KT trước – KT sau tác động 0,92 Gần như hoàn toàn 0,93 Gần như hoàn toàn Để giải thích giá trị r, chúng ta sẽ tra bảng Hopkin. Bảng này mô tả các ảnh hưởng từ rất nhỏ đến gần như hoàn toàn. Trong trường hợp này, điều thú vị là với nhóm thực nghiệm, bài kiểm tra ngôn ngữ có ảnh hưởng trung bình đến kết quả kiểm tra trước tác động (r = 0,39) và kiểm tra sau tác động (r = 0,36). Đối với nhóm đối chứng, bài kiểm tra ngôn ngữ có ảnh hưởng trung bình đến bài kiểm tra trước tác động (r = 0,31) và có ảnh hưởng nhỏ đến bài kiểm tra sau tác động (r = 0,25). Với cả hai nhóm, giá trị độ tương quan r giữa kết quả kiểm tra trước và sau tác động lần lượt là 0,92 và 0,93. Giá trị này cho chúng ta thấy, đối với cả hai nhóm, kết quả kiểm tra trước tác động có độ tương quan gần như hoàn toàn với kết quả kiểm tra sau tác động. Điều này có nghĩa là trong cả hai nhóm, những em học sinh làm tốt bài kiểm tra trước tác động cũng sẽ đạt kết quả cao trong bài kiểm tra sau tác động. Một phương pháp khác để hiểu mức độ tương quan của dữ liệu là sử dụng biểu đồ phân tán. Hai biểu đồ phân tán dưới đây cho biết tương quan của các dữ liệu trong nhóm thực nghiệm. Mỗi điểm trên biểu đồ biểu thị điểm hai bài kiểm tra của một học sinh. Sau khi vẽ ra tất cả các điểm, chúng ta vẽ một đường thẳng xu hướng để kiểm tra độ tương quan. 43 Gần như hoàn toàn0,9 - 1 Rất lớn0,7 – 0,9 Lớn0,5 – 0,7 Trung bình0,3 – 0,5 Nhỏ0,1 – 0,3 Rất nhỏ< 0,1 Ảnh hưởngGiá trị r W. G. Hopkins (2002): Quan điểm mới về thống kê Để giải thích giá trị r, chúng ta sử dụng bảng Hopkins: Hệ số tương quan 73 KT ngôn ngữ - KT trước (r=0.39) 0 5 10 15 20 25 30 35 0 20 40 60 80 100 KT ngôn ngữ K T tr ư ớ c KT trước - KT sau (r = 0.92) 24 25 26 27 28 29 30 31 0 10 20 30 40 KT sau K T tr ư ớ c Chúng ta hiểu rằng độ giá trị r = 0,39 biểu thị ảnh hưởng ở mức trung bình, các điểm trong biểu đồ phân tán về cả hai phía của đường thẳng xu hướng nhiều hơn so với biểu đồ có giá trị r = 0,92. Với hệ số tương quan giữa bài kiểm tra trước và sau tác động r = 0,92, chúng ta kết luận tương quan của hai bài kiểm tra này là gần như hoàn toàn. Hầu hết các điểm trên biểu đồ phân bố tập trung xung quanh đường thẳng xu hướng cho thấy những học sinh có kết quả cao trong bài kiểm tra trước tác động cũng sẽ đạt kết quả cao trong bài kiểm tra sau tác động. Tương quan giữa kết quả kiểm tra ngôn ngữ và kết quả kiểm tra trước tác động chắc chắn hơn.  Thiết kế nghiên cứu và thống kê Thiết kế nghiên cứu và thống kê có mối quan hệ mật thiết với nhau. Nói cách khác, các kỹ thuật thống kê sử dụng trong nghiên cứu được thể hiện trong thiết kế nghiên cứu. Chúng ta hãy tóm tắt lại các kỹ thuật thống kê vừa tìm hiểu trong mối liên hệ với các thiết kế nghiên cứu. Đối với nhóm thực nghiệm (G1), O1 và O3 là các bài kiểm tra trước và sau tác động của cùng một nhóm. Trong trường hợp này, chúng ta sử dụng phép kiểm chứng t-test theo cặp để xem xét liệu giá trị chênh lệch ⎢O3 – O1⎢có ý nghĩa hay không. Chúng ta cũng có thể tính Mức độ ảnh hưởng để biết ảnh hưởng của tác động X và tìm hệ số 46 Thiết kế nghiên cứu và thống kê Phép kiểm chứng t-test độc lập, mức độ ảnh hưởng Phép kiểm chứng t-test độc lập, mức độ ảnh hưởng Phép kiểm chứng t-test theo cặp, mức độ ảnh hưởng, hệ số tương quan O4---O2 Nhóm đối chứng: G2 Phép kiểm chứng t-test theo cặp, mức độ ảnh hưởng, hệ số tương quan O3XO1 Nhóm dự án: G1 KT sau tác động Tác động KT trước tác động Không thể sử dụng hệ số tương quan (r) ở đây, vì sao? 74 tương quan để biết tương quan giữa bài kiểm tra trước và sau tác động. Có thể thực hiện tương tự như vậy với hai tập hợp điểm (O2 và O4) đối với nhóm đối chứng (G2). Trong hàng dưới, chúng ta sử dụng phép kiểm chứng t-test độc lập để xem xét sự tương đương giữa hai nhóm trước khi có tác động bằng cách kiểm tra giá trị chênh lệch ⎢O1 - O2⎢. Chúng ta cũng có thể tính mức độ ảnh hưởng, nhưng không tính được hệ số tương quan (r). Tại sao vậy? Thực hiện tương tự với các bài kiểm tra sau tác động (O3 và O4). Hoạt động 4.1: Tìm hiểu thống kê trong nghiên cứu tác động 1. Bạn đang dự định thực hiện một nghiên cứu tác động nhằm nâng cao kết quả của học sinh trong môn học mà bạn giảng dạy. Bạn chọn sử dụng thiết kế nào? Tại sao? Bạn cần những số liệu thống kê nào? Tại sao? 2. Nếu tính được mức độ ảnh hưởng ES = +1,35, bạn sẽ báo cáo kết quả thế nào? 3. Nếu hệ số tương quan (r) giữa điểm bài kiểm tra quốc gia và bài kiểm tra sau tác động là r = + 0,75, bạn sẽ giải thích sự tương quan này như thế nào? 1. Bạn đang dự định thực hiện một nghiên cứu tác động nhằm nâng cao kết quả của học sinh trong môn học mà bạn giảng dạy. Bạn chọn sử dụng thiết kế nào? Tại sao? Bạn cần những số liệu thống kê nào? Tại sao? Nên lựa chọn thiết kế chỉ sử dụng bài kiểm tra sau tác động với các nhóm ngẫu nhiên. Việc thu thập dữ liệu trong thiết kế này có hiệu quả. Thêm một lợi thế nữa là có thể loại bỏ nguy cơ “kinh nghiệm làm bài kiểm tra”. 2. Nếu tính được hệ số mức độ ảnh hưởng ES = +1,35, bạn sẽ báo cáo kết quả thế nào? Theo bảng tiêu chí Cohen, mức độ ảnh hưởng có độ giá trị + 1,35 thuộc mức rất lớn. Kết quả báo cáo là tác động có ảnh hưởng rất lớn. 3. Nếu hệ số tương quan giữa điểm bài kiểm tra quốc gia và bài kiểm tra sau tác động là r = + 0,75, bạn sẽ giải thích sự tương quan này như thế nào? Theo bảng Hopkin, hệ số tương quan r = + 0,75 là rất lớn. Kết luận là điểm bài kiểm tra sau tác động phụ thuộc rất nhiều vào điểm của bài kiểm tra quốc gia. Những học sinh có kết quả cao trong bài kiểm tra quốc gia thường có kết quả tốt trong bài kiểm tra sau tác động. 75 Hoạt động 4.2: Sử dụng thống kê trong Nghiên cứu tác động _______________________________________________________________ 1. Sử dụng bản Excel dưới đây để tính các số liệu thống kê theo yêu cầu và so sánh kết quả với câu trả lời trong các slide trình chiếu. a. Mô tả dữ liệu Giá trị trung bình = Trung vị = Mode = Độ lệch chuẩn (SD) = b. So sánh dữ liệu liên tục giá trị p trong phép kiểm chứng t-test độc lập giữa: Nhóm Thực nghiệm (Ex) và Nhóm Đối chứng (Co) Giá trị p Chênh lệch có ý nghĩa? a. Bài kiểm tra ngôn ngữ b. Bài kiểm tra trước tác động c. Bài kiểm tra sau tác động giá trị p trong phép kiểm chứng t-test phụ thuộc a. Nhóm thực nghiệm (Ex) Giá trị p Khác biệt có ý nghĩa? Bài kiểm tra trước và sau tác động b. Nhóm đối chứng (Co) Giá trị p Khác biệt có ý nghĩa? Bài kiểm tra trước và sau tác động 76 tính mức độ ảnh hưởng (ES) của: Bài kiểm tra Giá trị ES Ảnh hưởng a. Trước tác động b. Sau tác động c. So sánh dữ liệu rời rạc Sử dụng phần mềm tính giá trị Khi bình phương tại địa chỉ sau: Đỗ Trượt Tổng Nhóm thực nghiệm 108 42 Nhóm đối chứng 17 38 Tổng Giá trị Khi bình phương Mức độ tự do (Degree of Freedom) Giá trị p Kết luận: ___________________________________________________ d. Liên hệ dữ liệu Tính hệ số tương quan Pearson (r) 77 Câu hỏi: 1. Kết quả bài kiểm tra ngôn ngữ có ảnh hưởng đến bài kiểm tra trước và sau tác động không? Giữa Giá trị r (Nhóm thực nghiệm) Giá trị r (Nhóm đối chứng) Bài KT ngôn ngữ và bài KT trước tác động Bài KT ngôn ngữ và bài KT sau tác động Kết luận: _____________________________________________________ 2. Kết quả bài kiểm tra trước tác động có ảnh hưởng đến bài kiểm tra sau tác động không? Giữa Giá trị r (Nhóm thực nghiệm) Giá trị r (Nhóm đối chứng) Bài kiểm tra trước tác động và sau tác động Kết luận: ________________________________________________ 78 Phần 5 Báo cáo nghiên cứu tác động  Mục đích của báo cáo nghiên cứu tác động  Các nội dung cơ bản của báo cáo nghiên cứu tác động  Cấu trúc báo cáo  Ngôn ngữ và văn phong báo cáo  Nguyên tắc viết báo cáo tốt  Hoạt động 5.1: Đánh giá báo cáo nghiên cứu tác động 79  Mục đích của báo cáo nghiên cứu tác động Một bản báo cáo tốt là phương tiện đắc lực và hiệu quả để trình bày kết quả của một nghiên cứu tác động. Mọi hoạt động và kết quả tốt của nghiên cứu tác động cần được báo cáo đúng cách để truyền đạt ý nghĩa của nghiên cứu tới những người quan tâm. Trong phần này chúng ta sẽ bàn cụ thể về báo cáo nghiên cứu tác động. Trước hết, các kết quả nghiên cứu tác động là điều mà giáo viên - người nghiên cứu rất quan tâm. Họ muốn biết liệu ảnh hưởng của tác động là tốt, trung bình hay không tốt. Trong thực tế, ảnh hưởng của tác động sẽ trả lời cho vấn đề nghiên cứu. Thứ hai, kết quả nghiên cứu tác động là điều mà lẫnh đạo nhà trường, đồng nghiệp và những người nghiên cứu khác quan tâm. Dựa trên các kết quả nghiên cứu, có thể xác định các hoạt động sau nghiên cứu hoặc ra quyết định. Có rất nhiều dịp để chia sẻ và thảo luận về các kết quả nghiên cứu. Có thể là trong các cuộc họp khoa, hội thảo chuyên đề nội bộ nhà trường, hội nghị chuyên đề của quận, hội thảo cấp quốc gia hay quốc tế, và trên các tạp chí giáo dục. Người nghiên cứu cần ghi lại một cách trung thực mục đích, quá trình và kết quả của nghiên cứu tác động. Tài liệu này chính là cơ sở của việc truyền đạt thông tin. Sau đó, có thể điều chỉnh về mặt nội dung cũng như văn phong báo cáo cho phù hợp với các đối tượng khác nhau.  Các nội dung cơ bản của báo cáo nghiên cứu tác động Để đạt được mục đích trong việc báo cáo nghiên cứu tác động, giáo viên - người nghiên cứu cần biết các nội dung cơ bản của báo cáo. Những nội dung này không thay đổi, cho dù người đọc có thể có nhu cầu khác nhau về nội dung và văn phong. Các phần cơ bản của báo cáo nghiên cứu tác động gồm: • Vấn đề nghiên cứu nảy sinh như thế nào? Vì sao vấn đề lại quan trọng? • Giải pháp cụ thể là gì? Các kết quả dự kiến là gì? • Tác động nào đã được thực hiện? Trên đối tượng nào? Và bằng cách nào? • Đo các kết quả bằng cách nào? Độ tin cậy của phép đo ra sao? • Kết quả nghiên cứu cho thấy điều gì? Vấn đề nghiên cứu đã được giải quyết chưa? • Có những kết luận và kiến nghị gì? 4 Mục đích của báo cáo nghiên cứu tác động • Để trình bày kết quả nghiên cứu với lãnh đạo nhà trư ờng, đồng nghiệp và những người làm nghiên cứu khác • Chứng minh bằng tư liệu về quy trình và các kết quả nghiên cứu Î Báo cáo nghiên cứu tác động bằng văn bản là một dạng báo cáo phổ biến. 80 Để xác định rõ cần đưa bao nhiêu chi tiết vào báo cáo và sử dụng phong cách báo cáo nào, cần căn cứ vào trình độ và nhu cầu của người đọc. Ví dụ, cán bộ quản lý trong nhà trường thường quan tâm đến kết quả nghiên cứu nhiều hơn là quá trình thực hiện. Cha mẹ học sinh có thể muốn đọc báo cáo bằng ngôn ngữ đơn giản. Tuy nhiên, các đồng nghiệp giáo viên - người nghiên cứu và các nhà nghiên cứu chuyên môn khác thường muốn biết thông tin chi tiết về nghiên cứu tác động, như vấn đề nghiên cứu, thiết kế, các phép đo, và phân tích dữ liệu. Họ cũng có thể muốn đánh giá giá trị của nghiên cứu để xem xét cách thực hiện một nghiên cứu tương tự.  Cấu trúc báo cáo Cấu trúc đầy đủ của một báo cáo nghiên cứu tác động bao gồm các thành phần sau: Tên đề tài Có thể viết tên đề tài trong phạm vi 15 từ. Tên đề tài cần đưa ra một bức tranh rõ ràng về nội dung nghiên cứu, khách thể nghiên cứu và tác động được thực hiện. Có thể viết tên đề tài cuối cùng vì có thể cần chỉnh sửa nhiều lần trong quá trình viết báo cáo. Tên tác giả và tổ chức Nếu có từ hai tác giả trở lên, cần đưa tên chủ biên ở vị trí đầu tiên. Nếu các tác giả thuộc nhiều tổ chức khác nhau, nên đưa tên của các tác giả trong cùng tổ chức vào một phần. Tóm tắt Đây là phần tóm tắt cô đọng về bối cảnh, mục đích, quá trình và các kết quả nghiên cứu. Người nghiên cứu có thể viết từ một đến ba câu để tóm tắt cho mỗi nội dung. 7 Cấu trúc báo cáo • Tên đề tài • Tên tác giả và tổ chức • Tóm tắt • Giới thiệu • Phương pháp • Phân tích dữ liệu và các kết quả • Bàn luận • Kết luận & kiến nghị • Tài liệu tham khảo • Phụ lục Thông tin cơ sở và vấn đề nghiên cứu Khách thể nghiên cứu, thiết kế, đo lường, quy trình nghiên cứu, kỹ thuật phân tích dữ liệu 81 Phần tóm tắt chỉ nên có độ dài từ 150 đến 200 từ để người đọc hình dung khái quát về nghiên cứu. Giới thiệu Trong phần này, người nghiên cứu cung cấp thông tin cơ sở và lý do thực hiện nghiên cứu. Có thể trích dẫn 6 đến 10 tài liệu và công trình nghiên cứu gần nhất giúp người đọc biết được các nhà nghiên cứu khác đã nghiên cứu những gì. Trong phần cuối của mục giới thiệu, người nghiên cứu cần trình bày rõ các vấn đề nghiên cứu sẽ được trả lời thông qua nghiên cứu. Phương pháp Giải thích về khách thể nghiên cứu, thiết kế, các phép đo, quy trình và các kỹ thuật phân tích được thực hiện trong nghiên cứu tác động. a. Khách thể nghiên cứu Trong phần này, người nghiên cứu mô tả các đối tượng tham gia (hoặc học sinh) trong nhóm thực nghiệm và nhóm đối chứng về: giới, thành tích hoặc trình độ, thái độ và các hành vi có liên quan. b. Thiết kế Mô tả việc chọn nhóm khách thể nghiên cứu thuộc nhóm ngẫu nhiên hay nhóm nguyên vẹn - bao gồm học sinh cả lớp mà không cần phân nhóm ngẫu nhiên. Nghiên cứu đã sử dụng kết quả của bài kiểm tra trước tác động hay kết quả bài kiểm tra thông thường có liên quan để xác định sự tương đương giữa các nhóm? Nghiên cứu sử dụng phép kiểm chứng t-test hay phép kiểm chứng Khi bình phương để xác định điều này? Người nghiên cứu có thể sử dụng khung như dưới đây để mô tả thiết kế nghiên cứu : Các ký hiệu G1 (Nhóm 1), X (tác động) và O1 (Bài kiểm tra sau tác động) được chấp nhận rộng rãi và dễ hiểu. c. Đo lường Trong phần này, người nghiên cứu mô tả bài kiểm tra trước tác động (hoặc các bài kiểm tra cũ) và bài kiểm tra sau tác động về: nội dung, dạng câu hỏi và số lượng câu hỏi. Có thể bổ sung phần mô tả quy trình chấm điểm, độ tin cậy và độ giá trị (nếu có) của dữ liệu. Thiết kế chỉ sử dụng bài kiểm tra sau tác động với nhóm ngẫu nhiên/ tương đương Nhóm Tác động Bài kiểm tra sau tác động G1 X O1 G2 --- O2 82 d. Quy trình nghiên cứu Mô tả chi tiết tác động được thực hiện trong nghiên cứu, trả lời các câu hỏi như: • Ai thực hiện các bài kiểm tra? • Có những tài liệu nào được sử dụng trong quá trình thực hiện tác động? • Tác động kéo dài bao lâu? • Tác động được thực hiện ở đâu và khi nào? e. Kỹ thuật phân tích dữ liệu Mô tả các kỹ thuật thống kê và cách sử dụng các kỹ thuật này trong việc phân tích dữ liệu. Trong phần phương pháp nghiên cứu, người nghiên cứu có thể nêu các tiêu đề nhỏ như khách thể nghiên cứu, thiết kế, phép đo, quy trình nghiên cứu và các kỹ thuật phân tích dữ liệu nếu có đủ thông tin cho mỗi phần. Phân tích dữ liệu và kết quả Trong phần này, người nghiên cứu tóm tắt các dữ liệu thu thập được, báo cáo về các kỹ thuật thống kê được sử dụng để phân tích dữ liệu và chỉ ra kết quả của quá trình phân tích đó. Cách phổ biến là dùng bảng và biểu đồ. Dưới đây là một ví dụ về mô tả các kết quả của một nghiên cứu tác động. 21 Như trong bảng 1 dưới đây, điểm TB bài kiểm tra sau tác động của nhóm thực nghiệm là 28,5 (SD=3,54) và của nhóm đối chứng là 23,1 (SD=4,01). Thực hiện phép kiểm chứng t-test độc lập với các kết quả trên tính được giá trị p là 0,02. Điều này cho thấy nhóm thực nghiệm đạt kết quả cao vượt trội so với nhóm đối chứng (Hình 1). 4,0123,112Nhóm đối chứng 3,5428,515Nhóm thực nghiệm Độ lệch chuẩn (SD) Giá trị TBSố HS Bảng 1: So sánh điểm trung bình bài kiểm tra sau tác động Figure 1. Comparison on post-test 0 5 10 15 20 25 30 Project Comparison Nhóm thực nghiệm Nhóm đối chứng Hình 1: So sánh các bài kiểm tra sau tác động 28,5 23,1 83 Trong trường hợp này, các kết quả so sánh được thể hiện gồm: giá trị trung bình, độ lệch chuẩn và giá trị p của phép kiểm chứng t-test. Phần này chỉ trình bày các dữ liệu đã xử lý, không trình bày dữ liệu thô. Bàn luận Trong phần này, người nghiên cứu trả lời các vấn đề nghiên cứu được đề cập trong phần “Giới thiệu”. Người nghiên cứu bàn luận về các kết quả thu được và các hàm ý của mình với sự liên hệ rõ ràng tới mỗi vấn đề nghiên cứu chẳng hạn nghiên cứu này có nên được tiếp tục, điều chỉnh, mở rộng hay dừng lại? Bằng cách trả lời vấn đề nghiên cứu thông qua các kết quả phân tích dữ liệu, người nghiên cứu có thể cho người đọc biết các mục tiêu của nghiên cứu đã đạt được đến mức độ nào. Đôi khi, người nghiên cứu có thể nêu các hạn chế của nghiên cứu nhằm giúp người khác lưu ý về điều kiện thực hiện nghiên cứu. Các hạn chế phổ biến có thể là: quy mô nhóm quá nhỏ, nội dung kiểm tra hạn chế và các yếu tố không kiểm soát được khác. Kết luận và kiến nghị Phần này đưa ra tóm lược nhanh về các kết quả của nghiên cứu với mục đích nhấn mạnh các kết quả nghiên cứu, mang lại ấn tượng sâu sắc hơn cho người đọc. Người nghiên cứu cần tóm tắt các kết quả của mỗi vấn đề nghiên cứu trong phạm vi từ một đến hai câu. Dựa trên các kết quả này, người nghiên cứu có thể đưa ra kiến nghị về các hành động có thể thực hiện trong tương lai. Các kiến nghị có thể bao gồm gợi ý cách điều chỉnh tác động, đối tượng học sinh tham gia nghiên cứu, cách thu thập dữ liệu, hoặc cách áp dụng nghiên cứu trong các lĩnh vực khác. Tài liệu tham khảo Đây là phần trích dẫn theo thứ tự bảng chữ cái về các tác giả, công trình nghiên cứu và tài liệu được sử dụng trong các phần trước, đặc biệt là các tài liệu được nhắc đến trong phần “Giới thiệu” của báo cáo. Các nhà nghiên cứu giáo dục có thể sử dụng cách trích dẫn của Hiệp hội Tâm lý học Mỹ (APA). Có thể tham khảo rất nhiều thông tin về cách trích dẫn này trên mạng internet. Phụ lục Cung cấp thêm danh mục tài liệu tham khảo hỗ trợ những độc giả muốn biết thêm thông tin để nghiên cứu. Nên đưa vào phần này các tài liệu như phiếu hỏi, câu hỏi kiểm tra, kế hoạch bài học, tài liệu giảng dạy, bài tập mẫu và các số liệu thống kê chi tiết.  Ngôn ngữ và văn phong Nội dung của một nghiên cứu tác động cần được trình bày bằng văn phong và ngôn ngữ phù hợp. 84 Đối với ngôn ngữ và văn phong báo cáo, bạn nên: 1. Sử dụng ngôn ngữ đơn giản để viết báo cáo, tránh văn phong diễn đạt phức tạp hoặc các từ chuyên môn không cần thiết. 2. Có phần chú giải cho các bảng, biểu đồ. Chúng ta không nên để người đọc phải tự phán đoán ý nghĩa của các bảng, biểu đồ. 3. Sử dụng các bảng, biểu đồ đơn giản khi có thể. Các biểu đồ hình học ba chiều trông có thể đẹp nhưng không tăng thêm giá trị cho dữ liệu cần trình bày. 4. Sử dụng thống nhất một phong cách trích dẫn cho toàn bộ văn bản (ví dụ: APA).  Nguyên tắc viết báo cáo tốt Giáo viên - người nghiên cứu cần rất nhiều thời gian và sự rèn luyện để có thể viết một báo cáo nghiên cứu tác động tốt. Qua quá trình xem xét rất nhiều vấn đề mắc phải trong các báo cáo nghiên cứu tác động, chúng tôi xin đưa ra nguyên tắc viết một báo cáo tốt như sau: Vì vấn đề nghiên cứu là cốt lõi - trọng tâm của một nghiên cứu tác động nên tất cả các phần khác của báo cáo cần tập trung vào hoặc có liên quan tới vấn đề nghiên cứu và không lan man. Các báo cáo nghiên cứu tuân thủ chặt chẽ nguyên tắc này thường rất cô đọng và tạo ra ảnh hưởng mạnh mẽ hơn đối với độc giả. Những báo cáo không theo nguyên tắc này thường lan man. Kết quả là, người đọc sẽ mất tập trung vào các vấn đề quan trọng của nghiên cứu. Dưới đây là một số lỗi thường gặp trong các báo cáo nghiên cứu tác động: Phần Lỗi phổ biến Giới thiệu Vấn đề nghiên cứu không được trình bày hoặc diễn đạt rõ ràng. Người đọc phải cố gắng suy đoán để tìm ra vấn đề nghiên cứu. Phương pháp Thiết kế nghiên cứu không đo các dữ liệu để trả lời cho các vấn đề nghiên cứu. Bàn luận Phần bàn luận không tập trung vào các vấn đề nghiên cứu. 40 Ngôn ngữ và văn phong • Sử dụng ngôn ngữ đơn giản. • Tránh từ “tôi” trong các báo cáo trang trọng. • Liên kết các bảng, biểu đồ với văn bản (Như trong bảng 1...) • Sử dụng bảng, biểu đồ một cách thận trọng: 1 hoặc 2 dạng biểu đồ đơn giản. • Bố trí các bảng, biểu đồ tại vị trí thích hợp và có chú giải. • Nên sử dụng cách trích dẫn theo tiêu chuẩn của Hiệp hội tâm lý học Hoa Kỳ (APA). 85 Kết luận • Không tóm tắt các kết quả trả lời cho vấn đề nghiên cứu. • Người nghiên cứu bàn về một vấn đề mới. • Các kiến nghị nêu ra không dựa trên các kết quả nghiên cứu. Trong những trường hợp này, người nghiên cứu đã quên mất rằng mục đích của phần kết luận là nhấn mạnh các kết quả quan trọng của nghiên cứu nhằm tạo ấn tượng sâu sắc hơn với người đọc. Hoạt động 5.1: Đánh giá báo cáo nghiên cứu tác động _______________________________________________________________ Cần rất nhiều sự trải nghiệm, nhìn lại quá trình và rèn luyện để có thể viết một báo cáo nghiên cứu tác động tốt. Đọc thêm các báo cáo nghiên cứu tác động bằng tư duy phê phán là một cách hiệu quả để nâng cao kỹ năng viết báo cáo. Chọn một hoặc hai báo cáo nghiên cứu tác động mà bạn quan tâm. Đánh giá về cấu trúc, thành phần, văn phong và ngôn ngữ của báo cáo thông qua các nội dung đã học trong phần này. Khi đánh giá, nên hiểu và tôn trọng nội dung báo cáo và các số liệu thống kê được sử dụng trong nghiên cứu. Bạn cũng có thể đưa ra gợi ý để hoàn thiện báo cáo. 86 Phần 6 Lập kế hoạch nghiên cứu tác động  Bảng các bước lập kế hoạch nghiên cứu tác động  Hướng dẫn 1: Hiện trạng  Hướng dẫn 2: Giải pháp thay thế  Hướng dẫn 3: Thiết kế  Hướng dẫn 4: Đo lường  Hướng dẫn 5: Phân tích  Hướng dẫn 6: Kết quả  Hoạt động 6.1: Lập kế hoạch nghiên cứu tác động  Lời kết 87 Một nghiên cứu tác động tốt khởi đầu bằng một kế hoạch tốt. Sau khi tìm hiểu các khái niệm và kỹ thuật nghiên cứu tác động trong phần trước, chúng ta có thể bắt đầu việc thực hiện lập kế hoạch một nghiên cứu tác động. Một kế hoạch tốt giúp người nghiên cứu cân nhắc mọi khía cạnh của nghiên cứu tác động trước khi thực hiện. Nó cũng cho phép người nghiên cứu đối mặt với những tình huống không mong đợi trong quá trình thực hiện nghiên cứu. Trong phần này, chúng ta sẽ tìm hiểu cách lập một kế hoạch nghiên cứu tốt thông qua việc sử dụng Bảng các bước lập kế hoạch nghiên cứu tác động.  Bảng các bước lập kế hoạch nghiên cứu tác động Bảng các bước lập kế hoạch nghiên cứu tác động gồm 6 bước: Hiện trạng, Giải pháp thay thế, Thiết kế, Đo lường Phân tích và Tổng hợp kết quả. Mặc dù các bước này đã được thể hiện trong một số ví dụ, chúng ta sẽ bàn thêm về các nguyên tắc trong việc lập kế hoạch nghiên cứu tác động. Trong quá trình tìm hiểu, có thể chúng ta cần liên hệ với các ví dụ có sử dụng bảng các bước lập kế hoạch trong Phần 1 và Phần 2.  Hướng dẫn 1: Hiện trạng Trước hết, một vấn đề nghiên cứu tác động phải là vấn đề nghiên cứu được. Nếu không, cần điều chỉnh hoặc diễn đạt lại các vấn đề nghiên cứu để có thể kiểm chứng bằng dữ liệu. 4 Bảng các bước lập kế hoạch nghiên cứu tác động Tổng hợp kết quả Phân tích Đo lường Thiết kế Giải pháp thay thế Hiện trạng Bảng các bước lập kế hoạch dựa trên Khung nghiên cứu tác động cung cấp một khung thực hiện có thể vận dụng được 5 Hướng dẫn 1: Hiện trạng Phân tích Đo lường Thiết kế Giải pháp thay thế 1. Chọn một đề tài, hành vi hoặc hoạt động quản lý cụ thể mà bạn quan tâm. 2. Mô tả cách thực hiện đề tài/ hành vi/ hoạt động quản lý trong thời điểm hiện tại. 3. Đánh giá xem kết quả cho đến nay có đạt yêu cầu hay không. 4. Liệt kê các nguyên nhân gây cảm giác không hài lòng có thể xảy ra. 5. Tập trung vào một nguyên nhân mà bạn muốn thay đổi. Hiện trạng 88 Thứ hai, chủ đề nghiên cứu phải cụ thể. Ví dụ, chủ đề “nâng cao khả năng đọc hiểu của học sinh” là quá rộng trong khuôn khổ một nghiên cứu tác động. Trong trường hợp này, chủ đề có thể được chia nhỏ thành “Nâng cao khả năng nhận biết từ của học sinh” và “Nâng cao khả năng hiểu nghĩa của từ”. Tuy nhiên, phạm vi một chủ đề cũng không được quá vụn vặt, sẽ khiến cho nghiên cứu trở nên ít quan trọng. Ví dụ, chủ đề “Nâng cao khả năng sử dụng dấu chấm hỏi của học sinh” có phạm vi quá hẹp. Chúng ta có thể điều chỉnh thành “Nâng cao khả năng sử dụng dấu chấm câu của học sinh”. Nhu cầu thực hiện nghiên cứu tác động có thể xuất phát từ các kết quả không đạt yêu cầu của học sinh. Nghiên cứu cũng có thể bàn về kiến thức, kỹ năng hoặc thái độ mới mà học sinh cần tìm hiểu. Giáo viên - người nghiên cứu cần nghĩ đến những nguyên nhân gây ra kết quả không tốt của học sinh và tập trung vào những nguyên nhân này. Có thể có một vài nguyên nhân dẫn đến tình trạng không mong muốn. Người nghiên cứu cần lựa chọn một hoặc hai nguyên nhân thuộc phạm vi kiểm soát của nhà trường. Điều này làm tăng khả năng thành công của nghiên cứu. Ví dụ, mặc dù kết quả học tập của học sinh luôn có mối liên quan tới hoàn cảnh gia đình, nhưng điều này nằm ngoài khả năng giải quyết của giáo viên - người nghiên cứu. Do đó, việc cố gắng thay đổi hoàn cảnh gia đình của học sinh trong khuôn khổ một nghiên cứu tác động là không có tính thực tiễn. Các câu hỏi kiểm tra lại kế hoạch nghiên cứu trong phần này bao gồm: • Hiện trạng có được mô tả rõ ràng không? • Vấn đề có được xác định rõ không? • Vì sao nghiên cứu này quan trọng?  Hướng dẫn 2: Giải pháp thay thế Sau khi xác định các nguyên nhân của kết quả không mong muốn, người nghiên cứu nghĩ đến các cách để thay đổi chúng. Đó chính là các giải pháp thay thế, những phương pháp dạy học mới, các dạng bài tập hoặc nhiệm vụ mới, thay đổi trong việc bố trí lớp học, hoặc một hoạt động mới. Thông thường, người nghiên cứu có thể nghĩ ra các giải pháp thay thế qua việc tham dự các hội thảo, đọc các bài báo, dự hội nghị chuyên đề hay đọc sách. Những nguồn này cung cấp lý thuyết và các hoạt động diễn ra tại những nơi khác. Người nghiên cứu có thể điều chỉnh một số hoạt động cho phù hợp để trở thành giải pháp thay thế trong nghiên cứu tác động. 6 Hướng dẫn 2: Giải pháp thay thế ổ ế Phân tích Đo lường Thiết kế 1. Mô tả giải pháp thay thế - tác động dự kiến, tài liệu cần sử dụng, hoặc quy trình thực hiện. 2. Xác định khung thời gian thực hiện giải pháp thay thế. 3. Cân nhắc những sắp xếp đặc biệt cần thực hiện. 4. Lập giả thuyết nghiên cứu. Giải pháp thay thế Hiện trạng 89 Đây là thời điểm người nghiên cứu lập giả thuyết nghiên cứu, vì giả thuyết là câu trả lời giả định cho vấn đề nghiên cứu cần được kiểm chứng bằng dữ liệu. Đó có thể là một giả thuyết có định hướng dự đoán về sự tiến bộ được mong đợi. Người nghiên cứu cần luôn ghi nhớ rằng có thể kiểm nghiệm giả thuyết bằng không bằng các dữ liệu sẵn có. Các câu hỏi kiểm tra lại kế hoạch nghiên cứu trong phần này là: • Giải pháp thay thế có được mô tả đầy đủ không? • Việc thực hiện giải pháp thay thế có tính thực tiễn không? • Giả thuyết có được trình bày rõ ràng không? • Khung thời gian có khả thi không?  Hướng dẫn 3: Thiết kế Trong phần này người nghiên cứu quyết định số lượng và đặc điểm của khách thể nghiên cứu, đó là những thành viên của nhóm thực nghiệm và nhóm đối chứng. Thiết kế của một nghiên cứu tác động cần xem xét các hạn chế của trường học hoặc lớp học. Một thiết kế quá lý tưởng có thể không đạt hiệu quả trong bối cảnh thực tế của lớp hoặc trường học. Trong nhiều trường hợp, cần giảm bớt một số kỳ vọng để đảm bảo tính khả thi của nghiên cứu. Chúng tôi gợi ý sử dụng thiết kế hiệu quả nhất là thiết kế chỉ có bài kiểm tra sau tác động với nhóm ngẫu nhiên. Chúng ta đã bàn về nội dung này trong phần trước. Do việc chọn nhóm ngẫu nhiên trong lớp học không phải lúc nào cũng thuận lợi hoặc khả thi, có thể thay thế bằng thiết kế hiệu quả thứ hai là thiết kế kiểm tra trước và sau tác động với nhóm tương đương. Đôi khi người nghiên cứu không có lựa chọn nào khác ngoài việc sử dụng thiết kế kiểm tra trước và sau tác động với nhóm duy nhất. Khi đó cần tìm cách giảm các nguy cơ đối với nhóm duy nhất. Khi giải thích các kết quả, người nghiên cứu cần lưu ý rằng khi thực hiện bài kiểm tra trước tác động, nhóm duy nhất có vai trò như nhóm đối chứng. Khi thực hiện bài kiểm tra sau tác động, nhóm lại có vai trò như nhóm thực nghiệm. Trong trường hợp này vẫn có thể nói đến khái niệm nhóm đối chứng. Các câu hỏi kiểm tra lại kế hoạch nghiên cứu trong phần này là: 7 Hướng dẫn 3: Thiết kế Phân tích Đo lường 1. Mô tả đặc điểm các nhóm học sinh tham gia. 2. Đảm bảo có nhóm đối chứng. 3. Sử dụng một trong các thiết kế sau: (a) Kiểm tra trước và sau tác động với nhóm duy nhất (b) Kiểm tra trước và sau tác động với các nhóm tương đương (c) Kiểm tra trước và sau tác động với các nhóm ngẫu nhiên (d) Chỉ kiểm tra sau tác động với các nhóm ngẫu nhiên 4. Thiết kế (a) không được khuyến khích sử dụng do Các nguy cơ với nhóm duy nhất. Thiết kế Giải pháp thay thế Hiện trạng 90 • Có nhóm đối chứng không? • Làm thế nào để kiểm tra sự tương đương giữa các nhóm? • Có thể chọn nhóm ngẫu nhiên không? • Có những nguy cơ nào đối với độ giá trị?  Hướng dẫn 4: Đo lường Các bài tập, nhiệm vụ hằng ngày của học sinh là các công cụ đo tốt để đánh giá hiệu quả của tác động. Các công cụ đo này không tạo thêm công việc cho giáo viên và có giá trị liên hệ bối cảnh cao hơn. Chỉ cần sử dụng các công cụ đo bổ sung khi không có các công cụ đo thông thường trong lớp. Ví dụ, thang đo hứng thú đọc trong nghiên cứu nâng cao khả năng đọc hiểu của học sinh là một công cụ đo mới. Công cụ mới này có thể giúp chúng ta hiểu rõ hơn liệu học sinh có thích đọc hơn sau khi thực hiện tác động hay không. Chúng ta có thể kiểm tra độ tin cậy của các điểm số bằng cách nhờ một giáo viên khác chấm một bài kiểm tra mẫu. Ngoài ra, cũng có thể sử dụng các phương pháp khác để kiểm tra độ tin cậy của dữ liệu. Tương quan giữa kết quả bài kiểm tra nghiên cứu và các bài kiểm tra bình thường trên lớp của các môn học cung cấp hiểu biết sâu hơn về hiệu quả của tác động. Các hệ số tương quan này có thể sử dụng để làm bằng chứng của độ giá trị dự đoán hoặc độ giá trị đồng quy của điểm số các bài kiểm tra. Các câu hỏi kiểm tra lại kế hoạch nghiên cứu trong phần này bao gồm: • Có thể thu thập dữ liệu thuận lợi không? • Dữ liệu có phải là các chỉ số đáng tin cậy không? • Có cần có các phép đo mới không?  Hướng dẫn 5: Phân tích Người nghiên cứu cần lựa chọn các phép kiểm chứng thích hợp để phân tích các dữ liệu thu thập được. Có thể sử dụng các dữ liệu thu thập được trước và sau khi 8 Hướng dẫn 4: Đo lường Tổng hợp kết quả Phân tích 1. Sử dụng các bài tập, nhiệm vụ hằng ngày, để đảm bảo độ giá trị về mặt bối cảnh. Chỉ sử dụng các phép kiểm chứng và thang đo bổ sung trong trường hợp cần thiết. 2. Tổ chức chấm điểm và kiểm tra chéo các bài tập/ nhiệm vụ mẫu để kiểm chứng độ tin cậy. 3. Tính độ tương quan giữa điểm các bài tập/ nhiệm vụ thông thường với điểm của các bài kiểm tra có liên quan để đảm bảo độ giá trị đồng quy. Đo lường Thiết kế Giải pháp thay thế Hiện trạng Hướng dẫn 5: Phân tích Tổng hợp kết quả Sử dụng các phép kiểm chứng phù hợp: • Phép kiểm chứng t-test độc lập • Phép kiểm chứng t-test phụ thuộc • Mức độ ảnh hưởng • Phép kiểm chứng "Khi bình phương" • Độ tương quan Phân tích Đo lường Thiết kế Giải pháp thay thế Hiện trạng 91 thực hiện tác động cho một số mục đích khác nhau: Phép kiểm chứng Mục đích 1. Phép kiểm chứng t-test độc lập • Kiểm tra sự tương đương của các nhóm trước khi thực hiện tác động • Đánh giá ý nghĩa của tác động đối với hai nhóm khác nhau 2. Phép kiểm chứng t-test phụ thuộc Đánh giá ý nghĩa của tác động đối với nhóm duy nhất 3. Mức độ ảnh hưởng Đánh giá độ lớn ảnh hưởng của tác động 4. Phép kiểm chứng Khi bình phương Đánh giá ý nghĩa của tác động giữa hai nhóm có dữ liệu rời rạc 5. Hệ số tương quan Tìm ra mức độ của mối quan hệ tuyến tính giữa hai phép đo trong cùng một nhóm Các câu hỏi kiểm tra lại kế hoạch nghiên cứu trong phần này là: • Kỹ thuật thống kê được chọn có phù hợp không?  Hướng dẫn 6: Tổng hợp kết quả Giáo viên - người nghiên cứu tác động cần báo cáo trung thực các kết quả nghiên cứu, cho dù kết quả là tốt hay không tốt. Nhìn rộng ra, các kết quả không tốt cung cấp thông tin hữu ích giúp các nhà nghiên cứu biết được tác động không hiệu quả trong một bối cảnh nhất định. Người nghiên cứu cần đánh giá các nguyên nhân của các kết quả không tốt đó. Người nghiên cứu cần hướng tới người đọc khi viết báo cáo. Điều này sẽ ảnh hưởng tới ngôn ngữ và văn phong khi trình bày nội dung báo cáo. Các câu hỏi kiểm tra lại kế hoạch nghiên cứu trong phần này gồm: • Các kết quả nghiên cứu là gì? • Ai sẽ quan tâm đến các kết quả đó? 10 Hướng dẫn 6: Tổng hợp kết quả 1. Báo cáo trung thực: các kết quả không có ý nghĩa cũng chứa đựng thông tin – không nên làm gì. 2. Kết quả không có ý nghĩa là do: (1) Quy mô nhóm quá nhỏ (2) Phép đo không đủ nhạy (3) Sử dụng phép kiểm chứng kém hiệu quả (4) Giải pháp (tác động) không có ảnh hưởng 3. Hướng tới độc giả khi viết báo cáo. Tổng hợp kết quả Phân tích Đo lường Thiết kế Giải pháp thay thế Hiện trạng 92 • Các kết quả sẽ được báo cáo cho ai? • Báo cáo ở đâu? Hoạt động 6.1: Lập kế hoạch nghiên cứu tác động ____________________________________________________________ 1. Sử dụng bảng các bước lập kế hoạch để lập kế hoạch nghiên cứu tác động mà bạn quan tâm. Đánh giá kế hoạch này dựa trên các nội dung đã học. 93  Lời kết Chúng ta đã tìm hiểu một cách hệ thống về nghiên cứu tác động. Chúng ta đã thấy được việc học cách thực hiện một nghiên cứu tác động không quá phức tạp. Sau khi hiểu rõ các khái niệm và kỹ thuật, cùng với các bài tập thực hành và các công cụ mà cuốn sách này hướng dẫn, chúng tôi tin rằng các bạn sẽ trở thành những người nghiên cứu thành công. Với việc lập kế hoạch tốt và thực hiện các hoạt động một cách hệ thống, nghiên cứu tác động có thể trở thành một công cụ đắc lực phục vụ việc dạy học của chúng ta. Chúng ta biết cách thực hiện nghiên cứu tác động để giải quyết các vấn đề trong dạy và học. Chúng ta có một phương pháp khách quan để đánh giá các tác động và nhiệm vụ. Chúng ta có khả năng chiêm nghiệm lại quá trình nghiên cứu và tự đánh giá tốt hơn. Chúng ta có cam kết cao hơn về sự tiến bộ không ngừng. Chúng ta biết cách báo cáo các tác động một cách thuyết phục. Chúng ta không còn chấp nhận các lý thuyết, các nội dung và chương trình đổi mới một cách thụ động. Đối mặt với các thách thức của thế kỷ 21, chúng tôi mong ước cuốn sách này góp phần tăng cường chuyên môn cho các bạn. Chúng tôi cũng mong muốn hoạt động nghiên cứu tác động trở nên phổ biến hơn đối với giáo viên các nhà giáo dục. Hoạt động nghiên cứu tác động này cũng sẽ góp phần nâng cao chất lượng dạy, học, quản lý và nghiên cứu trong ngành giáo dục.