The Development of Test and Estimation of Metacognitive Abilities with Multidimensional Subjective Tests for High School Students

Abstract

The purposes of this research were to: 1) develop a multidimensional subjective metacognitive-ability test for high school students 2) estimate metacognitive abilities with the multidimensional subjective metacognitive-ability test of high school students. The sample consisted of 1,222 high school students from schools under the Office of Secondary Educational Service Area in the Northeastern region. The number of students from 29 schools was obtained by simple random sampling technique using schools as random units. The sample size was calculated 20 times the parameters. The tool was the multidimensional subjective metacognitive-ability test of 9 items. The statistics used were mean, standard deviation, confirmatory factor analysis, alpha coefficient, EAP reliability, Multidimensional Random Coefficients multinomial logit model (MRCMLM) and marginal maximum-likelihood estimation method; MML.

The findings were as follows:

1. The multidimensional subjective metacognitive-ability test had 9 items which consist of situations and questions that were multidimensional in each. The model analyzed by multidimensional methods showed the construct validities of test that the multidimensional metacognitive-ability model was better fitting model than the Unidimensional model. (Deviance statistic of multidimensional approach = 29,870.16805, composite approach = 30,179.99250) Analyzing a Confirmatory factor analysis method : CFA, the model was fit to the empirical data indicated by X2 = 3.972 (df = 3, p = 0.265) GFI = .995, AGFI = .985, RMR = .0048, RMSEA = 0.0163. In addition the EAP reliabilities of test were 0.846, 0.853, 0.845, 0.717, 0.787 and 0.714 respectively.

2. The estimation of the metacognitive ability was the ability of the scoring level each item and separated by the dimension of the question. When the respondents received a score at any level, he/she could immediately knew that how much score they had and how much ability they were in each dimension. Interpretation of the ability score, using cutting score with 4 intersection points which divided the level of students' abilities into 5 levels.

การวิจัยครั้งนี้มีวัตถุประสงค์เพื่อ 1) เพื่อพัฒนาแบบทดสอบวัดความสามารถการคิดอภิมานแบบอัตนัย พหุมิติสำหรับนักเรียนมัธยมศึกษาตอนปลาย และ 2) เพื่อประมาณค่าความสามารถการคิดอภิมานด้วยแบบทดสอบอัตนัยพหุมิติของนักเรียนมัธยมศึกษาตอนปลาย กลุ่มตัวอย่างเป็นนักเรียนชั้นมัธยมศึกษาตอนปลาย จากโรงเรียน สังกัดสำนักงานเขตพื้นที่การศึกษามัธยมศึกษาในภาคตะวันออกเฉียงเหนือ จำนวน 1,222 คน จาก 29 โรงเรียน ได้มาโดยการสุ่มอย่างง่ายโดยใช้โรงเรียนเป็นหน่วยการสุ่ม กำหนดขนาดกลุ่มตัวอย่างจากการคำนวณ 20 เท่าของ พารามิเตอร์ เครื่องมือเป็นแบบทดสอบวัดความสามารถการคิดอภิมานด้วยข้อสอบอัตนัยแบบพหุมิติ จำนวน 9 ข้อ สถิติที่ใช้ คือ ค่าเฉลี่ย ค่าส่วนเบี่ยงเบนมาตรฐาน การวิเคราะห์องค์ประกอบเชิงยืนยัน (Confirmatory Factor Analysis) การคำนวณค่าความเชื่อมั่นด้วยสูตรสัมประสิทธิ์แอลฟาและวิธีการวิเคราะห์พหุมิติ ใช้ค่าความเชื่อมั่น EAP Reliability โมเดลพหุมิติ Multidimensional Random Coefficients Multinomial Logit Model (MRCMLM) และการประมาณค่าแบบมาร์จิแน็ลแม็คซิมัมไลค์ลิฮูด (Marginal Maximum-Likelihood ; MML)

ผลการวิจัยพบว่า

1. แบบทดสอบวัดความสามารถการคิดอภิมานแบบอัตนัยพหุมิติ มีจำนวน 9 ข้อ ประกอบด้วยสถานการณ์ และข้อคำถามที่เป็นพหุมิติในแต่ละข้อ มีความเที่ยงตรงเชิงโครงสร้างด้วยวิธีการวิเคราะห์พหุมิติ โดยโมเดลการคิดอภิมานแบบพหุมิติมีความเหมาะสมกว่าโมเดลการคิดอภิมานแบบเอกมิติ (Deviance Statistic ของ โมเดลพหุมิติ = 29,870.16805 โมเดลเอกมิติ = 30,179.99250) และจาการวิเคราะห์องค์ประกอบเชิงยืนยันโมเดลมีความสอดคล้องกับข้อมูลเชิงประจักษ์มีค่าสถิติไคสแควร์ เท่ากับ 3.972 (df = 3, p = 0.265) GFI = .995, AGFI = .985, RMR = .0048, RMSEA = 0.0163 มีค่าความเชื่อมั่นโดยการวิเคราะห์พหุมิติ (EAP reliability) เท่ากับ 0.846, 0.853, 0.845, 0.717, 0.787 และ 0.714 ตามลำดับ

2. ผลการประมาณค่าความสามารถการคิดอภิมานเป็นค่าความสามารถประจำระดับการให้คะแนนในแต่ละข้อ และแยกตามมิติที่ข้อคำถาม เมื่อผู้ตอบได้คะแนนในระดับใดจะสามารถให้คำตอบได้ทันทีว่า ผู้ตอบคนนั้นมีค่าความสามารถในแต่ละมิติอยู่เท่าใด ซึ่งในการแปลความหมายของคะแนนความสามารถการคิดอภิมาน จะใช้เกณฑ์จุดตัดความสามารถการคิดอภิมานที่มีคะแนนจุดตัด 4 จุดตัด แบ่งระดับความสามารถของนักเรียนออกเป็น 5 ระดับ