หน่วยที่ 5 การสร้างเครื่องมือวัดคุณลักษณะอันพึงประสงค์ การพัฒนาศักยภาพด้านการประเมินคุณลักษณะอันพึงประสงค์ (Desirable characteristic assessment) สำนักทดสอบทางการศึกษา สำนักงานคณะกรรมการการศึกษาขั้นพื้นฐาน หน่วยที่ 5 การสร้างเครื่องมือวัดคุณลักษณะอันพึงประสงค์ 5.2 การตรวจสอบคุณภาพเครื่องมือวัดคุณลักษณะอันพึงประสงค์

คุณภาพของแบบประเมินคุณลักษณะอันพึงประสงค์ 1. ความตรง/ความเที่ยงตรง (validity) 2. ความเที่ยง/เชื่อมั่น (reliability) 3. อำนาจจำแนก (discrimination )

1. ความตรง/เที่ยงตรง (Validity) ความถูกต้องแม่นยำของเครื่องมือในการวัด สิ่งที่ต้องการจะวัด ประเภทของความเที่ยงตรง 1. ความตรงตามเนื้อหา (Content Validity) เนื้อหาของเครื่องมือ หรือเนื้อหาของข้อคำถามวัดได้ตรงตามประเด็นหรือตัวชี้วัดที่ต้องการวัดหรือไม่? 2. ความตรงเชิงโครงสร้าง (Construct Validity) เครื่องมือนั้นสามารถวัดได้ครอบคลุมขอบเขต ความหมาย หรือครบตามคุณลักษณะประจำตามทฤษฎีที่ใช้สร้างเครื่องมือหรือไม่?

1. ความตรง/เที่ยงตรง (Validity) ประเภทของความตรง (ต่อ) 3. ความตรงตามเกณฑ์สัมพันธ์ (Criterion-related Validity) เครื่องมือวัดได้ตรงตามสภาพที่ต้องการวัด โดยพิจารณาจากเกณฑ์ที่เกี่ยวข้องว่าเครื่องมือนั้นจะใช้ทำนายพฤติกรรมของบุคคลในสภาพเฉพาะเจาะจงตามต้องการหรือไม่? จำแนกได้ 2 ชนิด คือ 3.1 ความตรงร่วมสมัยหรือตามสภาพที่เป็นจริง (Concurrent Validity) สอดคล้องกับสภาพความเป็นจริงในปัจจุบัน 3.2 ความตรงเชิงทำนาย (Predictive Validity) สอดคล้องกับสภาพความเป็นจริง หรือสภาพความสำเร็จในอนาคต

การตรวจสอบความตรงเชิงเนื้อหา (Content validity) การหาค่าดัชนีความสอดคล้องระหว่างข้อคำถามกับลักษณะเฉพาะกลุ่มพฤติกรรม (IOC) การหาค่าดัชนีความเหมาะสมระหว่างข้อคำถามลักษณะเฉพาะกลุ่มพฤติกรรม การหาค่าอัตราส่วนความตรงเชิงเนื้อหา (Content Validity ratio: CVR)

การตรวจสอบความตรงเชิงโครงสร้าง (Construct validity) การตรวจสอบความสอดคล้องระหว่างคะแนนเป็นรายข้อกับคะแนนทั้งฉบับ ใช้วิธีกลุ่มที่รู้จัก (Known Group Technique) ใช้การวิเคราะห์องค์ประกอบ (Factor Analysis)

2. ความเที่ยง/เชื่อมั่น (Reliability) ความคงที่หรือความคงเส้นคงวาของผลที่ได้จากการวัด วิธีการประมาณค่าความเที่ยง การสอบซ้ำ (Test-retest Method) การใช้เครื่องมือวัดที่คู่ขนานกัน (Parallel form Method) การหาความสอดคล้องภายในของเครื่องมือ (Coefficient of Internal Consistency)

3. อำนาจจำแนก (Discrimination) ความสามารถของข้อสอบแต่ละข้อในการจำแนกคนที่อยู่ในกลุ่มเก่งออกจากคนที่อยู่ในกลุ่มอ่อนได้ วิธีการประมาณค่า การตรวจสอบความสอดคล้องระหว่างคะแนนเป็นรายข้อกับคะแนนรวมจากข้อที่เหลือทั้งฉบับ 6.3.2 หาค่าอัตราส่วนวิกฤติ t เป็นรายข้อ

เครื่องมือประเมินคุณลักษณะอันพึงประสงค์ การตรวจสอบคุณภาพ เครื่องมือประเมินคุณลักษณะอันพึงประสงค์ เครื่องมือ ความตรง ความเที่ยง ความยาก อำนาจจำแนก มาตรประมาณค่า แบบทดสอบ แบบสังเกต แบบสัมภาษณ์           9

วิธีการหาคุณภาพของเครื่องมือแต่ละชนิด  แบบทดสอบ โดยทั่วไปจะตรวจสอบความตรงตามเนื้อหา ความตรงตามเกณฑ์สัมพันธ์ และตรวจสอบความเที่ยงแบบความคงที่ภายใน  แบบสอบถาม โดยทั่วไปจะตรวจสอบความตรงตามเนื้อหาเป็นหลัก และอาจมีการตรวจสอบความเที่ยง แบบคงที่ภายใน เฉพาะกรณีที่ข้อความทั้งชุดมุ่งวัดในสิ่งเดียวกัน หรือมีความเป็นเนื้อเดียวกัน  แบบสัมภาษณ์ โดยทั่วไปจะเน้นความตรงตามเนื้อหาเป็นหลัก

วิธีการหาคุณภาพของเครื่องมือแต่ละชนิด  แบบสังเกตและแบบบันทึก นอกจากจะตรวจสอบความตรงตามเนื้อหาแล้ว ก็ควรตรวจสอบความเที่ยงระหว่างผู้สังเกต (inter-rater reliability) ด้วย ซึ่งก็คือความสอดคล้องระหว่างผลการสังเกตของผู้สังเกตตั้งแต่ 2 คนขึ้นไป ผลการสังเกตที่สอดคล้องกัน ย่อมแสดงถึงความชัดเจน และความเป็นปรนัยของข้อความในแบบสังเกต/แบบบันทึก  แบบวัดทางคุณลักษณะจิตวิทยา เช่น แบบวัดบุคลิกภาพ แบบวัดทัศนคติ แบบวัดความซื่อสัตย์ จะเน้นความตรงตามโครงสร้าง ความเที่ยงแบบวัดซ้ำ และความเที่ยงแบบความคงที่ภายใน

สวัสดี