การตรวจสอบคุณภาพเครื่องมือ หน่วยที่ 6 การตรวจสอบคุณภาพเครื่องมือ สำนักทดสอบทางการศึกษา สำนักงานคณะกรรมการการศึกษาขั้นพื้นฐาน

การตรวจสอบคุณภาพของเครื่องมือ การตรวจสอบคุณภาพของเครื่องมือ เป็นสิ่งสำคัญในการพัฒนาเครื่องมือให้มีประสิทธิภาพก่อนนำไปใช้จริงในการประเมินผู้เรียน ซึ่งผู้สอนต้องคำนึงถึงเนื้อหาสาระของสิ่งที่จะประเมินว่า มีความครอบคลุมมาตรฐาน ตัวชี้วัด และพฤติกรรมที่ต้องการให้เกิดกับผู้เรียนหรือไม่ เพียงใด รวมทั้งการใช้ภาษาในการสื่อความของเครื่องมือประเมินเหมาะสมตามวัยของผู้เรียนหรือไม่

ความเที่ยงตรง (Validity) ความเชื่อมั่น (Reliability) คุณภาพของเครื่องมือ ความเที่ยงตรง (Validity) ความเชื่อมั่น (Reliability)

ความเที่ยงตรง (Validity) เป็นคุณลักษณะของเครื่องมือที่แสดงถึงความสามารถในการวัดในสิ่งที่ต้องการวัดได้อย่างถูกต้อง แม่นยำ ตรงตามสิ่งที่ต้องการวัด คุณสมบัติด้านความเที่ยงตรงถือเป็นหัวใจของการวัดและประเมินผล เครื่องมือที่มีความเที่ยงตรงสูงจะทำให้ผลการวัดมีความหมาย ถูกต้อง แม่นยำ

ความเที่ยงตรง (Validity) ความเที่ยงตรงของเครื่องมือมีหลายประเภท ความเที่ยงตรงเชิงเนื้อหา (content validity) *** ความเที่ยงตรงเชิงสภาพ (concurrent validity) ความเที่ยงตรงเชิงพยากรณ์ (predictive validity) ความเที่ยงตรงเชิงโครงสร้าง (construct validity)

ความเที่ยงตรงเชิงเนื้อหา (content validity) เป็นความเที่ยงตรงที่ต้องตรวจสอบเป็นอับดับแรก วิธีที่นิยมใช้คือวิธีของโรวิแนลลี่และแฮมเบิลตัน (Rovinelli & Hambleton) หรือที่เรียกว่า ดัชนีความสอดคล้องระหว่างข้อสอบกับจุดประสงค์ (Index of Item Objective Congruence : IOC)

วิธีการหาค่าความเที่ยงตรงเชิงเนื้อหา (IOC) R N เมื่อ R แทน ผลรวมของคะแนนจากผู้เชี่ยวชาญ N แทน จำนวนผู้เชี่ยวชาญ

การแปลความหมายค่า IOC - ควรพิจารณาแก้ไขปรับปรุงหรือตัดข้อสอบหรือ ประเด็นการประเมินข้อนั้นทิ้ง

ตัวอย่าง การคำนวณหาค่า IOC ข้อคำถาม คนที่ 1 คนที่ 2 คนที่ 3 คนที่ 4 คนที่ 5 IOC ข้อ 1 1 4/5 = 0.8 ข้อ 2 -1 -1/5 = -0.2 เกณฑ์การพิจารณา ข้อสอบที่ใช้ได้ คือ ข้อสอบที่มีค่า IOC ตั้งแต่ 0.5 ขึ้นไป สรุป... ข้อสอบข้อ 1 มีความสอดคล้องกับจุดประสงค์ สามารถนำไปใช้สอบได้ ข้อสอบข้อ 2 ไม่สอดคล้องกับจุดประสงค์ ไม่ควรนำไปใช้ ต้องตัดทิ้งหรือปรับปรุงใหม่

ความเชื่อมั่น (Reliability) เป็นคุณลักษณะของเครื่องมือที่แสดงว่าเครื่องมือนั้นให้ผลการวัดคงที่ ไม่ว่าจะวัดกี่ครั้งหรือวัดในสภาพการณ์ที่แตกต่างกัน ก็ยังคงได้ผลการวัดคงเดิมหรือใกล้เคียงกับค่าเดิม เครื่องมือสำคัญของการวัดภาคปฏิบัติ คือ ผู้วัด ถ้าเครื่องมือมีคุณภาพ มีคุณลักษณะที่วัดชัดเจน เป็นรูปธรรม มีหลักเกณฑ์ให้คะแนนที่ดี ผลของผู้วัดคนเดียวกัน แม้จะประเมินต่างเวลาหรือผู้วัดคนละคนก็ควรให้ผลสอดคล้องกัน

การหาค่าความเชื่อมั่น การตรวจสอบความเชื่อมั่นของเครื่องมือประเมินภาคปฏิบัติค่อนข้างแตกต่างจากการหาความเชื่อมั่นของเครื่องมือวัดผลสัมฤทธิ์ทางการเรียน ความเชื่อมั่นของเครื่องมือที่ควรให้ความสนใจ คือ ความเชื่อมั่นระหว่างผู้ประเมิน และความเชื่อมั่นแบบการวัดซ้ำ

วิธีการหาค่าความเชื่อมั่นระหว่างผู้ประเมิน โดยการหาความสัมพันธ์ระหว่างคะแนนการประเมินของผู้ประเมิน - กรณีผู้ประเมิน 2 คน ใช้สัมประสิทธิ์สหสัมพันธ์แบบเพียร์สัน หรือใช้ความสัมพันธ์แบบอื่นๆ ตามระดับการวัดตัวแปร โดยหาจากสูตร - กรณีมีผู้ประเมินมากกว่า 2 คน สามารถใช้ ANOVA ช่วยในการทดสอบความแตกต่างระหว่างผู้ประเมิน ข้อมูลที่ได้จากการวิเคราะห์ความแปรปรวนสามารถกำหนดค่าความสัมพันธ์ได้ โดยใช้สูตรการหาความสัมพันธ์แบบ intra-class correlation

วิธีการหาค่าความเชื่อมั่นแบบการวัดซ้ำ เป็นการหาค่าความเชื่อมั่นของเครื่องมือโดยนำเครื่องมือชุดเดียวกันไปทดสอบกับคนกลุ่มเดียวกันสองครั้งในเวลาต่างกัน แล้วนำค่าการวัดสองชุดที่ได้มาหาความสัมพันธ์กัน สัมประสิทธิ์แห่งความเชื่อมั่นในกรณีนี้คือสัมประสิทธิ์สหสัมพันธ์ระหว่างคะแนนสองชุดที่ได้จากการวัดกับคนกลุ่มเดียวกัน ด้วยเครื่องมือชุดเดิมสองครั้ง ใช้วิธีการคำนวณแบบเพียร์สันเช่นเดียวกับการหาความเชื่อมั่นระหว่างผู้ประเมิน ข้อตกลงเบื้องต้นของการหาค่าความเชื่อมั่นแบบนี้ คือ สมมุติให้ความสามารถของผู้ถูกวัดคงที่ในช่วงของการสอบครั้งแรกและการสอบครั้งหลัง

เกณฑ์พิจารณาค่าความเชื่อมั่นของเครื่องมือ ค่าความเชื่อมั่นที่คำนวณได้จะมีค่าตั้งแต่ -1 ถึง +1 โดยมีเกณฑ์สำหรับพิจารณาค่าความเชื่อมั่นในการนำเครื่องมือนั้นๆไปใช้มีดังนี้  เครื่องมือที่ใช้วัดการทำหน้าที่ของอวัยวะต่างๆ ในร่างกายของมนุษย์ ควรมีความเชื่อมั่น ตั้งแต่ 0.95 ขึ้นไป  เครื่องมือที่มีมาตรฐานทั่วๆ ไป ควรมีความเชื่อมั่นตั้งแต่ 0.80 ขึ้นไป  เครื่องมือที่สร้างและพัฒนาขึ้นเอง ควรมีความเชื่อมั่นอย่างน้อย 0.70 ขึ้นไป  เครื่องมือที่ใช้วัดเจตคติความรู้สึก ควรมีความเชื่อมั่นตั้งแต่ 0.70 ขึ้นไป  เครื่องมือที่ใช้ในการสังเกต ควรมีค่าความเชื่อมั่นตั้งแต่ 0.80 ขึ้นไป

การตรวจสอบคุณภาพเกณฑ์การให้คะแนน ก่อนทำการประเมินการปฏิบัติงานครูต้องตรวจสอบเกณฑ์การให้คะแนน เพื่อตัดสินใจว่าจำเป็นต้องมีการประเมินการปฏิบัติงานหรือไม่ หรือมีความเป็นไปได้หรือไม่ที่จะประเมินการปฏิบัติงาน ลักษณะของการประเมินการปฏิบัติงานที่สำคัญมีดังนี้ สิ่งที่จะประเมินต้องมีการปฏิบัติอย่างแท้จริง สิ่งที่ประเมินเป็นผลมาจากการเรียนรู้ทักษะ สิ่งที่ประเมินเป็นการประเมินความเข้าใจในการประยุกต์ใช้ความรู้ ผลงานที่ได้รับต้องอยู่ในรูปที่สามารถประเมินได้