การวัดและประเมินผลการเรียนรู้ Learning Assessment and Evaluation ดร. อาภาพรรณ ประทุมไทย วิทยาลัยการศึกษา มหาวิทยาลัยพะเยา

วิทยาลัยการศึกษา มหาวิทยาลัยพะเยา บทที่ 5 การตรวจสอบคุณภาพของแบบสอบ ดร.อาภาพรรณ ประทุมไทย วิทยาลัยการศึกษา มหาวิทยาลัยพะเยา บทที่ 5 การตรวจสอบคุณภาพของแบบสอบ

คุณภาพของแบบสอบ คุณภาพของแบบสอบ หมายถึง ? คุณภาพทั้งฉบับ คุณภาพรายข้อ คุณลักษณะที่บ่งบอกความสามารถของแบบสอบที่ใช้ในการเก็บรวบรวม ข้อมูล ความตรง ความยาก ความเที่ยง อำนาจจำแนก คุณภาพทั้งฉบับ คุณภาพรายข้อ การตรวจสอบคุณภาพของเครื่องมือวิจัยดำเนินการได้ 2 ลักษณะ คือ 1. การตรวจสอบก่อนนำไปทดลองใช้ (try out) 2. การตรวจสอบผลที่เกิดขึ้นหลังจากการนำไปทดลองใช้

ความตรง (Validity) ความตรง (Validity) หมายถึง ? คุณภาพของเครื่องมือการวิจัย วัดได้ตรงตามวัตถุประสงค์และพฤติกรรมที่ต้องการ วัดได้ครอบคลุมครบถ้วนตามเนื้อหา วัดได้ถูกต้องตรงตามความเป็นจริง "ความตรง" เป็นคุณสมบัติของเครื่องมือวัดที่แสดงให้ทราบว่าเครื่องมือวัดนั้นๆ สามารถวัดในสิ่งที่ต้องการวัดหรือที่ต้องการศึกษาได้อย่างถูกต้องแม่นยำ ดังนั้น ความตรงจึงเป็นคุณลักษณะที่สำคัญที่สุดของเครื่องมือที่นำมาใช้ในการวัดผลการศึกษา เครื่องมือที่มีความตรงจะต้องสามารถวัดคุณลักษณะหรือพฤติกรรมที่ต้องการจะวัดได้ครอบคลุมและสอดคล้องกับวัตถุประสงค์ที่ต้องการจะวัด

3. ความตรงตาม เกณฑ์สัมพันธ์ ความตรง (Validity) 3. ความตรงตาม เกณฑ์สัมพันธ์ 2. ความตรงตามโครงสร้าง 1. ความตรงตามเนื้อหา ประเภทและวิธีการหาความตรง

ความตรง (Validity) 1. ความตรงตามเนื้อหา (Content validity) หมายถึง ? วัดได้ตรงตามเนื้อหาและสาระที่สำคัญที่ต้องการให้วัด วิเคราะห์เชิงเหตุผลเปรียบเทียบกับเกณฑ์หรือวัตถุประสงค์ที่กำหนด ใช้ดุลยพินิจทางวิชาการของตนเองหรือผู้ชำนาญการช่วยพิจารณาตัดสิน วิธีการหาความตรงตามเนื้อหา คือ การหาดัชนีความสอดคล้องของข้อคำถาม กับจุดประสงค์ (Item-Objective Congruence : IOC) ซึ่งอาจทำเป็นแบบสำรวจ ให้ผู้เชี่ยวชาญพิจารณาข้อคำถามแต่ละข้อในเครื่องมือวัด ความตรงตามเนื้อหา เป็นความสามารถในการวัดพฤติกรรมการเรียนรู้ได้ครอบคลุม เป็นตัวแทนของเนื้อหาทั้งหมดที่ต้องการวัด

วิธีการตรวจสอบความตรงตามเนื้อหา การตรวจสอบความตรงโดยผู้เชี่ยวชาญ การตรวจสอบความตรงโดยผู้เชี่ยวชาญ ด้วยการคำนวณค่า IOC เพื่อตรวจสอบความคิดเห็นของผู้เชี่ยวชาญเกี่ยวกับ...... - ความสอดคล้องของข้อคำถามกับเนื้อหาที่ต้องการวัด - ความสอดคล้องของข้อคำถามกับทฤษฎีที่ใช้เป็นฐานในการสร้างเครื่องมือ ขั้นตอนการตรวจสอบ 1) คัดเลือกผู้เชี่ยวชาญด้านเนื้อหา ทฤษฎี ด้านการวัดและประเมินผล จำนวนอย่างน้อย 3 คน 2) ให้ผู้เชี่ยวชาญตรวจสอบ...... - ความเหมาะสมของนิยามของสิ่งที่มุ่งวัด - ความครอบคลุมของเนื้อหาและสัดส่วนของคำถามที่ใช้ - ความสอดคล้องระหว่างข้อคำถามกับเนื้อหาหรือจุดประสงค์ที่มุ่งวัด 3) ให้ผู้เชี่ยวชาญพิจารณาความสอดคล้องระหว่างข้อคำถามกับเนื้อหา/จุดประสงค์ (ความตรงตามเนื้อหา) หรือความสอดคล้องระหว่างข้อคำถามกับทฤษฎี (ความตรงตามโครงสร้าง) ด้วยการคำนวณค่า IOC

วิธีการตรวจสอบความตรงตามเนื้อหา จุดประสงค์ เชิงพฤติกรรม ข้อคำถาม ระดับ ความคิดเห็น ข้อเสนอแนะ +1 -1 1. จำนวนเต็ม 1. นักเรียนสามารถเปรียบเทียบจำนวนเต็มได้ถูกต้อง 1. ข้อใดเปรียบเทียบจำนวนเต็มได้ถูกต้อง ก. -8 > 5 ข. 0 > -2 ค. 7 < -7 ง. -3 < -6 ให้ +1 ถ้าแน่ใจว่าข้อคำถามนั้นสอดคล้องกับเนื้อหา, จุดประสงค์ ให้ -1 ถ้าแน่ใจว่าข้อคำถามนั้นไม่สอดคล้องกับเนื้อหา, จุดประสงค์ ให้ 0 ถ้าไม่แน่ใจว่าข้อคำถามนั้นสอดคล้องกับเนื้อหา, จุดประสงค์

วิธีการตรวจสอบความตรงตามเนื้อหา ความคิดเห็นของผู้เชี่ยวชาญคนที่ จุดประสงค์ เชิงพฤติกรรม ข้อที่ ความคิดเห็นของผู้เชี่ยวชาญคนที่ รวม IOC ผล 1 2 3 4 5 1. ............ 1. ........... 1.00 ใช้ได้ -1 .20 ใช้ไม่ได้ 2. ............. 2. ........... .60 .40 3. ........... เมื่อ IOC แทน ดัชนีความสอดคล้องระหว่างข้อคำถามกับเนื้อหา, จุดประสงค์ แทน ผลรวมของคะแนนความคิดเห็นของผู้เชี่ยวชาญ N แทน จำนวนผู้เชี่ยวชาญ IOC= 𝑟 𝑁 การแปลผลของค่า IOC ค่า IOC ตั้งแต่ 0.5 ขึ้นไป แปลว่า ข้อสอบข้อนั้นวัดได้สอดคล้องกับเนื้อหา, จุดประสงค์ ค่า IOC ต่ำกว่า 0.5 แปลว่า ข้อสอบข้อนั้นวัดไม่สอดคล้องกับเนื้อหา, จุดประสงค์ จึงไม่ควรใช้

ความตรง (Validity) 2. ความตรงตามโครงสร้าง (Construct Validity) หรือความตรงเชิงทฤษฎี เป็นคุณสมบัติของเครื่องมือที่สามารถวัดคุณลักษณะที่มุ่งวัดได้ตรงตาม นิยามและโครงสร้างทางทฤษฎี/แนวคิดของคุณลักษณะนั้น โดยเฉพาะ คุณลักษณะทางจิตวิทยาต่างๆ เช่น - แบบวัดเชาวน์ปัญญาวัดองค์ประกอบครบถ้วนตามทฤษฎีของกิลฟอร์ดทั้ง 3 มิติ คือ เนื้อหา ปฏิบัติการ และผลผลิต - แบบวัดความสนใจ, แบบวัดบุคลิกภาพ, แบบวัดความพึงพอใจ, แบบวัดแรงจูงใจ ใฝ่สัมฤทธิ์ เป็นต้น การสร้างเครื่องมือให้มีความตรงตามโครงสร้าง ผู้สร้างต้องศึกษาทฤษฎี นั้นๆ ให้ถ่องแท้ และมีความเข้าใจในคุณลักษณะนั้นเป็นอย่างดี เช่น การวัด เชาวน์ปัญญา ผู้สร้างต้องทราบถึงนิยามเชิงทฤษฎีว่า เชาวน์ปัญญาหมายความว่าอย่างไร ประกอบด้วยองค์ประกอบใดบ้าง เพื่อนำกรอบแนวคิดทฤษฎีที่ศึกษามาสร้างเป็นข้อ คำถามให้ตรงตามทฤษฎีที่กำหนดไว้

ความตรง (Validity) วิธีการหาความตรงตามโครงสร้าง  ทำได้โดยการศึกษาความสอดคล้อง ระหว่างผลการวัดจากเครื่องมือที่สร้างขึ้น กับโครงสร้างหรือนิยามทางทฤษฎี ของคุณลักษณะที่มุ่งวัด โดยนำเครื่องมือไปทดลองใช้กับกลุ่มตัวอย่างแล้วนำ ผลมาวิเคราะห์โดยวิธีการต่าง ๆ ดังนี้ (1) วิธีวิเคราะห์องค์ประกอบ (Factor analysis) (2) วิธีวิเคราะห์เมทริกซ์หลากลักษณะ-หลายวิธี (Multi-trait multi-method: MTMM) (3) วิธีเทคนิคกลุ่มรู้ชัด (Known group technique) โดยใช้สถิติ t-test independent เพื่อทดสอบความแตกต่างของคะแนนเฉลี่ยระหว่างกลุ่มตัวอย่าง 2 กลุ่ม คือ กลุ่มที่รู้ชัดอยู่แล้วว่ามีคุณลักษณะที่ต้องการวัด กับกลุ่มที่รู้ชัดว่าไม่มี คุณลักษณะที่ต้องการวัด (4) การตัดสินโดยผู้เชี่ยวชาญ

วิธีการตรวจสอบความตรงตามโครงสร้าง การตรวจสอบความตรงโดยผู้เชี่ยวชาญ คุณลักษณะและความหมาย ข้อความ ระดับ ความคิดเห็น ข้อเสนอแนะ +1 -1 1. ความคิดริเริ่ม หมายถึง การดำเนินในสิ่งใหม่ที่แตกต่างจากการทำงานที่เป็นอยู่เดิม 1.1 ในการทำงาน ท่านมีโอกาสได้ทำสิ่งใหม่ด้วยตัวท่านเอง 1.2 การมีโอกาสให้บริการผู้อื่น 2. ความมีอิสระในการทำงาน หมายถึง การมีโอกาสได้ทำงานด้วยตนเอง สามารถคิดวางแผน ปฏิบัติ และประเมินผลงานด้วยตนเอง 2.1 การได้ทำงานที่ตัวเองชื่นชอบ 2.2 การมีโอกาสได้ทำงานอย่างเป็นอิสระ ที่มา: ณัฏฐภรณ์ หลาวทอง, 2551 ให้ +1 ถ้าแน่ใจว่าข้อคำถามนั้นสอดคล้องกับทฤษฎี ให้ -1 ถ้าแน่ใจว่าข้อคำถามนั้นไม่สอดคล้องกับทฤษฎี ให้ 0 ถ้าไม่แน่ใจว่าข้อคำถามนั้นสอดคล้องกับทฤษฎี

วิธีการตรวจสอบความตรงตามโครงสร้าง คุณลักษณะและความหมาย ข้อความ ความคิดเห็น ของผู้เชี่ยวชาญ IOC ความหมาย และการแปลผล +1 -1 1. ความคิดริเริ่ม หมายถึง การดำเนินในสิ่งใหม่ที่แตกต่างจากการทำงานที่เป็นอยู่เดิม 1.1 ในการทำงาน ท่านมีโอกาสได้ทำสิ่งใหม่ด้วยตัวท่านเอง 7 3 0.7 - วัดองค์ประกอบที่ 1 ได้จริง - ข้อคำถามนี้ใช้ได้ 1.2 การมีโอกาสให้บริการผู้อื่น 4 - 0.1 - วัดองค์ประกอบที่ 1 ไม่ได้ - ข้อคำถามนี้ใช้ไม่ได้ 2. ความมีอิสระในการทำงาน หมายถึง การมีโอกาสได้ทำงานด้วยตนเอง สามารถคิดวางแผน ปฏิบัติ และประเมินผลงานด้วยตนเอง 2.1 การได้ทำงานที่ตัวเองชื่นชอบ 2.2 การมีโอกาสได้ทำงานอย่างเป็นอิสระ 5 2 การแปลผลของค่า IOC ค่า IOC ตั้งแต่ 0.5 ขึ้นไป แปลว่า ข้อความนั้นวัดได้สอดคล้องกับทฤษฎี ค่า IOC ต่ำกว่า 0.5 แปลว่า ข้อความนั้นวัดไม่สอดคล้องกับทฤษฎี จึงไม่ควรใช้ IOC= 𝑟 𝑁

ความตรง (Validity) 3. ความตรงตามเกณฑ์สัมพันธ์ (Criterion – related Validity)  เป็นคุณสมบัติของเครื่องมือด้านความสอดคล้องสัมพันธ์กันระหว่างคะแนน จากแบบสอบกับเกณฑ์ภายนอกที่สามารถใช้วัดคุณลักษณะที่ต้องการนั้นได้ เกณฑ์ภายนอกอาจเป็นสมรรถนะ ผลการปฏิบัติ พฤติกรรม หรือผลการ ดำเนินงานที่ปรากฏของคุณลักษณะนั้น เช่น ในสถานการณ์ของการสร้างแบบ สอบคัดเลือกนักเรียนเข้าศึกษาในสถานศึกษา ก่อนที่จะนำคะแนนจากแบบสอบ ไปตัดสินใจเกี่ยวกับการคัดเลือกได้อย่างถูกต้องเหมาะสม ก็ควรจะต้องรู้ถึง คุณภาพของคะแนนสอบที่ได้ว่าสามารถนำไปสรุปอ้างอิงถึงความสามารถ ทางด้านการเรียนวิชาการในสถานศึกษาได้เป็นอย่างดีก่อน หลักฐานที่แสดงระดับ ความสัมพันธ์ระหว่างคะแนนสอบกับเกณฑ์ที่เป็นสมรรถนะ พฤติกรรม หรือ ความสามารถที่ปรากฏนี้เรียกว่า ความตรงตามเกณฑ์สัมพันธ์ ที่มา: ศิริชัย กาญจนวาสี, 2556

ความตรง (Validity) ความตรงตามเกณฑ์สัมพันธ์ แบ่งเป็น 2 ประเภทย่อย คือ  3.1) ความตรงเชิงสภาพการณ์ หรือ ความตรงตามสภาพ หรือความตรง ร่วมสมัย (Concurrent Validity) หมายถึง ความสามารถในการวัดคุณลักษณะที่สนใจ ได้ตรงตามสมรรถนะของสิ่งนั้นในสภาพปัจจุบัน เป็นคุณสมบัติของแบบสอบที่จะบ่งชี้ได้ ว่าผู้เข้าสอบมีความสามารถตามเกณฑ์ที่กำหนดให้ในสภาพปัจจุบันเพียงใด  การประมาณค่าความตรงตามสภาพของแบบสอบ ให้ความสนใจประมาณ สถานภาพปัจจุบันของสมรรถนะที่มุ่งวัด โดยคำนวณค่าสัมประสิทธิ์สหสัมพันธ์ระหว่าง คะแนนจากแบบสอบ กับ คะแนนเกณฑ์ จากเครื่องมืออื่นที่สามารถใช้บ่งบอกสถานภาพ ปัจจุบันของลักษณะที่มุ่งวัดได้ เนื่องจากเครื่องมือทั้งสองทำการวัดในช่วงเวลาเดียวกัน สัมประสิทธิ์สหสัมพันธ์ ในทางบวกที่สูง จะแสดงว่า คะแนนจากแบบสอบสามารถใช้เป็นตัวบ่งชี้ที่ดีของ สถานภาพของลักษณะที่มุ่งวัดนั้น ที่มา: ศิริชัย กาญจนวาสี, 2556

(Criterion performance) ความตรง (Validity) 3.1) ความตรงตามสภาพ หรือ ความตรงร่วมสมัย (Concurrent Validity) ตัวอย่าง 2 สัมประสิทธิ์สหสัมพันธ์ระหว่างคะแนนจากแบบสอบข้อเขียนความรู้ ความสามารถเกี่ยวกับงานช่าง (X) กับคะแนนเกณฑ์ที่ประเมินได้จากการสังเกตการปฏิบัติงาน ช่าง (Y) ในเวลาเดียวกันหรือเวลาใกล้เคียงกัน มีค่าเท่ากับ 0.90 แสดงว่า แบบสอบข้อเขียนนี้ มีความตรงตามสภาพสูง สามารถวัดได้ตามสภาพที่เป็นอยู่ในปัจจุบัน คะแนนสอบจึงอาจ นำไปใช้บ่งบอกความสามารถเกี่ยวกับงานช่างของผู้สอบแทนการติดตามสังเกตและประเมิน ความสามารถเป็นรายบุคคล ซึ่งต้องใช้เวลาและค่าใช้จ่ายสูง เป็นต้น ตัวอย่าง 1 แบบสอบวัดความผิดปกติทางจิตของเด็ก จะถือว่ามีความตรงร่วมสมัย ถ้ามีความสัมพันธ์กันสูงระหว่างคะแนนที่ได้จากการตอบแบบวัดกับผลการวินิจฉัยของแพทย์ผู้เชี่ยวชาญทางด้านความผิดปกติทางจิตของเด็ก คะแนนจากแบบสอบ x (Test performance) คะแนนจากแบบสอบ Y (Criterion performance) RXY ที่มา: ศิริชัย กาญจนวาสี, 2556

ความตรง (Validity) 3.1) ความตรงตามสภาพ หรือ ความตรงร่วมสมัย (Concurrent Validity) ตัวอย่าง 3 ถ้านำแบบทดสอบวัดความเสียสละที่ครูสร้างขึ้น ไปสอบกับนักเรียนคนหนึ่งซึ่ง เป็นที่รู้จักกันทั่วไปว่านักเรียนคนนี้เป็นคนที่มีความเสียสละสูง และผลการสอบปรากฎว่า ได้ คะแนนความเสียสละสูงมาก ซึ่งหมายความว่า นักเรียนคนนี้เป็นคนเสียสละ ซึ่งก็ตรงกับ สภาพความเป็นจริงของนักเรียนคนนั้นจริงๆ แสดงว่า แบบทดสอบวัดความเสียสละที่ครู สร้างขึ้นนี้มีความตรงตามสภาพ ตัวอย่าง 4 ถ้าต้องการตรวจสอบความตรงตามสภาพของแบบวัดเชาวน์ปัญญาที่สร้างขึ้น ก็ต้องหาเครื่องมือมาตรฐานหรือแบบวัดมาตรฐานที่มีความน่าเชื่อถือในเรื่องการวัดเชาวน์ ปัญญามาเป็นเกณฑ์เปรียบเทียบ ถ้าคะแนนจากแบบวัดทั้ง 2 ชุด มีค่าสัมประสิทธิ์สหสัมพันธ์ สูง ก็แสดงว่า แบบวัดเชาวน์ปัญญาที่สร้างขึ้นนั้นมีความตรงตามสภาพ ที่มา: พิชิต ฤทธิ์จรูญ, 2550

ความตรง (Validity) ความตรงตามเกณฑ์สัมพันธ์ (ต่อ)  3.2) ความตรงเชิงพยากรณ์ หรือ ความตรงเชิงทำนาย (Predictive Validity) หมายถึง ความสามารถของเครื่องมือที่สามารถวัดคุณลักษณะที่สนใจได้ตรงตาม สมรรถนะของสิ่งนั้นที่จะเกิดขึ้นในอนาคต นั่นคือ เป็นความสามารถของแบบสอบใน การที่จะทำนายสภาพความเป็นจริงของสิ่งที่วัดได้ในอนาคต  การประมาณค่าความตรงเชิงทำนายของแบบสอบ ให้ความสนใจประมาณ สถานภาพอนาคตของคุณลักษณะที่มุ่งวัด โดยคำนวณค่าสัมประสิทธิ์สหสัมพันธ์ระหว่าง คะแนนจากแบบสอบ กับ คะแนนเกณฑ์ จากเครื่องมืออื่นที่สามารถใช้บ่งบอกผลสำเร็จ ของลักษณะที่มุ่งวัดนั้นได้ในอนาคต หรือการหาความสัมพันธ์ระหว่างคะแนนในสภาพ ปัจจุบันกับคะแนนที่วัดเมื่อเว้นระยะเวลาจนสิ้นสุดกระบวนการ เพื่อให้ได้คะแนนเกณฑ์ ในอนาคต  แบบวัดความถนัด ความถนัดทางวิชาชีพครู ความถนัดทางวิศวกรรม ที่มา: ศิริชัย กาญจนวาสี, 2556

(Criterion performance) ความตรง (Validity) 3.2) ความตรงเชิงพยากรณ์ หรือ ความตรงเชิงทำนาย (Predictive Validity) ตัวอย่าง สัมประสิทธิ์สหสัมพันธ์ระหว่างคะแนนจากแบบสอบความถนัดทางวิชาการ ซึ่งทำ การสอบก่อนเข้าเรียนต่อในสถานศึกษา (X) กับผลสัมฤทธิ์ทางการเรียนเฉลี่ยสะสมจนถึงปี สุดท้าย (Y) มีค่าเท่ากับ 0.90 แสดงว่า คะแนนจากแบบสอบความถนัดทางวิชาการมีความ ตรงเชิงทำนายสูง สามารถทำนายผลสัมฤทธิ์ทางการเรียนในอนาคตได้ คะแนนจากแบบสอบ ความถนัดทางวิชาการจึงสามารถนำไปใช้เป็นข้อมูลพื้นฐานส่วนหนึ่ง สำหรับประกอบการ พิจารณาเพื่อคัดเลือกผู้เรียนเข้าศึกษาต่อ เป็นต้น คะแนนจากแบบสอบ x (Test performance) คะแนนจากแบบสอบ Y (Criterion performance) RXY t ที่มา: ศิริชัย กาญจนวาสี, 2556

ความตรง (Validity) ความเหมือนและความแตกต่างระหว่าง ความตรงตามสภาพและความตรงเชิงทำนาย ความเหมือน เป็นคุณสมบัติของเครื่องมือที่สามารถวัดได้ตรงกับสภาพที่เป็นจริงเหมือนกัน ความแตกต่าง ความตรงตามสภาพและความตรงเชิงทำนายมีความแตกต่างกันที่ช่วงเวลาของการเก็บ ข้อมูลคะแนนเกณฑ์ ถ้าแบบสอบใดสามารถให้คะแนนได้สอดคล้องกับสภาพปัจจุบัน ก็ ถือว่ามีความตรงตามสภาพ ถ้าแบบสอบใดสามารถให้คะแนนได้สอดคล้องกับสภาพที่ เกิดขึ้นในอนาคต ก็ถือว่ามีความตรงเชิงทำนาย แบบสอบที่มีความตรงเชิงทำนาย ย่อมมีความตรงตามสภาพ แต่แบบสอบที่มีความตรงตามสภาพ ไม่จำเป็นต้องมีความตรงเชิงทำนายเสมอไป

วิธีการตรวจสอบความตรงตามเกณฑ์สัมพันธ์ การคำนวณค่าสัมประสิทธิ์สหสัมพันธ์ เพื่อตรวจสอบความสอดคล้องระหว่างคะแนนที่ได้จากเครื่องมือที่พัฒนาขึ้น และคะแนนจากเครื่องมือที่เป็นเกณฑ์ภายนอกซึ่งมีคุณภาพสูง หรือมีมาตรฐานเป็นที่ยอมรับ 1. สัมประสิทธิ์สหสัมพันธ์แบบเพียร์สัน (Pearson product-moment correlation coefficient) เพื่อหาความสัมพันธ์ระหว่างแบบวัดที่สร้างขึ้นกับแบบวัดมาตรฐานฉบับอื่นที่ใช้เป็นเกณฑ์ โดยข้อมูลที่นำมาหาความสัมพันธ์ในสูตรนี้ควรมีลักษณะเป็นข้อมูลที่อยู่ในระดับการวัดมาตราอันตรภาคชั้นขึ้นไป [มาตราอันตรภาค (interval scale) และมาตราอัตราส่วน (ratio scale)] และข้อมูลทั้ง 2 ชุดนั้นเป็นอิสระต่อกัน

วิธีการตรวจสอบความตรงตามเกณฑ์สัมพันธ์ 1. สัมประสิทธิ์สหสัมพันธ์แบบเพียร์สัน การแปลความหมาย: ค่า r จะมีค่าอยู่ระหว่าง -1 ถึง 1 - ถ้าค่า r เป็นบวก และเข้าใกล้ 1  แบบวัดมีความตรงตามเกณฑ์สัมพันธ์สูง - ถ้าค่า r เป็นศูนย์  แบบวัดไม่มีความตรงตามเกณฑ์สัมพันธ์สูง - ถ้าค่า r เป็นลบ และเข้าใกล้ -1  แบบวัดมีความสัมพันธ์ในทิศทางตรงกันข้าม 𝒓 𝒙𝒚 = 𝒏 𝑿𝒀 − 𝑿 𝒀 𝒏 𝑿 𝟐 − 𝑿 𝟐 𝒏 𝒀 𝟐 − 𝒀 𝟐 เมื่อ 𝒓 𝒙𝒚 แทน สัมประสิทธิ์สหสัมพันธ์แบบเพียร์สัน X แทน คะแนนจากแบบวัดที่สร้างขึ้น Y แทน คะแนนจากแบบวัดอื่นที่มีคุณภาพ, แบบวัดมาตรฐาน, คะแนนเกณฑ์ n แทน จำนวนผู้เข้าสอบ

วิธีการตรวจสอบความตรงตามเกณฑ์สัมพันธ์ ตัวอย่าง 1 จากข้อมูลที่กำหนดให้ จงหาความตรงตามสภาพของแบบวัดเชาวน์ปัญญาที่ครูสร้างขึ้น วิธีทำ คนที่ คะแนน X2 Y2 XY แบบวัดเชาวน์ปัญญาที่ครูสร้างขึ้น X (เต็ม 40) แบบวัดเชาวน์ปัญญาที่เป็นมาตรฐาน Y (เต็ม 60) 1 36 52 2 22 31 3 30 45 4 27 42 5 23 33 รวม

วิธีการตรวจสอบความตรงตามเกณฑ์สัมพันธ์ ตัวอย่าง 1 ผลการคำนวณโดยใช้โปรแกรม SPSS แสดงดังตาราง คำสั่ง: Analyze  Correlate  Bivariate  Pearson การแปลผล ....................................................................................................................................................................................................................................................................

วิธีการตรวจสอบความตรงตามเกณฑ์สัมพันธ์ 2. สัมประสิทธ์สหสัมพันธ์แบบสเปียร์แมน (spearman rank order correlation coefficient) การหาความสัมพันธ์วิธีนี้ใช้กับข้อมูล 2 ชุดที่อยู่ในมาตราเรียงอันดับ (ordinal scale) นั่นคือ หาความสัมพันธ์ระหว่างแบบวัดที่สร้างขึ้นกับแบบวัดมาตรฐานฉบับอื่นที่ใช้เป็นเกณฑ์ โดยข้อมูลที่นำมาหาความสัมพันธ์ในสูตรนี้จะมีการให้ค่าเป็นอันดับ เช่น ลำดับที่ของการสอบได้ ผลการประกวด เป็นต้น 𝒓 𝒔 =𝟏 − 𝟔 𝑫 𝟐 𝒏( 𝒏 𝟐 −𝟏) เมื่อ D แทน ผลต่างของอันดับของข้อมูลแต่ละคู่ N แทน จำนวนคู่ของข้อมูล

วิธีการตรวจสอบความตรงตามเกณฑ์สัมพันธ์ ตัวอย่าง 2 จากข้อมูลที่กำหนดให้ จงหาความตรงตามสภาพของแบบสอบวัดความสามารถทางภาษาอังกฤษที่ครูสร้างขึ้นกับผลการประกวดตอบปัญหาภาษาอังกฤษ วิธีทำ คนที่ คะแนนจากแบบสอบที่ครูสร้างขึ้น ลำดับที่ของการสอบได้ ผลการประกวด D D2 1 22 5 2 36 3 31 4 24 28 รวม

วิธีการตรวจสอบความตรงตามเกณฑ์สัมพันธ์ ตัวอย่าง 2 ผลการคำนวณโดยใช้โปรแกรม SPSS แสดงดังตาราง คำสั่ง: Analyze  Correlate  Bivariate  Spearman การแปลผล ....................................................................................................................................................................................................................................................................

ปัจจัยที่มีผลต่อความตรง 1. ปัจจัยจากแบบสอบ 1) คำสั่งไม่ชัดเจน เช่น ภาษาไม่รัดกุม ขาดความชัดเจน เป็นต้น ทำให้ผู้สอบตีความหมายแตกต่างกันได้ จึงมีแนวโน้มที่จะทำให้ความตรงของแบบสอบลดลง 2) การใช้โครงสร้างภาษาที่ซับซ้อนเกินไป จนอาจเป็นการวัดความเข้าใจทางภาษา เสียเวลาในการทำข้อสอบ ทำให้วัดไม่ตรงกับคุณลักษณะที่มุ่งวัด คะแนนที่ได้ไม่เป็นตัวแทนที่ดีของสิ่งที่มุ่งวัด 3) ข้อสอบใช้ภาษาที่กำกวม ทำให้เกิดความสับสนและตีความหมายผิด ซึ่งมักสร้างความสับสนให้แก่เด็กเก่ง จนอาจทำให้อำนาจจำแนกติดลบ ไม่สามารถจำแนกเด็กเก่ง-อ่อนได้ 4) ข้อสอบใช้คำถามนำ นั่นคือ มีคำหรือข้อความแนะคำตอบเอาไว้ ซึ่งผู้สอบอาจตอบถูกเพราะมีความสามารถในการแสวงหาคำชี้นำคำตอบ มากกว่ามีความสามารถในสิ่งที่มุ่งวัด 5) ข้อสอบมีระดับความยากไม่เหมาะสม อาจจะมีความยากหรือง่ายจนเกินไป ทำให้ข้อสอบอำนาจจำแนกและมีความตรงต่ำ 6) การเลือกใช้รูปแบบข้อสอบที่ไม่เหมาะสม ทำให้แบบสอบวัดสิ่งที่ต้องการวัดได้ไม่ดีพอ 7) แบบสอบสั้นเกินไป (จำนวนข้อน้อยเกินไป) ทำให้ไม่อาจเป็นตัวแทนที่ดีของสิ่งที่มุ่งวัด ที่มา: Allen and Yen, 1979; Gronlund and Linn, 1990; ศิริชัย กาญจนวาสี, 2556

ปัจจัยที่มีผลต่อความตรง 2. ปัจจัยจากการบริหารการสอบและการตรวจให้คะแนน 1) เวลาที่ใช้ในการสอบไม่เหมาะสม เช่น มากเกินไป น้อยเกินไป โดยเฉพาะการให้เวลาที่ไม่เพียงพอ จะทำให้ความตรงของแบบสอบลดลงได้ 2) สภาพแวดล้อมของการสอบไม่เหมาะสม ทั้งทางกายภาพ (อุณหภูมิ แสง เสียง เป็นต้น) และทางจิตวิทยา (บรรยากาศการสอบ ความเครียด เป็นต้น) ที่ส่งผลทำให้ความตรงลดลงได้ 3) ขาดมาตรฐานในการคุมสอบ เช่น คุมสอบไม่เข้มงวด แนะแนวคำตอบให้แก่ผู้สอบ ไม่ปฏิบัติตามคำแนะนำในการคุมสอบ เป็นต้น มีผลทำให้ความตรงลดลงได้ 4) การจับแนวทางคำตอบ เนื่องจากมีการจัดเรียงคำตอบถูกอย่างเป็นระบบ ทำให้ผู้สอบเดาทางได้ ทำให้ผลการสอบไม่ได้มาจากความสามารถที่แท้จริง 5) การตรวจให้คะแนนขาดความเป็นปรนัย เนื่องจากการขาดเกณฑ์ที่เหมาะสมในการตรวจให้คะแนน ที่มา: Allen and Yen, 1979; Gronlund and Linn, 1990; ศิริชัย กาญจนวาสี, 2556

ปัจจัยที่มีผลต่อความตรง 3. ปัจจัยจากผู้สอบ 1) ความเป็นเอกพันธ์ของกลุ่มผู้สอบ ความแตกต่างกันของกลุ่มผู้สอบในตัวแปรบางอย่างอาจมีผลต่อความเที่ยงและความตรงของแบบสอบได้ เช่น เพศ อายุ ระดับการศึกษา ภูมิหลัง วัฒนธรรม เป็นต้น ซึ่งถ้านำแบบสอบที่สร้างมาดีแล้วไปวัดกับกลุ่มผู้สอบที่มีลักษณะที่มุ่งวัดหลากหลายในจำนวนที่มากเพียงพอ ย่อมมีแนวโน้มที่จะได้ค่าความเตรงและความเที่ยงสูง ในทางกลับกัน ถ้านำแบบสอบไปใช้กับกลุ่มผู้สอบที่ลักษณะที่มุ่งวัดมีความเป็นเอกพันธ์สูง (กลุ่มคัดสรร) ซึ่งมีค่าที่สนใจอยู่ในช่วงจำกัด ก็ย่อมส่งผลให้ได้ค่าความตรงและความเที่ยงต่ำ 2) การเดาคำตอบ ส่งผลทำให้ความตรงลดลงได้ 3) นิสัยในการทำข้อสอบ เป็นตัวแปรแทรกซ้อนที่อาจมีผลทำให้ความตรงลดลงได้ เนื่องจากผู้สอบบางคนชอบทำข้อสอบในรูปแบบที่แตกต่างกัน เช่น บางคนอาจชอบแบบสอบเลือกตอบมากกว่าแบบอัตนัย ในขณะที่บางคนอาจชอบแบบสอบอัตนัยมากกว่า 4) สภาพความไม่พร้อมของร่างกายและจิตใจ ที่อาจทำให้ความตรงลดลงได้ เนื่องจากมีการเจ็บป่วย เมื่อยล้า ความวิตกกังวล การขาดแรงจูงใจ การถูกรบกวน เป็นต้น ที่มา: Allen and Yen, 1979; Gronlund and Linn, 1990; ศิริชัย กาญจนวาสี, 2556

ปัจจัยที่มีผลต่อความตรง 4. ปัจจัยจากเกณฑ์ที่ใช้อ้างอิง การตรวจสอบความตรงจำเป็นต้องอาศัยการอ้างอิงกับเกณฑ์ที่เชื่อถือได้ ความตรงของแบบสอบจะมีค่าแตกต่างกันขึ้นอยู่กับระดับความสอดคล้องหรือสัมพันธ์กันระหว่างแบบสอบกับเกณฑ์ที่นำมาใช้อ้างอิง 1) ความชัดเจนของมวลเนื้อเรื่องที่มุ่งวัด ถ้าขาดความชัดเจนย่อมมีผลต่อการตัดสินของผู้เชี่ยวชาญเกี่ยวกับความตรงตามเนื้อหา ทำให้ความตรงตามเนื้อหามีค่าต่ำลงได้ 2) ความเหมาะสมของการคัดเลือกเกณฑ์สมรรถนะที่นำมาเปรียบเทียบ ถ้านำเครื่องมือที่มีคุณภาพต่ำและขาดความตรงประเด็นกับลักษณะที่มุ่งวัดมาใช้เป็นเกณฑ์ในการเปรียบเทียบกับแบบสอบที่สร้างขึ้น ก็ย่อมทำให้ความตรงตามเกณฑ์สัมพันธ์มีค่าต่ำลงได้ 3) ความเหมาะสมของทฤษฎีที่เกี่ยวข้องกับลักษณะที่มุ่งวัด การนำแนวคิดทฤษฎีเกี่ยวกับลักษณะที่มุ่งวัดที่ยังไม่ได้รับการยอมรับอย่างกว้างขวาง มาใช้เป็นแนวคิด/โครงสร้างของลักษณะที่มุ่งวัดนั้น ย่อมส่งผลต่อความตรงตามทฤษฎีได้ เพราะอาจทำให้ผลการวัดคุณลักษณะที่สนใจไม่สอดคล้องกับแนวทางและสิ่งที่ทฤษฎีได้คาดหมายเอาไว้ ที่มา: Allen and Yen, 1979; Gronlund and Linn, 1990; ศิริชัย กาญจนวาสี, 2556

ความเที่ยง (Reliability) คุณภาพของเครื่องมือการวิจัยที่วัดได้คงเส้นคงวา จะวัดซ้ำกี่ครั้งก็ได้ผล เหมือนเดิม (ใกล้เคียงของเดิม) ทุกครั้ง ถ้าค่าเข้าใกล้ 1 แสดงว่ามีความเที่ยงสูง ถ้าค่าเข้าใกล้ 0 แสดงว่ามีความเที่ยงต่ำ "ความเที่ยง" คือ ความคงเส้นคงวา หรือความคงที่ของเครื่องมือ ในการวัดสิ่งของสิ่งเดียวกันในระยะเวลาต่างๆ กัน

วิธีการประมาณค่าความเที่ยง 1. การประมาณความมีเสถียรภาพ (Estimation of stability) หรือ ความเที่ยง แบบความคงที่ (Measure of Stability) หรือ การใช้วิธีสอบซ้ำ (test-retest method) หมายถึง ความคงเส้นคงวาของคะแนนจากการวัดในช่วงเวลาที่ต่างกัน โดยวิธี สอบซ้ำด้วยแบบสอบเดิม (Test-retest Method) มีวิธีการประมาณค่าโดยคำนวณค่า สัมประสิทธิ์สหสัมพันธ์ระหว่างคะแนนที่วัดได้จากคนกลุ่มเดียวกัน ด้วยเครื่องมือเดียวกัน ทำการวัดซ้ำสองครั้งในเวลาที่ต่างกัน โดยใช้สูตร Pearson’s product moment coefficient of correlation (สูตรการหาค่าสัมประสิทธิ์สหสัมพันธ์อย่างง่าย) เมื่อ X แทน คะแนนสอบครั้งแรก Y แทน คะแนนสอบครั้งหลัง 𝒓 𝒕𝒕 = 𝒏 𝑿𝒀 − 𝑿 𝒀 𝒏 𝑿 𝟐 − 𝑿 𝟐 𝒏 𝒀 𝟐 − 𝒀 𝟐

วิธีการประมาณค่าความเที่ยง 1. วิธีสอบซ้ำ (test-retest method) สร้างแบบทดสอบ 1 ฉบับ นำไปทดสอบกับผู้สอบ 1 กลุ่ม จำนวน 2 ครั้ง นำผลการทดสอบที่ได้มาวิเคราะห์หาค่าสัมประสิทธิ์สหสัมพันธ์ ถ้าแบบทดสอบใดได้ค่าความเที่ยงเข้าใกล้ 1.00 แสดงว่า แบบทดสอบนั้นมีคุณสมบัติด้านความเที่ยง โดยทั่วไปเครื่องมือควรมีค่าความเที่ยงตั้งแต่ 0.70 ขึ้นไป

วิธีการประมาณค่าความเที่ยง 2. การประมาณความเท่าเทียมหรือคู่ขนาน หรือ ความเที่ยงแบบความสมมูล(Measures of equivalence or measures of parallel) สร้างแบบทดสอบ 2 ฉบับที่คล้ายคลึงกัน ( จำนวนข้อเท่ากัน ถามเนื้อหาเดียวกันยากง่ายพอๆ กัน ) ทำการทดสอบผู้สอบ 1 กลุ่ม ทั้ง 2 ฉบับในเวลาเดียวกันหรือใกล้เคียงกัน นำผลการสอบทั้ง 2 ฉบับ มาวิเคราะห์หาค่าสัมประสิทธิ์สหสัมพันธ์ 𝒓 𝒕𝒕 = 𝒏 𝑿𝒀 − 𝑿 𝒀 𝒏 𝑿 𝟐 − 𝑿 𝟐 𝒏 𝒀 𝟐 − 𝒀 𝟐

วิธีการประมาณค่าความเที่ยง 3. การประมาณความเที่ยงแบบวัดความสอดคล้องภายใน (Measures of internal consistency) (3.1) วิธีแบ่งครึ่งแบบทดสอบ (split-half method) ใช้แบบทดสอบ 1 ฉบับ ทดสอบกับผู้เข้าสอบ 1 ครั้ง แบ่งตรวจคะแนนทีละครึ่งฉบับ เช่น ข้อคู่-ข้อคี่, ครึ่งบน-ครึ่งล่าง, สุ่ม นำคะแนนทั้ง 2 ครึ่ง มาวิเคราะห์หาค่าสัมประสิทธิ์สหสัมพันธ์ จะได้ค่าความเที่ยงของแบบสอบครึ่งฉบับ นำค่าที่ได้มาปรับขยายให้เต็มฉบับ โดยใช้สูตรของ Spearman Brown 𝒓 𝒕𝒕 = 𝟐 𝒓 𝒉𝒉 𝟏+ 𝒓 𝒉𝒉

วิธีการประมาณค่าความเที่ยง ได้รับ ความนิยม วิธีการประมาณค่าความเที่ยง 3. การประมาณความเที่ยงแบบวัดความสอดคล้องภายใน (Measures of internal consistency) 𝜶= 𝒌 𝒌−𝟏 𝟏 − 𝑺 𝒊 𝟐 𝑺 𝒕 𝟐 สร้างแบบทดสอบ 1 ฉบับ ทดสอบกับคน 1 กลุ่ม 1 ครั้ง ให้คะแนนแบบ 0,1 ทุกข้อมีความยากเท่ากัน คำนวณด้วยสูตร สัมประสิทธิ์แอลฟา คำนวณด้วยสูตร KR-20 คำนวณด้วยสูตร KR-21 ข้อสอบปรนัยหรืออัตนัย KR20 = 𝒌 𝒌−𝟏 𝟏 − 𝒑 𝒊 𝒒 𝒊 𝑺 𝟐 KR21 = 𝒌 𝒌−𝟏 𝟏 − 𝒙 (𝒌 − 𝒙 ) 𝒌𝑺 𝟐 (3.2) Cronbach’s Alpha method (3.3) Kuder-Richardson method

วิธีการประมาณค่าความเที่ยง (3.4) วิธีวิเคราะห์ความแปรปรวน ฮอยท์ (Hoyt) 3. การประมาณความเที่ยงแบบวัดความสอดคล้องภายใน (Measures of internal consistency) (3.4) วิธีวิเคราะห์ความแปรปรวน ฮอยท์ (Hoyt) สร้างแบบทดสอบ 1 ฉบับ ทดสอบกับคน 1 กลุ่ม 1 ครั้ง คำนวณด้วยสูตรสัมประสิทธิ์แอลฟา ให้คะแนนแบบ 0,1 หรืออัตนัย หรือมาตราส่วนประมาณค่า 𝒓 𝒕𝒕 =𝟏 − 𝑴𝑬 𝒆 𝑴𝑺 𝒑

วิธีการประมาณค่าความเที่ยง 4. การประมาณความเที่ยงแบบอิงเกณฑ์ การประมาณความเที่ยงแบบการวัดความคล้ายกัน (Measures of equivalence) เป็นการ วัดความสอดคล้องของคะแนนที่วัดได้จากแบบสอบซ้ำ (วัด 2 ครั้ง) หรือแบบสอบคู่ขนาน (แบบสอบ 2 ฉบับ) กับวัตถุประสงค์ที่กำหนดไว้ ด้วยวิธีของคาร์เวอร์ (Carwer) ซึ่งมีข้อดีคือ ใช้ได้กับแบบสอบทุกประเภทที่มีการประเมินแบบอิงเกณฑ์ ครั้งที่ 2 ครั้งที่ 1 ผ่านเกณฑ์ ไม่ผ่านเกณฑ์ รวม a b a+b d c c+d a+d b+c n = a+b+c+d 𝒓 𝒄𝒄 = 𝒂+𝒄 𝒏 หรือ 𝒂 𝒏 + 𝒄 𝒏

สัมประสิทธิ์ความเที่ยง ควรมีค่าสูงเท่าใด จึงจะเพียงพอ  แบบสอบที่ใช้ในการทดสอบ ควรมีค่าสัมประสิทธิ์ความเที่ยงสูงที่สุดเท่าที่จะเป็นไปได้ โดยอย่างน้อยที่สุดควรมีค่าไม่ต่ำกว่า 0.50 (โดยทั่วไปแบบสอบที่ครูสร้างขึ้นควรมีค่าความเที่ยงตั้งแต่ 0.70 ขึ้นไป)  กรณีที่นำผลจากการวัดไปใช้ในการตัดสินผลทางการศึกษาที่มีความสำคัญและไม่มีโอกาสติดตามตรวจสอบในเรื่องที่ได้ตัดสินไปแล้ว เช่น การสอบแข่งขันเพื่อศึกษาต่อ การสอบเพื่อสำเร็จการศึกษา การสอบเข้าทำงาน เป็นต้น แบบสอบที่ใช้ควรต้องมีค่าความเที่ยงสูงมากเป็นพิเศษ (เข้าใกล้ 1.00)  กรณีที่นำผลจากการวัดไปใช้ในการตัดสินผลทางการศึกษาที่ไม่ได้มีความสำคัญมากนัก และยังมีโอกาสติดตามตรวจสอบเพื่อพัฒนาความก้าวหน้าของสิ่งนั้นได้อีก เช่น การสอบจัดกลุ่มตามความสามารถ การสอบวินิจฉัย เป็นต้น ซึ่งความคลาดเคลื่อนจากการตัดสินจะส่งผลกระทบน้อยกว่ากรณีแรก จึงยินยอมให้ใช้แบบสอบที่มีค่าความเที่ยงต่ำลงมาได้ ที่มา: ศิริชัย กาญจนวาสี, 2556

วิธีการประมาณค่าความเที่ยง ตัวอย่าง วิธีการประมาณค่าความเที่ยง ตัวอย่าง 3 จากข้อมูลที่กำหนดให้ จงคำนวณหาค่าความเที่ยงโดยวิธีแบ่งครึ่งข้อสอบเป็นข้อคี่-ข้อคู่ คนที่ ข้อสอบข้อที่ คะแนนสอบข้อคี่ (X) คะแนนสอบข้อคู่ (Y) X2 Y2 XY 1 2 3 4 5 6 7 8 9 10 รวม วิธีทำ: คำนวณหา 𝒓 𝒉𝒉 คำนวณหา 𝒓 𝒕𝒕

วิธีการประมาณค่าความเที่ยง ตัวอย่าง วิธีการประมาณค่าความเที่ยง ตัวอย่าง 3 ผลการคำนวณโดยใช้โปรแกรม SPSS แสดงดังตาราง คำสั่ง: Analyze  Scale  Reliability Analysis  Split-half นิสิตคิดว่า การประมาณค่าความเที่ยงโดยวิธีแบ่งครึ่งข้อสอบนี้ มีจุดอ่อนในด้านใด การแปลผล ความเที่ยงของแบบสอบแบบเลือกตอบชุดนี้มีค่าเท่ากับ............. แสดงว่า แบบสอบฉบับนี้มีความเที่ยง........

วิธีการประมาณค่าความเที่ยง ตัวอย่าง วิธีการประมาณค่าความเที่ยง ตัวอย่าง 4 การคำนวณหาค่าความเที่ยงโดยวิธี KR-20 ของแบบสอบแบบเลือกตอบ 8 ข้อ ผู้สอบ 6 คน คนที่ ข้อสอบข้อที่ รวม 1 2 3 4 5 6 7 8 จำนวนผู้สอบที่ตอบถูก สัดส่วนที่ตอบถูก (p) สัดส่วนที่ตอบผิด (q=1-p) pq วิธีทำ: 1. หาค่าเฉลี่ยของคะแนนรวม ( 𝒙 ) 2. หาความแปรปรวนของคะแนนรวมทั้งฉบับ ( 𝐒 𝟐 ) จากสูตร หรือ เมื่อ n คือ จำนวนผู้สอบ 3. และเมื่อ k คือ จำนวนข้อสอบ ดังนั้น หาค่า KR-20 จากสูตร จะได้......

วิธีการประมาณค่าความเที่ยง ตัวอย่าง วิธีการประมาณค่าความเที่ยง ตัวอย่าง 4 การคำนวณหาค่าความเที่ยงโดยวิธี KR-20 โดยใช้โปรแกรม SPSS การใช้สูตร KR-20 มีความจำเป็นต้องคำนวณค่า pi, qi เป็นรายข้อ เนื่องจากเป็นข้อสอบให้คะแนนแบบ 0, 1 ค่าผลคูณของ piqi ก็คือ ค่าความแปรปรวนของคะแนนรายข้อ (𝑺 𝒊 𝟐 ) นั่นเอง ดังนั้น การคำนวณหาค่าความเที่ยงด้วยสูตร KR-20 นี้จึงเหมือนกับสูตรสัมประสิทธิ์แอลฟาของครอนบาค การคำนวณหาค่าความเที่ยงโดยใช้โปรแกรม SPSS จึงใช้คำสั่ง ดังนี้ Analyze  Scale  Reliability Analysis  Alpha การแปลผล ความเที่ยงของแบบสอบแบบเลือกตอบชุดนี้มีค่าเท่ากับ............. แสดงว่า แบบสอบฉบับนี้มีความเที่ยง........

วิธีการประมาณค่าความเที่ยง ตัวอย่าง วิธีการประมาณค่าความเที่ยง ตัวอย่าง 5 จากข้อมูลที่กำหนดให้ จงทำการประมาณค่าความเที่ยงสำหรับแบบสอบอิงเกณฑ์ จากผลการตัดสินผู้สอบจำนวน 20 คน ว่ารอบรู้หรือไม่รอบรู้ หลังจากทำแบบสอบอิงเกณฑ์ 2 ฉบับที่สมมูลกัน แบบสอบฉบับ ข. รอบรู้ ไม่รอบรู้ แบบสอบฉบับ ก. 12 2 4 วิธีทำ: การแปลผล ความเที่ยงของแบบสอบอิงเกณฑ์แต่ละฉบับมีค่าเท่ากับ............. แสดงว่า แบบสอบอิงเกณฑ์ 2 ฉบับที่มีความสมมูลกันนี้มีความเที่ยง........

ปัจจัยที่มีผลต่อความเที่ยง 1) ความยาวของแบบสอบ (Test Length) ถ้าแบบสอบ 2 ฉบับมีคุณภาพที่ใกล้เคียงกัน แบบสอบที่มีจำนวนข้อมากจะมีโอกาสให้ค่าความเที่ยงสูงกว่าแบบสอบที่มีจำนวนข้อน้อย เนื่องจากแบบสอบที่มีจำนวนข้อมากจะช่วยเพิ่มความแปรปรวนของคะแนนที่สังเกตได้ทั้งฉบับ ส่งผลให้ค่าความเที่ยงมีค่าสูงขึ้น นอกจากนี้ แบบสอบที่มีจำนวนข้อน้อยก็มีโอกาสเกิดความคลาดเคลื่อนในการวัดสูงกว่าแบบสอบที่มีจำนวนข้อมากอีกด้วย 2) ความเป็นเอกพันธ์ของกลุ่มผู้สอบ (Group Homogeneity) หากกลุ่มผู้สอบมีคุณลักษณะต่างๆ ใกล้เคียงกันมาก (เช่น มีความสามารถใกล้เคียงกัน) หรือมีความเป็นเอกพันธ์สูง ย่อมทำให้ค่าความเที่ยงมีแนวโน้มที่จะมีค่าน้อย เมื่อเทียบกับการคำนวณค่าความเที่ยงจากกลุ่มผู้สอบที่มีลักษณะที่หลากหลายหรือมีความเป็นวิวิธพันธ์ (Group Heterogeneity) เพราะความแตกต่างของผู้สอบทำให้เกิดการกระจายของคะแนน (เพิ่มความแปรปรวนของคะแนนที่สังเกตได้ทั้งฉบับ) จึงทำให้คำนวณได้ค่าความเที่ยงสูงกว่ากลุ่มผู้สอบที่มีความเป็นเอกพันธ์สูง 3) ค่าอำนาจจำแนก (Discrimination) หากแบบสอบประกอบไปด้วยข้อสอบที่มีค่าอำนาจจำแนกสูง ย่อมส่งผลให้ค่าความเที่ยงมีแนวโน้มสูงขึ้นตามไปด้วย ที่มา: ศิริชัย กาญจนวาสี, 2556

ปัจจัยที่มีผลต่อความเที่ยง 4) ความสัมพันธ์ระหว่างข้อสอบ (Inter-Item Correlation) แบบสอบที่ประกอบด้วยข้อสอบที่วัดเนื้อหา/คุณลักษณะเดียวกัน ย่อมทำให้แบบสอบมีความสัมพันธ์ระหว่างข้อสูง ส่งผลให้ค่าความเที่ยงที่คำนวณได้มีแนวโน้มสูงขึ้นตามไปด้วย 5) เวลาที่ใช้ในการทำข้อสอบ (Time Limit) หากกำหนดเวลาในการทำข้อสอบน้อยจนเกินไป หรือมากจนเกินไป จะส่งผลให้ค่าความเที่ยงที่คำนวณได้มีค่าลดต่ำลง เช่น ถ้าให้เวลาทำข้อสอบน้อยเกินไป ผู้สอบทำไม่ทันก็อาจเกิดการเดาข้อสอบได้มากขึ้นกว่าปกติ ส่งผลให้การกระจายของคะแนนที่ได้แตกต่างไปจากการกระจายของคะแนนจากแบบสอบที่กำหนดเวลาได้เหมาะสม แต่ถ้าให้เวลาทำข้อสอบมากเกินไป ผู้สอบที่มีความสามารถสูงและต่ำก็มีโอกาสจะตอบได้คะแนนที่สอดคล้องกันมากขึ้น คะแนนที่ได้จึงอาจมีการกระจายน้อยกว่าที่ควรจะเป็นและส่งผลต่อความเที่ยงได้เช่นกัน 6) วิธีที่ใช้ในการประมาณค่าความเที่ยง (Methods of Estimating Reliabilities) เนื่องจากค่าความเที่ยงที่คำนวณได้มีค่าแตกต่างกันไปในแต่ละวิธี การจะเลือกใช้วิธีใดจึงควรคำนึงถึงบริบทต่างๆ ของสูตรที่ใช้ในการคำนวณนั้นด้วย โดยทั่วไปการหาค่าความเที่ยงแบบความสอดคล้องภายในจะให้ค่าที่สูงกว่าการหาค่าความเที่ยงแบบการวัดซ้ำ ซึ่งจะให้ค่าความเที่ยงสูงกว่าแบบคู่ขนานด้วย (split-half > test-retest > equivalent form) ที่มา: ศิริชัย กาญจนวาสี, 2556

จากภาพ อธิบายถึงลักษณะของความตรง (validity) และความเที่ยง (reliability) ได้อย่างไรบ้างคะ ที่มา: https://commons.wikimedia.org/wiki/File:Reliability_and_validity.svg

ความคลาดเคลื่อนมาตรฐานของการวัด ความคลาดเคลื่อนมาตรฐานของการวัด (Standard Error of Measurement: SEM) จากทฤษฎีการทดสอบแบบดั้งเดิม (CTT) พบว่า ในการวัดแต่ละครั้งจะเกิดความคลาดเคลื่อนในการวัดขึ้น และถ้าทำการวัดหลายๆ ครั้ง ก็จะได้ความคลาดเคลื่อนหลายค่าที่ต่างกันออกไป ซึ่งถ้านำคะแนนความคลาดเคลื่อนมาหาการแจกแจง จะพบว่ามีการแจกแจงแบบโค้งปกติ และมีค่าส่วนเบี่ยงเบนมาตรฐานของคะแนนความคลาดเคลื่อน เรียกว่า ความคลาดเคลื่อนมาตรฐานของการวัด ในทางปฏิบัติ เป็นไปไม่ได้ที่จะคำนวณหาค่าความคลาดเคลื่อนมาตรฐานจากการให้ทำแบบสอบหลายๆ ครั้ง เพื่อศึกษาการกระจายและหาค่าส่วนเบี่ยงเบนมาตรฐานของคะแนนความคลาดเคลื่อน ดังนั้น ในทฤษฎีนี้จึงทำการคำนวณหาค่าความคลาดเคลื่อนมาตรฐานจากสูตรที่ต้องมีการประมาณค่าความเที่ยงก่อน ดังสูตร 𝑺 𝑬 = 𝑺 𝑿 𝟏 − 𝒓 𝒕𝒕 เมื่อ 𝑺 𝑬 คือ ความคลาดเคลื่อนมาตรฐานของการวัด (SEM) 𝑺 𝑿 คือ ส่วนเบี่ยงเบนมาตรฐานของคะแนนที่สังเกตได้ (X) 𝒓 𝒕𝒕 คือ ค่าความเที่ยงของแบบสอบ

ความคลาดเคลื่อนมาตรฐานของการวัด ประโยชน์ของความคลาดเคลื่อนมาตรฐานของการวัด (SEM) ในทางปฏิบัติ ความคลาดเคลื่อนมาตรฐานของการวัดมีประโยชน์ในการใช้ประมาณค่าความสามารถที่แท้จริงของผู้สอบ เนื่องจากเราไม่สามารถหาค่าความสามารถที่แท้จริงหรือคะแนนจริงของผู้สอบแต่ละคนได้ จึงต้องอาศัยคะแนนที่ได้จากการสังเกตและคะแนนความคลาดเคลื่อนมาตรฐาน เมื่อคำนวณหาค่าความคลาดเคลื่อนมาตรฐานของการวัดของแบบสอบแต่ละฉบับแล้ว จะนำค่าที่ได้มาทำการประมาณค่าความสามารถที่แท้จริง (True score) ของผู้สอบแต่ละคนได้ที่ความเชื่อมั่นแต่ละระดับดังนี้ คะแนนจริง (T) จะอยู่ระหว่าง X  1 SEM ที่ช่วงความเชื่อมั่น 68% คะแนนจริง (T) จะอยู่ระหว่าง X  1.96 SEM ที่ช่วงความเชื่อมั่น 95% คะแนนจริง (T) จะอยู่ระหว่าง X  2.58 SEM ที่ช่วงความเชื่อมั่น 99%

ความคลาดเคลื่อนมาตรฐานของการวัด ตัวอย่าง ความคลาดเคลื่อนมาตรฐานของการวัด ในการสอบกลางภาควิชาการวัดและประเมินการเรียนรู้ ด้วยแบบสอบแบบเลือกตอบหลายตัวเลือก จำนวน 80 ข้อ จากนิสิตทั้งหมดจำนวน 500 คน พบว่า แบบสอบมีค่าความเที่ยงจากการคำนวณด้วยสูตรสัมประสิทธิ์แอลฟาของครอนบาค เท่ากับ 0.85 และมีส่วนเบี่ยงเบนมาตรฐานเท่ากับ 5.5 จงหา 1) ความคลาดเคลื่อนมาตรฐานของการวัดของแบบสอบฉบับนี้ 2) คะแนนที่แท้จริงของนายมโนเทพ ที่ระดับความเชื่อมั่น 99% เมื่อมโนเทพมีผลสอบเท่ากับ 50 คะแนน วิธีทำ: 1) คำนวณหา SEM วิธีทำ: 2) คำนวณหา True score

การวิเคราะห์ข้อสอบ การวิเคราะห์ข้อสอบ มีความสำคัญในการช่วยลดความคลาด เคลื่อนที่เกิดจากการวัด โดยการสร้างข้อสอบให้ตรงกับเนื้อหาที่ ต้องการวัดหรือตรงกับวัตถุประสงค์ ข้อสอบมีความถูกต้องทางภาษา การให้คะแนนมีความเป็นปรนัย ผลการวิเคราะห์ข้อสอบที่ใช้แล้ว หากพบว่ามีคุณภาพดีน่าเชื่อถือ ผู้สอนก็สามารถคัดเลือกข้อสอบดังกล่าวเก็บไว้ในคลังข้อสอบ สำหรับ ใช้ในการทดสอบครั้งต่อไปได้

การวิเคราะห์ข้อสอบ การวิเคราะห์ข้อสอบ ทำได้ 2 ระยะ คือ 1. ก่อนการนำข้อสอบไปใช้ ต้องพิจารณา...  ความตรงเชิงเนื้อหา  รูปแบบข้อสอบ (มีความสอดคล้องกับประเภทของแบบสอบ?)  ความถูกต้องของภาษา (การสะกดคำ, ความชัดเจน, ไม่กำกวม)  ความถูกต้องของตัวเฉลย 2. หลังการนำข้อสอบไปใช้ ต้องพิจารณา...  คุณภาพแบบสอบทั้งฉบับ (ตรวจสอบความเที่ยง, ความตรงตามเกณฑ์ สัมพันธ์, ความตรงตามโครงสร้าง)  คุณภาพข้อสอบรายข้อ (วิเคราะห์ความยาก อำนาจจำแนก ประสิทธิภาพของตัวลวง)

ความยาก (Difficulty) ความยาก (Difficulty) หมายถึง ? สัดส่วนของจำนวนคนที่ตอบข้อสอบข้อนั้นได้ถูกต้องจากคนสอบทั้งหมด ถ้าข้อนั้นมีคนทำถูกน้อย ข้อสอบข้อนั้นก็มีความยากมาก ถ้าข้อนั้นมีคนทำถูกมาก ข้อสอบข้อนั้นก็มีความยากน้อย (ง่าย) เช่น ถ้ามีคนตอบข้อนั้นถูก 20 คน จากคนที่ตอบทั้งหมด 40 คน ข้อสอบข้อนั้นจะมีค่าความยากเท่ากับ 0.50 (20/40) ค่าสัดส่วนนี้เรียกว่าดัชนีความยาก (Index of Difficulty) นิยมแทนด้วยตัวอักษร P

ความยาก (Difficulty) วิธีการหาความยาก 1. ความยากของข้อสอบอิงกลุ่ม 1.1) กรณีข้อสอบแบบเลือกตอบ (ให้คะแนน 0, 1) คัดเลือกข้อสอบที่มีค่า p อยู่ระหว่าง 0.2 ถึง 0.8 สูตรคำนวณดัชนีความยาก มีดังนี้ เมื่อ P แทน ดัชนีความยาก R แทน จำนวนคนที่ตอบข้อนั้นถูก (ทั้งในกลุ่มสูง, ปานกลาง, ต่ำ) N แทน จำนวนผู้ตอบทั้งหมด P = 𝑹 𝑵

ความยาก (Difficulty) วิธีการหาความยาก 1. ความยากของข้อสอบอิงกลุ่ม 1.2) กรณีข้อสอบแบบอัตนัย เมื่อ 𝐗 𝐇 แทน ผลรวมของคะแนนของแต่ละคนในกลุ่มสูง 𝐗 𝐋 แทน ผลรวมของคะแนนของแต่ละคนในกลุ่มต่ำ I แทน คะแนนเต็มในข้อนั้น 𝑵 𝑯 แทน จำนวนคนในกลุ่มสูง 𝑵 𝑳 แทน จำนวนคนในกลุ่มต่ำ P = 𝑿 𝑯 + 𝑿 𝑳 𝑰( 𝑵 𝑯 + 𝑵 𝑳 )

ความยาก (Difficulty) วิธีการหาความยาก 2. ความยากของข้อสอบอิงเกณฑ์ กรณีข้อสอบแบบเลือกตอบ (ให้คะแนน 0, 1) สูตรคำนวณดัชนีความยาก มีดังนี้ หรือ เมื่อ P แทน ดัชนีความยาก R แทน จำนวนคนที่ตอบข้อนั้นถูก N แทน จำนวนคนที่เข้าสอบ pre แทน ช่วงก่อนเรียน post แทน ช่วงหลังรียน 𝑷 𝒑𝒓𝒆 = 𝑹 𝒑𝒓𝒆 𝑵 𝒑𝒓𝒆 𝑷 𝒑𝒐𝒔𝒕 = 𝑹 𝒑𝒐𝒔𝒕 𝑵 𝒑𝒐𝒔𝒕

อำนาจจำแนก (Discrimination) สัดส่วนของผลต่างระหว่างจำนวนผู้ตอบถูกในกลุ่มที่ได้คะแนนสูง (กลุ่มสูง)กับกลุ่มที่ได้คะแนนน้อย (กลุ่มต่ำ) ซึ่งแสดงถึง ความสามารถของข้อสอบในการจำแนกหรือแยกความแตกต่าง ระหว่างคนเก่งกับคนอ่อน หรือคนที่รู้กับไม่รู้ออกจากกันได้ แทนด้วยอักษร r มีค่าระหว่าง –1.0 จนถึง +1.0 ถ้ามีค่าใกล้ 0 แปลว่า มีอำนาจจำแนกน้อย ถ้ามีค่าใกล้ +1.0 แปลว่า มีอำนาจจำแนกมาก ข้อคำถามที่ดีจะต้องมีค่าอำนาจจำแนกเป็นบวก ค่าติดลบข้อคำถามนั้นจะมีอำนาจจำแนกกลับกัน ข้อคำถามที่ดีจะต้องมีค่าอำนาจจำแนกตั้งแต่ 0.2 ขึ้นไป และมีค่ายิ่งมากยิ่งดี

อำนาจจำแนก (Discrimination) 2.1 การหาอำนาจจำแนกแบบอิงกลุ่ม - เรียงคะแนนจากสูงสุดจนถึงต่ำสุด, แบ่งเป็น กลุ่มเก่งกับกลุ่มอ่อน 1) กรณีข้อสอบแบบเลือกตอบ การใช้เทคนิค 50% *นิยมใช้เมื่อผู้สอบมีจำนวนน้อย เช่น 30 คน การใช้เทคนิค 27% ของ จุง เตห์ ฟาน (Jung The Fan) ใช้ได้กับ การวิเคราะห์ข้อสอบที่มีผู้เข้าสอบจำนวนมาก (ประมาณ 300 คนขึ้นไป) การใช้เทคนิค 33% เป็นเทคนิคอย่างง่าย ใช้ได้กับการวิเคราะห์ ข้อสอบที่มีผู้เข้าสอบจำนวนมาก r = 𝑹 𝑯 𝑵 𝑯 − 𝑹 𝑳 𝑵 𝑳 r = 𝑹 𝑯 − 𝑹 𝑳 𝑵 𝑯 𝒐𝒓 𝑳

อำนาจจำแนก (Discrimination) 2.1 การหาอำนาจจำแนกแบบอิงกลุ่ม 2) กรณีข้อสอบแบบอัตนัย r = 𝑿 𝑯 − 𝑿 𝑳 𝑰[ 𝑵 𝑯 + 𝑵 𝑳 𝟐 ] เมื่อ 𝐗 𝐇 แทน ผลรวมของคะแนนของแต่ละคนในกลุ่มสูง 𝐗 𝐋 แทน ผลรวมของคะแนนของแต่ละคนในกลุ่มต่ำ I แทน คะแนนเต็มในข้อนั้น 𝑵 𝑯 แทน จำนวนคนในกลุ่มสูง 𝑵 𝑳 แทน จำนวนคนในกลุ่มต่ำ

อำนาจจำแนก (Discrimination) B = 𝑹 𝒑𝒂𝒔𝒔 𝑵 𝒑𝒂𝒔𝒔 − 𝑹 𝒇𝒂𝒊𝒍 𝑵 𝒇𝒂𝒊𝒍 2.2 การหาอำนาจจำแนกแบบอิงเกณฑ์ 1) ดัชนีอำนาจจำแนกของเบรนเนน (Brennan) หรือ B-index ใช้ได้กับการวิเคราะห์ข้อสอบที่มีผู้เข้าสอบจำนวนมากกว่า 300 คน 2) ดัชนีความไวของข้อสอบ** เมื่อ S คือ ค่าดัชนีความไวในการจำแนกกลุ่มของผู้สอบ Rpost คือ จำนวนคนตอบถูกหลังเรียน Rpre คือ จำนวนคนตอบถูกก่อนเรียน I คือ คะแนนเต็มในข้อนั้น B = 𝑹 𝒑𝒂𝒔𝒔 𝑵 𝒑𝒂𝒔𝒔 − 𝑹 𝒇𝒂𝒊𝒍 𝑵 𝒇𝒂𝒊𝒍 S = 𝑹 𝒑𝒐𝒔𝒕 − 𝑹 𝒑𝒓𝒆 𝑵 S = 𝑹 𝒑𝒐𝒔𝒕 − 𝑹 𝒑𝒓𝒆 𝑵(𝑰)

ดัชนีความไว (Index of Sensitivity: S) ดัชนีความไว หมายถึง ความสามารถของข้อสอบในการจำแนกความ แตกต่างระหว่างผู้ที่รอบรู้ (ได้รับประสบการณ์ในการเรียนการสอนแล้ว) กับผู้ที่ ไม่รอบรู้ (ก่อนได้รับประสบการณ์ในการเรียนการสอน) จึงนิยมใช้ค่าความไวใน การหาคุณภาพข้อสอบของแบบสอบอิงเกณฑ์มากกว่าที่จะหาค่าความยากและ อำนาจจำแนก เกณฑ์การพิจารณา ความไว (S) ความหมาย > 0.5 มีความไวสูง ข้อสอบมีคุณภาพดี หลังเรียนมีผู้เรียนตอบถูกมากกว่าก่อนเรียนเป็นจำนวนมาก 0.01 - 0.50 มีความไวต่ำถึงปานกลาง ข้อสอบมีคุณภาพน้อยถึงปานกลาง หลังเรียนผู้เรียนตอบถูกมากกว่าก่อนเรียนเป็นจำนวนไม่มาก 0.00 ข้อสอบไม่มีคุณภาพ ไม่มีความแตกต่างระหว่างก่อนเรียนและหลังเรียน < 0.00 ข้อสอบไม่มีคุณภาพ ก่อนเรียนผู้เรียนตอบถูกมากกว่าหลังเรียน

เกณฑ์ในการแปลความหมายของค่าความยากและอำนาจจำแนก ความยากของข้อสอบ (P) ความหมาย 0.81 – 1.00 ง่ายมาก (ควรตัดทิ้ง/ปรับปรุง) 0.61 – 0.80 ค่อนข้างง่าย 0.40 – 0.60 ปานกลาง 0.20 – 0.39 ค่อนข้างยาก 0 – 0.19 ยากมาก (ควรตัดทิ้ง/ปรับปรุง) ค่าอำนาจจำแนกของข้อสอบ (r) ความหมาย 0.61 – 1.00 ดีมาก 0.40 – 0.60 ดี 0.20 – 0.39 พอใช้ได้ 0.00 – 0.19 จำแนกได้ต่ำ ควรตัดทิ้ง/ปรับปรุง ต่ำกว่า 0.00 จำแนกไม่ได้ ควรตัดทิ้ง/ปรับปรุง

ประสิทธิภาพของตัวลวง ประสิทธิภาพของตัวลวง หมายถึง ความสามารถของตัวลวงในการจูงใจให้มีผู้เลือกตอบ โดยควรจูงใจให้ผู้สอบกลุ่มที่มีผลสัมฤทธิ์ต่ำเลือกตอบมากกว่ากลุ่มที่มีผลสัมฤทธิ์สูง ความยากของตัวลวง (PW) ความหมาย เท่ากับ 0.00 ใช้ไม่ได้ เพราะไม่มีคนเลือก มากกว่า 0.00 ใช้ได้ เพราะมีคนเลือก ค่าอำนาจจำแนกของข้อสอบ (rW) ความหมาย น้อยกว่า 0.00 (ติดลบ) ใช้ได้ เพราะลวงให้คนกลุ่มต่ำตอบมากกว่าคนกลุ่มสูง เท่ากับ 0.00 ใช้ไม่ได้ เพราะคนกลุ่มต่ำตอบเท่ากับคนกลุ่มสูง มากกว่า 0.00 ใช้ไม่ได้ เพราะคนกลุ่มสูงตอบมากกว่าคนกลุ่มต่ำ

เกณฑ์การคัดเลือกข้อสอบที่ดี ค่า r ค่า P 1.00 0.80 0.20

ความเป็นปรนัย (Objectivity) คุณภาพของเครื่องมือการวิจัยที่มีคุณลักษณะ 3 ประการ คือ (1) คำถามมีความชัดเจน (2) การตรวจให้คะแนน มีเกณฑ์ที่แน่นอน ผลการตรวจต้องเหมือนกัน (3) การแปลความหมายของคะแนน มีความถูกต้องตามหลักวิชาการ นำข้อมูลคำถามไปทดลองใช้ โดยอาจให้นักเรียนทดลองอ่าน แล้วถามความเข้าใจว่าตรงตามที่ผู้สร้างต้องการหรือไม่ นำไปให้ครูคนอื่น ๆ ทดลองใช้ ตรวจให้คะแนน และแปลความหมายของคะแนนว่าตรงตามที่ผู้สร้างต้องการหรือไม่ ถ้าเข้าใจตรงกันทั้ง 3 ประเด็น ก็มีความเป็นปรนัย วิธีการหาความเป็นปรนัย

แบบฝึกหัด จงคำนวณหาค่าความยากและอำนาจจำแนกของข้อสอบ พร้อมทั้งแปลความหมายและสรุปผล ข้อที่ ตัวเลือก H (10) M (20) L (10) P r ความหมาย สรุป 1 ก 2 10 4 ข 5 ค* ง 3 ค ง* 9 14 ก* 6 7