การสร้างและการหาคุณภาพเครื่องมือวิจัย

งานนำเสนอเรื่อง: "การสร้างและการหาคุณภาพเครื่องมือวิจัย"— ใบสำเนางานนำเสนอ:

1 การสร้างและการหาคุณภาพเครื่องมือวิจัย
เชาวรัตน์ เตมียกุล สาขาวิจัยและพัฒนาหลักสูตร มหาวิทยาลัยเทคโนโลยีพระจอมเกล้าพระนครเหนือ

2 เครื่องมือที่ใช้ในงานวิจัย
1. นวัตกรรม (innovation) - สื่อสิ่งประดิษฐ์ (invention) - เทคนิค วิธีการ (instruction) 2. เครื่องมือเก็บรวบรวมข้อมูล - แบบสอบถาม - แบบทดสอบ เชาวรัตน์ เตมียกุล

3 การศึกษาแนวคิดทฤษฎีที่เกี่ยวข้อง กับการสร้างนวัตกรรม
การวิเคราะห์ปัญหา/ ความต้องการจำเป็น การศึกษาแนวคิดทฤษฎีที่เกี่ยวข้อง กับการสร้างนวัตกรรม การสร้างและพัฒนา นวัตกรรม การออกแบบการทดลอง นวัตกรรม การพัฒนาเครื่องมือวัด การทดลอง/วิเคราะห์/สรุปผล เชาวรัตน์ เตมียกุล แผนภาพ การสร้างและพัฒนานวัตกรรม

4 เครื่องมือวัดทางการศึกษา 11 ชนิด
เครื่องมือวัดทางการศึกษา 11 ชนิด 1. แบบทดสอบ (Test) 2. มาตราจัดอันดับคุณภาพ (Rating Scale) แบบสอบถาม (Questionaire) 4. แบบตรวจสอบรายการ (Checklist) 5. แบบสำรวจ (Inventory) เชาวรัตน์ เตมียกุล

5 เครื่องมือวัดทางการศึกษา 11 ชนิด (ต่อ)
เครื่องมือวัดทางการศึกษา 11 ชนิด (ต่อ) 6. แบบสังเกตุ (Observation) 7. แบบสัมภาษณ์ (Interview) 8. การบันทึก (Record) สังคมมิติ (Sociometry) การศึกษาเป็นรายกรณี (Case study) กลวิธีให้ระบายความในใจ (Projective Technique) เชาวรัตน์ เตมียกุล

6 เครื่องมือที่ใช้ในงานวิจัย
แบบทดสอบ แบบสอบวัด มีส่วนร่วม ไม่มีส่วนร่วม วิธีการสอบ แบบสังเกต เครื่องมือเก็บ รวบรวมข้อมูล วิธีการสอบถาม วิธีการสังเกต เขียนตอบ สัมภาษณ์ แบบบันทึก ปลายเปิด ปลายปิด มีโครงสร้าง ไม่มีโครงสร้าง เชาวรัตน์ เตมียกุล

7 แนวทางในการเลือกใช้เครื่องมือวิจัยนวัฒกรรม
การสังเกต เหมาะกับการวิจัยเชิงบรรยาย/ทดลอง ข้อดี – เก็บกับข้อมูลโดยตรงเหมาะสม กับบุคคลที่ไม่ค่อยมีเวลา การสัมภาษณ์ เป็นการหาข้อมูลจากการสนทนา อย่างมีความหมาย ข้อดี – ได้ข้อมูลละเอียด ลึกซึ้ง  การใช้แบบสอบถาม ไม่มีคำตอบถูกผิด สามารถตอบได้หลายประเด็น ข้อดี – เข้าถึงกลุ่มเป้าหมายจำนวนมาก และ รักษาความลับของแต่ละบุคคลได้ เชาวรัตน์ เตมียกุล

8 ขั้นตอนการสร้างแบบสังเกต, แบบสัมภาษณ์, แบบสอบถาม
ขั้นตอนการสร้างแบบสังเกต, แบบสัมภาษณ์, แบบสอบถาม สร้างข้อคำถาม ผู้เชี่ยวชาญ (content validity) แก้ไข ปรับปรุง try out หา reliability (กรณี rating scale) ปรับปรุงข้อคำถาม นำไปใช้เก็บข้อมูลกับกลุ่มตัวอย่างจริง เชาวรัตน์ เตมียกุล

9 การตรวจสอบคุณภาพเครื่องมือที่ใช้ในงานวิจัย
ความเป็นปรนัย การตรวจสอบ เครื่องมือวิจัย เชื่อมั่น ตรงเนื้อหา ความเที่ยง ความตรง แบบสอบถาม แบบทดสอบ ตรงโครงสร้าง สัมประสิทธิ์อัลฟ่า ยาก ตรงพยากรณ์ อำนาจจำแนก I O C เชาวรัตน์ เตมียกุล

10 การหาคุณภาพของเครื่องมือที่ใช้ในการวิจัย
เครื่องมือที่ใช้ในการเก็บรวบรวมข้อมูล แบบสอบถาม แบบสังเกต แบบสัมภาษณ์ แบบทดสอบ เครื่องมือวัดต่าง ๆ เครื่องมือที่ใช้ในการวิจัย ก่อนที่จะนำไปใช้เก็บข้อมูลจริง จะต้องผ่านการตรวจหาคุณภาพก่อน เพื่อให้แน่ใจว่าเป็น เครื่องมือที่มีคุณภาพ สามารถวัดในสิ่งที่ต้องการจะวัดได้ คุณภาพของเครื่องมือมี 5 องค์ประกอบ : 1. ความเที่ยงตรง (Validity) ความเชื่อมั่น (Reliability) ความยากง่าย (Difficulty) อำนาจจำแนก (Discrimination) ความเป็นปรนัย (Objectivity) เชาวรัตน์ เตมียกุล

11 ความยากง่าย (Difficulty)
ระดับความยากง่ายของข้อสอบ หากผู้เรียนทำได้มาก แสดงว่าง่าย หากผู้เรียนทำได้น้อย แสดงว่ายาก ค่า P ที่ใช้ได้ก็คือ ค่า P ที่เหมาะสม คือ สูตรที่ใช้คือ P = ความยากง่าย R = จำนวนผู้เรียนที่ตอบคำถามข้อนั้นถูกต้อง N = จำนวนผู้เรียนทั้งหมด เชาวรัตน์ เตมียกุล

12 การหาค่าอำนาจจำแนก การตรวจให้คะแนน
นำแบบทดสอบไปใช้กับกลุ่มตัวอย่างแล้วตรวจให้คะแนน เรียงลำดับคะแนนจากสูงไปต่ำ คัดเลือกออกมา 25% จากกลุ่มสูงเป็นกลุ่มเก่ง คัดเลือก 25%จากกลุ่มล่างเป็นกลุ่มอ่อน แทนค่าในสูตร r หรือ D Ru = จำนวนกลุ่มตัวอย่างที่ถูกในกลุ่มเก่ง RL = จำนวนกลุ่มตัวอย่างที่ถูกในกลุ่มอ่อน N = จำนวนกลุ่มตัวอย่างทั้งหมด เชาวรัตน์ เตมียกุล

13 การหาค่าอำนาจจำแนก การใช้ตารางสำเร็จรูปของจุงเตฟาน
นำแบบทดสอบไปใช้กับกลุ่มตัวอย่างแล้วตรวจให้คะแนน เรียงลำดับคะแนนจากสูงไปต่ำ คัดเลือกออกมา 27% จากกลุ่มสูงเป็นกลุ่มเก่ง คัดเลือก 27%จากกลุ่มล่างเป็นกลุ่มอ่อน แทนค่าในสูตรการใช้สัดส่วน จากนั้นเปิดตารางสำเร็จรูปเพื่อหาค่าอำนาจจำแนก เชาวรัตน์ เตมียกุล

14 การหาค่าอำนาจจำแนก การหาค่าสหสัมพันธ์ Point-Biserial Correlation
คำตอบถูกเป็น 1 และผิดเป็น 0 แล้วนำมาแทนค่าในสูตร = ค่าเฉลี่ยของกลุ่มตัวอย่างที่ทำข้อสอบนั้นได้ = ค่าเฉลี่ยของกลุ่มตัวอย่างที่ทำข้อสอบนั้นไม่ได้ = ค่าเบี่ยงเบนมาตรฐาน = สัดส่วนของกลุ่มตัวอย่างที่ทำข้อสอบนั้นได้ = สัดส่วนของกลุ่มตัวอย่างที่ทำข้อสอบนั้นไม่ได้ St p q เชาวรัตน์ เตมียกุล

15 ค่าอำนาจจำแนก (Discrimination)
D > : ดีมาก D > : ดี D > : พอใช้ได้ D < : ยังต้องปรับปรุง D ติดลบ : ใช้ไม่ได้ ต้องตัดทิ้ง เชาวรัตน์ เตมียกุล

16 การวิเคราะห์ดัชนีการวัดผลการสอบ ค่า S ที่เหมาะสม = 0.5 ขึ้นไป
ประสิทธิภาพในการจำแนก ผู้เรียนรู้แล้วกับผู้ที่ยังไม่เรียนรู้ T S = Rpost - Rpre Rpre = จำนวนผู้ทดสอบที่ตอบถูกก่อนเรียน Rpost = จำนวนผู้ทดสอบที่ตอบถูกหลังเรียน S = ดัชนีในการวัดผลการสอบ T = จำนวนผู้ทดสอบทั้งหมด ค่า S ที่เหมาะสม = 0.5 ขึ้นไป เชาวรัตน์ เตมียกุล

17 การวิเคราะห์ดัชนีการวัดผลการสอบ
ข้อที่ นักศึกษาจำนวน 20 คน ตอบถูก ผลการวิเคราะห์ข้อมูล ก่อนเรียน Rpre หลังเรียน Rpost 1 5 17 0.60 เป็นข้อสอบที่ดี 2 12 0.25 เป็นข้อสอบไม่ดี 3 18 0.75 4 19 0.80 14 T Rpost- Rpre เชาวรัตน์ เตมียกุล

18 แบบทดสอบ (Test) เครื่องมือวัดความรู้ ทักษะ ประสบการณ์ สติปัญญา หรือความถนัดของผู้เข้าทดสอบ และให้ผลเป็นตัวเลข จำแนกเป็น 3 ประเภท แบบทดสอบวัดผลสัมฤทธิ์ทางการเรียน (achievement test) แบบทดสอบวัดบุคลิกภาพ (personality test) แบบทดสอบวัดความถนัด (aptitude test) เชาวรัตน์ เตมียกุล

19 ความเป็นปรนัย (Objectivity)
ความชัดเจนของแบบทดสอบหรือคำถามที่ทุกคนเข้าใจตรงกัน รวมทั้งการตรวจให้คะแนนมีเกณฑ์ที่แน่นอน ความเป็นปรนัย มีองค์ประกอบ 3 ประการ : ความแจ่มชัดในความหมายของแบบทดสอบ ความแจ่มชัดในวิธีการตรวจให้คะแนน ความแจ่มชัดในการแปลความหมายของคะแนน การหาความเป็นปรนัยที่นิยมปฏิบัติกัน คือ ให้ผู้เชี่ยวชาญพิจารณาและตรวจสอบ(IOC) เชาวรัตน์ เตมียกุล

20 ความตรง (Validity) ความสอดคล้องหรือความเหมาะสมของผลการวัดกับเนื้อเรื่อง หรือเกณฑ์ หรือทฤษฎีที่เกี่ยวกับลักษณะที่มุ่งวัด จำแนกเป็น 4 ประเภท :  ความตรงตามเนื้อหา (Content Validity) ความสามารถในการวัดกลุ่มเนื้อหาที่ต้องการจะวัดได้ครอบคลุมและเป็นตัวแทนของสิ่งที่ต้องการวัด เช่น วัดความสามารถในการท่องศัพท์ วัดทักษะด้านต่าง ๆ เชาวรัตน์ เตมียกุล

21 การหาความตรงเชิงเนื้อหา
ทำได้โดยการหาค่าดัชนีความสอดคล้อง (Index of Item-Objective Congruence: IOC ) โดยผู้เชี่ยวชาญ R = ผลรวมคะแนนจากผู้เชี่ยวชาญ N = จำนวนผู้เชี่ยวชาญทั้งหมด ค่า IOC  0.5 IOC ที่เหมาะสม=0.5 ขึ้นไป เชาวรัตน์ เตมียกุล

22 โดยที่ n = จำนวนผู้เชี่ยวชาญ IOC ที่เหมาะสม=0.5 ขึ้นไป
ใบงานภาคปฏิบัติ การหาความสอดคล้องของวัตถุประสงค์และเนื้อหา (IOC) โดยผู้เชี่ยวชาญจำนวน 5 ท่าน ผู้เชี่ยวชาญ โดยที่ n = จำนวนผู้เชี่ยวชาญ เชาวรัตน์ เตมียกุล IOC ที่เหมาะสม=0.5 ขึ้นไป

23 การตรวจสอบคุณภาพเครื่องมือการวิจัยโดยใช้สถิติ
ความตรง การหาค่าดัชนีความสอดคล้อง (IOC) การหาอัตราส่วนความตรงเชิงเนื้อหา (content validity ratio : CVR)

24 การหาอัตราส่วนความตรงเชิงเนื้อหา
CVR อัตราส่วนความตรงเชิงเนื้อหา ของ Lawshe (1970) Ne จำนวนผู้เชี่ยวชาญที่เห็นด้วย หรือ เห็นว่าเหมาะสม N จำนวนผู้เชี่ยวชาญทั้งหมด

25 อัตราส่วนความตรงเชิงเนื้อหาต่ำสุดที่ผ่านเกณฑ์
จำนวนผู้เชี่ยวชาญ ค่าCVR ต่ำสุด 5 .99 11 .59 25 .37 6 12 .56 30 .33 7 .75 13 .54 35 .31 8 .78 14 .51 40 .29 9 15 .49 10 .62 20 .42

26 ความตรง (Validity) ความตรงตามโครงสร้าง (Construct Validity) :
ความสามารถของเครื่องมือวัดที่วัดได้ตรงตามสิ่งที่ต้องการวัด โดยผลการวัดมีความสอดคล้องกับโครงสร้าง/ทฤษฎี ของลักษณะที่มุ่งวัดนั้น จำแนกได้ 3 วิธี : 1. การหาค่าสัมประสิทธิ์สหสัมพันธ์ (Correlation Coefficient) หาความสัมพันธ์ของแบบทดสอบ 2 ชุดที่วัดในเรื่องเดียวกัน 2. เปรียบเทียบกับกลุ่มที่มีลักษณะต้องการวัด อย่างเด่นชัด (Know Group Technique) โดยใช้การเปรียบเทียบด้วย t-test 3. การวิเคราะห์องค์ประกอบ เชาวรัตน์ เตมียกุล

27 ความตรง (Validity)  ความตรงตามสภาพ (Concurrent Validity) :
ความสามารถในการวัดลักษณะที่สนใจได้ตรงตามสภาพของสิ่งนั้น เช่น ผู้ที่เรียนเก่งที่สุดต้องทำแบบทดสอบได้คะแนนสูงสุด การหาความตรงตามสภาพ การคำนวณค่าสัมประสิทธิ์สหสัมพันธ์ระหว่างคะแนนที่วัดได้กับคะแนนที่วัดได้จากเครื่องมือมาตรฐานอื่นซึ่งสามารถวัดสิ่งนั้นได้ในสภาพปัจจุบัน เชาวรัตน์ เตมียกุล

28 ความตรง (Validity)  ความตรงเชิงพยากรณ์ (Predictive Validity) :
ความสามารถในการวัดลักษณะที่สนใจได้ตรงตามลักษณะของสิ่งนั้นที่จะเกิดขึ้นในอนาคต การหาความตรงเชิงพยากรณ์ การคำนวณค่าสัมประสิทธิ์สหสัมพันธ์ระหว่างคะแนนที่วัดได้กับคะแนนที่วัดได้จากเครื่องมือมาตรฐานอื่นซึ่งสามารถวัดสิ่งนั้นที่จะเกิดในอนาคต เชาวรัตน์ เตมียกุล

29 ความเชื่อมั่น (Reliability)
ความคงเส้นคงวาหรือความคงที่ของผลที่ได้จากการวัดซ้ำ วิธีการหาความเชื่อมั่น : 1. การทดสอบซ้ำ (Test-Retest) 2. การใช้ข้อสอบเหมือนกัน (Equiv.-Form Reliability) 3. การทดสอบแบบแบ่งครึ่ง (Spilt Half Reliability) 4. การหาความคงที่ภายในโดยใช้สูตร Kuder-Richardson KR-20, KR-21 5. การทดสอบวิธีสัมประสิทธิ์แอลฟา เชาวรัตน์ เตมียกุล

30 ความเชื่อมั่น (Reliability)
การทดสอบซ้ำ Test-Retest Reliability ความคงเส้นคงวาของคะแนนจากการวัดในช่วงเวลาที่ต่างกันโดยวิธีสอบซ้ำด้วยแบบทดสอบเดิม การหาค่าความเชื่อมั่น: การทดสอบซ้ำ ใช้การคำนวณค่าสัมประสิทธิ์สหสัมพันธ์ระหว่างคะแนนที่วัดได้จากคนกลุ่มเดียวกันด้วยเครื่องมือเดียวกัน โดยทำการวัดสองครั้งในเวลาที่ต่างกัน เชาวรัตน์ เตมียกุล

31 ความเชื่อมั่น (Reliability)
การทดสอบแบบใช้ข้อสอบเหมือนกัน Equivalent-Forms Reliability ความสอดคล้องกันของคะแนนจากการวัดในช่วงเวลาเดียวกันโดยใช้แบบทดสอบที่สมมูลกัน การหาค่าความเชื่อมั่น: การทดสอบแบบใช้ข้อสอบเหมือนกัน ใช้การคำนวณค่าสัมประสิทธิ์สหสัมพันธ์ระหว่างคะแนนที่วัดได้จากคนกลุ่มเดียวกันด้วยเครื่องมือ 2 ฉบับที่ทัดเทียมกัน เชาวรัตน์ เตมียกุล

32 ความเชื่อมั่น (Reliability)
การทดสอบแบบการทดสอบแบบแบ่งครึ่ง (Split-Half Reliability ) เป็นการหาความเชื่อมั่นโดยการหาความคงที่ภายใน โดยใช้แบบทดสอบชุดเดียวและสอบครั้งเดียวแต่แบ่งข้อสอบเป็น 2 ส่วน คือ ข้อคู่ และข้อคี่ การหาค่าความเชื่อมั่น: การทดสอบแบบแบ่งครึ่ง ใช้การคำนวณค่าสัมประสิทธิ์สหสัมพันธ์ระหว่างคะแนนที่วัดได้จากการแบ่งครึ่งข้อสอบที่สมมูลกันโดยใช้สูตร Spearman Brown เชาวรัตน์ เตมียกุล

33 ความเชื่อมั่น (Reliability)
การทดสอบโดยการหาความคงที่ภายใน Kuder-Richardson Reliability เป็นการหาความเชื่อมั่นโดยการทดสอบว่าแบบทดสอบหรือแบบสอบถามแต่ละข้อมีความสัมพันธ์กับข้ออื่น ๆ ในฉบับเดียวกันหรือไม่ การหาค่าความเชื่อมั่น: การคำนวณค่าสถิติของคะแนนรายข้อ (ให้คะแนนแบบ 0-1) และคะแนนรวมใช้สูตร Kuder-Richardson (KR-20, KR-21) เชาวรัตน์ เตมียกุล

34 ความเชื่อมั่น (Reliability)
การทดสอบโดยวิธีหาสัมประสิทธิ์แอลฟ่า Alpha Coefficient Reliability เป็นการหาความเชื่อมั่นโดยการทดสอบว่าแบบสอบถามแต่ละข้อมีความสัมพันธ์กับข้ออื่น ๆ ในฉบับเดียวกันหรือไม่ (คะแนนตั้งแต่ 0-...) การหาค่าความเชื่อมั่นแบบสอบถามทั้งฉบับ การคำนวณค่าสถิติของคะแนนรวมทั้งฉบับโดยใช้สูตรคำนวณสัมประสิทธิ์แอลฟ่าของครอนบาค(Cronbach Alpha Coefficient Reliability ) เชาวรัตน์ เตมียกุล

35 สรุปคุณภาพนวัตกรรม ต้องมีคุณภาพเข้าเกณฑ์ ดังนี้
ผลการประเมินโดยผู้เชี่ยวชาญ ระดับมาก (3.5 ขึ้นไป) ค่าดัชนีประสิทธิผล(E.I.) 0.5 ขึ้นไป ประสิทธิภาพ E1/ E2 สูงกว่าเกณฑ์ ที่กำหนด สปส.ความแปรผัน C.V. ต่ำกว่าร้อยละ 10 เชาวรัตน์ เตมียกุล

36 สรุปคุณภาพเครื่องมือเก็บรวบรวมข้อมูล
ทุกข้อต้องมีคุณภาพเข้าเกณฑ์ในด้าน - ค่าความยาก (p) - จำแนก (r) ขึ้นไป - ค่าดัชนีความสอดคล้อง (IOC) โดย ผู้เชี่ยวชาญ 0.5 ขึ้นไป ค่าดัชนีการวัดผลการสอบ (S) ที่เหมาะสม = 0.5 ขึ้นไป เมื่อรวมเป็นฉบับ มีค่าความเชื่อมั่นทั้งฉบับ 0.8 ขึ้นไป เชาวรัตน์ เตมียกุล

37 สวัสดี เชาวรัตน์ เตมียกุล สาขาวิจัยและพัฒนาหลักสูตร
มหาวิทยาลัยเทคโนโลยีพระจอมเกล้าพระนครเหนือ