การสร้างและการหาคุณภาพเครื่องมือวิจัย

งานนำเสนอเรื่อง: "การสร้างและการหาคุณภาพเครื่องมือวิจัย"— ใบสำเนางานนำเสนอ:

1 การสร้างและการหาคุณภาพเครื่องมือวิจัย
เชาวรัตน์ เตมียกุล สาขาวิจัยและพัฒนาหลักสูตร มหาวิทยาลัยเทคโนโลยีพระจอมเกล้าพระนครเหนือ

2 เครื่องมือที่ใช้ในงานวิจัย
1. นวัตกรรม (innovation) - สื่อสิ่งประดิษฐ์ (invention) - เทคนิค วิธีการ (instruction) 2. เครื่องมือเก็บรวบรวมข้อมูล - แบบสอบถาม - แบบทดสอบ เชาวรัตน์ เตมียกุล

3 การศึกษาแนวคิดทฤษฎีที่เกี่ยวข้อง กับการสร้างนวัตกรรม
การวิเคราะห์ปัญหา/ ความต้องการจำเป็น การศึกษาแนวคิดทฤษฎีที่เกี่ยวข้อง กับการสร้างนวัตกรรม การสร้างและพัฒนา นวัตกรรม การออกแบบการทดลอง นวัตกรรม การพัฒนาเครื่องมือวัด การทดลอง/วิเคราะห์/สรุปผล เชาวรัตน์ เตมียกุล แผนภาพ การสร้างและพัฒนานวัตกรรม

4 การหาคุณภาพนวัตกรรม สปส.ความแปรผัน การตรวจสอบ c.v. โดยผู้เชี่ยวชาญ
การหาดัชนี ประสิทธิผล (E.I.) การหาประสิทธิภาพ E1/ E2 เชาวรัตน์ เตมียกุล

5 การหาคุณภาพนวัตกรรมโดยผู้เชี่ยวชาญ
การตรวจสอบ โดยผู้เชี่ยวชาญ ด้านจุดประสงค์นวัตกรรม ด้านคำแนะนำการใช้ ด้านเนื้อหาสาระ ด้านกิจกรรมการเรียนรู้ ด้านการประเมินผล อื่น ๆ แบบประเมินมาตราส่วนประมาณค่า (Rating Scale) เชาวรัตน์ เตมียกุล

6 การหาดัชนีประสิทธิผล (E.I.)
วิเคราะห์จากคะแนนเฉลี่ยที่ผู้เรียนทำได้กับคะแนนเต็มทั้งก่อนเรียนและหลังเรียน ค่าดัชนีประสิทธิผล = คะแนนเฉลี่ยหลังเรียน - คะแนนเฉลี่ยก่อนเรียน คะแนนเต็มหลังเรียน - คะแนนเฉลี่ยก่อนเรียน * เกณฑ์ประสิทธิผล ขึ้นไป เชาวรัตน์ เตมียกุล

7 * เกณฑ์ประสิทธิผล .50 ขึ้นไป
การหาดัชนีประสิทธิผล (E.I.) คนที่ คะแนนก่อนเรียน คะแนนหลังเรียน เฉลี่ย ดัชนีประสิทธิผล = 10 – 4.6 = = 0.59 5.4 * เกณฑ์ประสิทธิผล ขึ้นไป เชาวรัตน์ เตมียกุล

8 การหาประสิทธิภาพนวัตกรรม (E1 / E2)
เก่ง 1 /ปานกลาง 1/ อ่อน 1 ทดลอง 1 : 1 ปรับปรุง เก่ง 3/ปานกลาง 3 / อ่อน 3 ทดลองกลุ่มย่อย ปรับปรุง ทดลองกลุ่มใหญ่ 30 คน ขึ้นไป ประสิทธิภาพ E1 / E2 เชาวรัตน์ เตมียกุล

9 แสดงผลการทดลองจัดการเรียนรู้กับกลุ่มทดลอง
หน่วยเรียนที่ คะแนนกิจกรรม ระหว่างเรียน E1(%) คะแนนทดสอบ หลังเรียน E2(%) 1 85.56 84.07 2 86.67 3 82.22 83.33 4 84.44 5 83.70 6 84.80 7 84.47 8 85.16 84.24 9 10 86.30 84.81 เฉลี่ย 85.00 84.30 เชาวรัตน์ เตมียกุล

10 สัมประสิทธิ์ความแปรผัน (Coefficient of variation : c.v.)
ดูประสิทธิภาพการสอน ประสิทธิภาพการสอนหลังใช้นวัตกรรม โดยใช้ C.V. = X S.D.

11 ค่า C.V. ที่คำนวณได้ ถ้าค่า C.V. ที่คำนวณได้ต่ำกว่า ร้อยละ 10
หมายถึง การสอนมีระดับคุณภาพดี ถ้าค่า C.V. ที่คำนวณได้อยู่ระหว่าง ร้อยละ 10-15 หมายถึง การสอนมีระดับคุณภาพปานกลาง ถ้าค่า C.V. ที่คำนวณได้สูงกว่า ร้อยละ 15 หมายถึง ต้องปรับปรุงการสอน

12 เครื่องมือวัดทางการศึกษา 11 ชนิด
เครื่องมือวัดทางการศึกษา 11 ชนิด 1. แบบทดสอบ (Test) 2. มาตราจัดอันดับคุณภาพ (Rating Scale) แบบสอบถาม (Questionaire) 4. แบบตรวจสอบรายการ (Checklist) 5. แบบสำรวจ (Inventory) เชาวรัตน์ เตมียกุล

13 เครื่องมือวัดทางการศึกษา 11 ชนิด (ต่อ)
เครื่องมือวัดทางการศึกษา 11 ชนิด (ต่อ) 6. แบบสังเกตุ (Observation) 7. แบบสัมภาษณ์ (Interview) 8. การบันทึก (Record) สังคมมิติ (Sociometry) การศึกษาเป็นรายกรณี (Case study) กลวิธีให้ระบายความในใจ (Projective Technique) เชาวรัตน์ เตมียกุล

14 เครื่องมือที่ใช้ในงานวิจัย
แบบทดสอบ แบบสอบวัด มีส่วนร่วม ไม่มีส่วนร่วม วิธีการสอบ แบบสังเกต เครื่องมือเก็บ รวบรวมข้อมูล วิธีการสอบถาม วิธีการสังเกต เขียนตอบ สัมภาษณ์ แบบบันทึก ปลายเปิด ปลายปิด มีโครงสร้าง ไม่มีโครงสร้าง เชาวรัตน์ เตมียกุล

15 แนวทางในการเลือกใช้เครื่องมือวิจัยนวัฒกรรม
การสังเกต เหมาะกับการวิจัยเชิงบรรยาย/ทดลอง ข้อดี – เก็บกับข้อมูลโดยตรงเหมาะสม กับบุคคลที่ไม่ค่อยมีเวลา การสัมภาษณ์ เป็นการหาข้อมูลจากการสนทนา อย่างมีความหมาย ข้อดี – ได้ข้อมูลละเอียด ลึกซึ้ง  การใช้แบบสอบถาม ไม่มีคำตอบถูกผิด สามารถตอบได้หลายประเด็น ข้อดี – เข้าถึงกลุ่มเป้าหมายจำนวนมาก และ รักษาความลับของแต่ละบุคคลได้ เชาวรัตน์ เตมียกุล

16 ขั้นตอนการสร้างแบบสังเกต, แบบสัมภาษณ์, แบบสอบถาม
ขั้นตอนการสร้างแบบสังเกต, แบบสัมภาษณ์, แบบสอบถาม สร้างข้อคำถาม ผู้เชี่ยวชาญ (content validity) แก้ไข ปรับปรุง try out หา reliability (กรณี rating scale) ปรับปรุงข้อคำถาม นำไปใช้เก็บข้อมูลกับกลุ่มตัวอย่างจริง เชาวรัตน์ เตมียกุล

17 การตรวจสอบคุณภาพเครื่องมือที่ใช้ในงานวิจัย
ความเป็นปรนัย การตรวจสอบ เครื่องมือวิจัย เชื่อมั่น ตรงเนื้อหา ความเที่ยง ความตรง แบบสอบถาม แบบทดสอบ ตรงโครงสร้าง สัมประสิทธิ์อัลฟ่า ยาก ตรงพยากรณ์ อำนาจจำแนก I O C เชาวรัตน์ เตมียกุล

18 การหาคุณภาพของเครื่องมือที่ใช้ในการวิจัย
เครื่องมือที่ใช้ในการเก็บรวบรวมข้อมูล แบบสอบถาม แบบสังเกต แบบสัมภาษณ์ แบบทดสอบ เครื่องมือวัดต่าง ๆ เครื่องมือที่ใช้ในการวิจัย ก่อนที่จะนำไปใช้เก็บข้อมูลจริง จะต้องผ่านการตรวจหาคุณภาพก่อน เพื่อให้แน่ใจว่าเป็น เครื่องมือที่มีคุณภาพ สามารถวัดในสิ่งที่ต้องการจะวัดได้ คุณภาพของเครื่องมือมี 5 องค์ประกอบ : 1. ความเที่ยงตรง (Validity) ความเชื่อมั่น (Reliability) ความยากง่าย (Difficulty) อำนาจจำแนก (Discrimination) ความเป็นปรนัย (Objectivity) เชาวรัตน์ เตมียกุล

19 ความยากง่าย (Difficulty)
ระดับความยากง่ายของข้อสอบ หากผู้เรียนทำได้มาก แสดงว่าง่าย หากผู้เรียนทำได้น้อย แสดงว่ายาก ค่า P ที่ใช้ได้ก็คือ ค่า P ที่เหมาะสม คือ สูตรที่ใช้คือ P = ความยากง่าย R = จำนวนผู้เรียนที่ตอบคำถามข้อนั้นถูกต้อง N = จำนวนผู้เรียนทั้งหมด เชาวรัตน์ เตมียกุล

20 การหาค่าอำนาจจำแนก การตรวจให้คะแนน
นำแบบทดสอบไปใช้กับกลุ่มตัวอย่างแล้วตรวจให้คะแนน เรียงลำดับคะแนนจากสูงไปต่ำ คัดเลือกออกมา 25% จากกลุ่มสูงเป็นกลุ่มเก่ง คัดเลือก 25%จากกลุ่มล่างเป็นกลุ่มอ่อน แทนค่าในสูตร r หรือ D Ru = จำนวนกลุ่มตัวอย่างที่ถูกในกลุ่มเก่ง RL = จำนวนกลุ่มตัวอย่างที่ถูกในกลุ่มอ่อน N = จำนวนกลุ่มตัวอย่างทั้งหมด เชาวรัตน์ เตมียกุล

21 การหาค่าอำนาจจำแนก การใช้ตารางสำเร็จรูปของจุงเตฟาน
นำแบบทดสอบไปใช้กับกลุ่มตัวอย่างแล้วตรวจให้คะแนน เรียงลำดับคะแนนจากสูงไปต่ำ คัดเลือกออกมา 27% จากกลุ่มสูงเป็นกลุ่มเก่ง คัดเลือก 27%จากกลุ่มล่างเป็นกลุ่มอ่อน แทนค่าในสูตรการใช้สัดส่วน จากนั้นเปิดตารางสำเร็จรูปเพื่อหาค่าอำนาจจำแนก เชาวรัตน์ เตมียกุล

22 การหาค่าอำนาจจำแนก การหาค่าสหสัมพันธ์ Point-Biserial Correlation
คำตอบถูกเป็น 1 และผิดเป็น 0 แล้วนำมาแทนค่าในสูตร = ค่าเฉลี่ยของกลุ่มตัวอย่างที่ทำข้อสอบนั้นได้ = ค่าเฉลี่ยของกลุ่มตัวอย่างที่ทำข้อสอบนั้นไม่ได้ = ค่าเบี่ยงเบนมาตรฐาน = สัดส่วนของกลุ่มตัวอย่างที่ทำข้อสอบนั้นได้ = สัดส่วนของกลุ่มตัวอย่างที่ทำข้อสอบนั้นไม่ได้ St p q เชาวรัตน์ เตมียกุล

23 ค่าอำนาจจำแนก (Discrimination)
D > : ดีมาก D > : ดี D > : พอใช้ได้ D < : ยังต้องปรับปรุง D ติดลบ : ใช้ไม่ได้ ต้องตัดทิ้ง เชาวรัตน์ เตมียกุล

24 การวิเคราะห์ดัชนีการวัดผลการสอบ ค่า S ที่เหมาะสม = 0.5 ขึ้นไป
ประสิทธิภาพในการจำแนก ผู้เรียนรู้แล้วกับผู้ที่ยังไม่เรียนรู้ T S = Rpost - Rpre Rpre = จำนวนผู้ทดสอบที่ตอบถูกก่อนเรียน Rpost = จำนวนผู้ทดสอบที่ตอบถูกหลังเรียน S = ดัชนีในการวัดผลการสอบ T = จำนวนผู้ทดสอบทั้งหมด ค่า S ที่เหมาะสม = 0.5 ขึ้นไป เชาวรัตน์ เตมียกุล

25 การวิเคราะห์ดัชนีการวัดผลการสอบ
ข้อที่ นักศึกษาจำนวน 20 คน ตอบถูก ผลการวิเคราะห์ข้อมูล ก่อนเรียน Rpre หลังเรียน Rpost 1 5 17 0.60 เป็นข้อสอบที่ดี 2 12 0.25 เป็นข้อสอบไม่ดี 3 18 0.75 4 19 0.80 14 T Rpost- Rpre เชาวรัตน์ เตมียกุล

26 แบบทดสอบ (Test) เครื่องมือวัดความรู้ ทักษะ ประสบการณ์ สติปัญญา หรือความถนัดของผู้เข้าทดสอบ และให้ผลเป็นตัวเลข จำแนกเป็น 3 ประเภท แบบทดสอบวัดผลสัมฤทธิ์ทางการเรียน (achievement test) แบบทดสอบวัดบุคลิกภาพ (personality test) แบบทดสอบวัดความถนัด (aptitude test) เชาวรัตน์ เตมียกุล

27 ความเป็นปรนัย (Objectivity)
ความชัดเจนของแบบทดสอบหรือคำถามที่ทุกคนเข้าใจตรงกัน รวมทั้งการตรวจให้คะแนนมีเกณฑ์ที่แน่นอน ความเป็นปรนัย มีองค์ประกอบ 3 ประการ : ความแจ่มชัดในความหมายของแบบทดสอบ ความแจ่มชัดในวิธีการตรวจให้คะแนน ความแจ่มชัดในการแปลความหมายของคะแนน การหาความเป็นปรนัยที่นิยมปฏิบัติกัน คือ ให้ผู้เชี่ยวชาญพิจารณาและตรวจสอบ(IOC) เชาวรัตน์ เตมียกุล

28 ความตรง (Validity) ความสอดคล้องหรือความเหมาะสมของผลการวัดกับเนื้อเรื่อง หรือเกณฑ์ หรือทฤษฎีที่เกี่ยวกับลักษณะที่มุ่งวัด จำแนกเป็น 4 ประเภท :  ความตรงตามเนื้อหา (Content Validity) ความสามารถในการวัดกลุ่มเนื้อหาที่ต้องการจะวัดได้ครอบคลุมและเป็นตัวแทนของสิ่งที่ต้องการวัด เช่น วัดความสามารถในการท่องศัพท์ วัดทักษะด้านต่าง ๆ เชาวรัตน์ เตมียกุล

29 การหาความตรงเชิงเนื้อหา
ทำได้โดยการหาค่าดัชนีความสอดคล้อง (Index of Item-Objective Congruence: IOC ) โดยผู้เชี่ยวชาญ R = ผลรวมคะแนนจากผู้เชี่ยวชาญ N = จำนวนผู้เชี่ยวชาญทั้งหมด ค่า IOC  0.5 IOC ที่เหมาะสม=0.5 ขึ้นไป เชาวรัตน์ เตมียกุล

30 โดยที่ n = จำนวนผู้เชี่ยวชาญ IOC ที่เหมาะสม=0.5 ขึ้นไป
ใบงานภาคปฏิบัติ การหาความสอดคล้องของวัตถุประสงค์และเนื้อหา (IOC) โดยผู้เชี่ยวชาญจำนวน 5 ท่าน ผู้เชี่ยวชาญ โดยที่ n = จำนวนผู้เชี่ยวชาญ เชาวรัตน์ เตมียกุล IOC ที่เหมาะสม=0.5 ขึ้นไป

31 การตรวจสอบคุณภาพเครื่องมือการวิจัยโดยใช้สถิติ
ความตรง การหาค่าดัชนีความสอดคล้อง (IOC) การหาอัตราส่วนความตรงเชิงเนื้อหา (content validity ratio : CVR)

32 การหาอัตราส่วนความตรงเชิงเนื้อหา
CVR อัตราส่วนความตรงเชิงเนื้อหา ของ Lawshe (1970) Ne จำนวนผู้เชี่ยวชาญที่เห็นด้วย หรือ เห็นว่าเหมาะสม N จำนวนผู้เชี่ยวชาญทั้งหมด

33 อัตราส่วนความตรงเชิงเนื้อหาต่ำสุดที่ผ่านเกณฑ์
จำนวนผู้เชี่ยวชาญ ค่าCVR ต่ำสุด 5 .99 11 .59 25 .37 6 12 .56 30 .33 7 .75 13 .54 35 .31 8 .78 14 .51 40 .29 9 15 .49 10 .62 20 .42

34 ความตรง (Validity) ความตรงตามโครงสร้าง (Construct Validity) :
ความสามารถของเครื่องมือวัดที่วัดได้ตรงตามสิ่งที่ต้องการวัด โดยผลการวัดมีความสอดคล้องกับโครงสร้าง/ทฤษฎี ของลักษณะที่มุ่งวัดนั้น จำแนกได้ 3 วิธี : 1. การหาค่าสัมประสิทธิ์สหสัมพันธ์ (Correlation Coefficient) หาความสัมพันธ์ของแบบทดสอบ 2 ชุดที่วัดในเรื่องเดียวกัน 2. เปรียบเทียบกับกลุ่มที่มีลักษณะต้องการวัด อย่างเด่นชัด (Know Group Technique) โดยใช้การเปรียบเทียบด้วย t-test 3. การวิเคราะห์องค์ประกอบ เชาวรัตน์ เตมียกุล

35 ความตรง (Validity)  ความตรงตามสภาพ (Concurrent Validity) :
ความสามารถในการวัดลักษณะที่สนใจได้ตรงตามสภาพของสิ่งนั้น เช่น ผู้ที่เรียนเก่งที่สุดต้องทำแบบทดสอบได้คะแนนสูงสุด การหาความตรงตามสภาพ การคำนวณค่าสัมประสิทธิ์สหสัมพันธ์ระหว่างคะแนนที่วัดได้กับคะแนนที่วัดได้จากเครื่องมือมาตรฐานอื่นซึ่งสามารถวัดสิ่งนั้นได้ในสภาพปัจจุบัน เชาวรัตน์ เตมียกุล

36 ความตรง (Validity)  ความตรงเชิงพยากรณ์ (Predictive Validity) :
ความสามารถในการวัดลักษณะที่สนใจได้ตรงตามลักษณะของสิ่งนั้นที่จะเกิดขึ้นในอนาคต การหาความตรงเชิงพยากรณ์ การคำนวณค่าสัมประสิทธิ์สหสัมพันธ์ระหว่างคะแนนที่วัดได้กับคะแนนที่วัดได้จากเครื่องมือมาตรฐานอื่นซึ่งสามารถวัดสิ่งนั้นที่จะเกิดในอนาคต เชาวรัตน์ เตมียกุล

37 ความเชื่อมั่น (Reliability)
ความคงเส้นคงวาหรือความคงที่ของผลที่ได้จากการวัดซ้ำ วิธีการหาความเชื่อมั่น : 1. การทดสอบซ้ำ (Test-Retest) 2. การใช้ข้อสอบเหมือนกัน (Equiv.-Form Reliability) 3. การทดสอบแบบแบ่งครึ่ง (Spilt Half Reliability) 4. การหาความคงที่ภายในโดยใช้สูตร Kuder-Richardson KR-20, KR-21 5. การทดสอบวิธีสัมประสิทธิ์แอลฟา เชาวรัตน์ เตมียกุล

38 ความเชื่อมั่น (Reliability)
การทดสอบซ้ำ Test-Retest Reliability ความคงเส้นคงวาของคะแนนจากการวัดในช่วงเวลาที่ต่างกันโดยวิธีสอบซ้ำด้วยแบบทดสอบเดิม การหาค่าความเชื่อมั่น: การทดสอบซ้ำ ใช้การคำนวณค่าสัมประสิทธิ์สหสัมพันธ์ระหว่างคะแนนที่วัดได้จากคนกลุ่มเดียวกันด้วยเครื่องมือเดียวกัน โดยทำการวัดสองครั้งในเวลาที่ต่างกัน เชาวรัตน์ เตมียกุล

39 ความเชื่อมั่น (Reliability)
การทดสอบแบบใช้ข้อสอบเหมือนกัน Equivalent-Forms Reliability ความสอดคล้องกันของคะแนนจากการวัดในช่วงเวลาเดียวกันโดยใช้แบบทดสอบที่สมมูลกัน การหาค่าความเชื่อมั่น: การทดสอบแบบใช้ข้อสอบเหมือนกัน ใช้การคำนวณค่าสัมประสิทธิ์สหสัมพันธ์ระหว่างคะแนนที่วัดได้จากคนกลุ่มเดียวกันด้วยเครื่องมือ 2 ฉบับที่ทัดเทียมกัน เชาวรัตน์ เตมียกุล

40 ความเชื่อมั่น (Reliability)
การทดสอบแบบการทดสอบแบบแบ่งครึ่ง (Split-Half Reliability ) เป็นการหาความเชื่อมั่นโดยการหาความคงที่ภายใน โดยใช้แบบทดสอบชุดเดียวและสอบครั้งเดียวแต่แบ่งข้อสอบเป็น 2 ส่วน คือ ข้อคู่ และข้อคี่ การหาค่าความเชื่อมั่น: การทดสอบแบบแบ่งครึ่ง ใช้การคำนวณค่าสัมประสิทธิ์สหสัมพันธ์ระหว่างคะแนนที่วัดได้จากการแบ่งครึ่งข้อสอบที่สมมูลกันโดยใช้สูตร Spearman Brown เชาวรัตน์ เตมียกุล

41 ความเชื่อมั่น (Reliability)
การทดสอบโดยการหาความคงที่ภายใน Kuder-Richardson Reliability เป็นการหาความเชื่อมั่นโดยการทดสอบว่าแบบทดสอบหรือแบบสอบถามแต่ละข้อมีความสัมพันธ์กับข้ออื่น ๆ ในฉบับเดียวกันหรือไม่ การหาค่าความเชื่อมั่น: การคำนวณค่าสถิติของคะแนนรายข้อ (ให้คะแนนแบบ 0-1) และคะแนนรวมใช้สูตร Kuder-Richardson (KR-20, KR-21) เชาวรัตน์ เตมียกุล

42 ความเชื่อมั่น (Reliability)
การทดสอบโดยวิธีหาสัมประสิทธิ์แอลฟ่า Alpha Coefficient Reliability เป็นการหาความเชื่อมั่นโดยการทดสอบว่าแบบสอบถามแต่ละข้อมีความสัมพันธ์กับข้ออื่น ๆ ในฉบับเดียวกันหรือไม่ (คะแนนตั้งแต่ 0-...) การหาค่าความเชื่อมั่นแบบสอบถามทั้งฉบับ การคำนวณค่าสถิติของคะแนนรวมทั้งฉบับโดยใช้สูตรคำนวณสัมประสิทธิ์แอลฟ่าของครอนบาค(Cronbach Alpha Coefficient Reliability ) เชาวรัตน์ เตมียกุล

43 สรุปคุณภาพนวัตกรรม ต้องมีคุณภาพเข้าเกณฑ์ ดังนี้
ผลการประเมินโดยผู้เชี่ยวชาญ ระดับมาก (3.5 ขึ้นไป) ค่าดัชนีประสิทธิผล(E.I.) 0.5 ขึ้นไป ประสิทธิภาพ E1/ E2 สูงกว่าเกณฑ์ ที่กำหนด สปส.ความแปรผัน C.V. ต่ำกว่าร้อยละ 10 เชาวรัตน์ เตมียกุล

44 สรุปคุณภาพเครื่องมือเก็บรวบรวมข้อมูล
ทุกข้อต้องมีคุณภาพเข้าเกณฑ์ในด้าน - ค่าความยาก (p) - จำแนก (r) ขึ้นไป - ค่าดัชนีความสอดคล้อง (IOC) โดย ผู้เชี่ยวชาญ 0.5 ขึ้นไป ค่าดัชนีการวัดผลการสอบ (S) ที่เหมาะสม = 0.5 ขึ้นไป เมื่อรวมเป็นฉบับ มีค่าความเชื่อมั่นทั้งฉบับ 0.8 ขึ้นไป เชาวรัตน์ เตมียกุล

45 สวัสดี เชาวรัตน์ เตมียกุล สาขาวิจัยและพัฒนาหลักสูตร
มหาวิทยาลัยเทคโนโลยีพระจอมเกล้าพระนครเหนือ