การประเมินผลโครงการ และตัวชี้วัดเพื่อการประเมิน

งานนำเสนอเรื่อง: "การประเมินผลโครงการ และตัวชี้วัดเพื่อการประเมิน"— ใบสำเนางานนำเสนอ:

1 การประเมินผลโครงการ และตัวชี้วัดเพื่อการประเมิน
รศ.ดร.เภสัชกรหญิง กัญญดา อนุวงศ์ คณะเภสัชศาสตร์ มหาวิทยาลัยศรีนครินทรวิโรฒ

2 การประเมินโครงการ ตัวโครงการ การบริหารโครงการ ผลที่ได้รับจากโครงการ
โครงการ: ความสมบูรณ์ ความชัดเจน ความเหมาะสม ความสอดคล้องกับแผน บริบท และความต้องการของกลุ่มเป้าหมาย Context and input evaluation การบริหาร: การทำงานตามแผน การกำกับติดตาม การประสานงานภายในและภายนอกโครงการ ก่อนโครงการ: Needs Assessment, Feasibility Study

3 การประเมินโครงการ การใช้กระบวนการทางวิทยาศาสตร์หรือเทคนิคการวิจัยเพื่อหาข้อมูลที่เป็นจริงและเชื่อถือได้เกี่ยวกับโครงการ เพื่อตัดสินคุณค่าของโครงการ (Suchman 1967) การกำหนดคุณค่าหรือข้อดีของบางสิ่งอย่างเป็นระบบ กระบวนการบรรยาย เก็บข้อมูลเกี่ยวกับเป้าหมาย การวางแผน การดำเนินการ ผลกระทบ เพื่อเป็นแนวทางในการตัดสินใจ เพื่อสร้างความน่าเชื่อถือ และเพื่อส่งเสริมความเข้าใจในสถานการณ์ของโครงการ (Stufflebeam et al. 1990) การเก็บรวบรวมข้อมูลและใช้ข้อมูลนั้นเพื่อการตัดสินใจเกี่ยวกับโครงการ (Cronbach 1987)

4 การตอบคำถาม...ที่นำไปสู่...การตัดสินใจ
การประเมินผลโครงการ การตอบคำถาม...ที่นำไปสู่...การตัดสินใจ ความเหมาะสมของสิ่งที่ดำเนินการ? ปัญหา อุปสรรคที่พบ? ประสบความสำเร็จตามมุ่งหวัง? ตอบสนองความต้องการของผู้มีส่วนได้เสีย? ความคืบหน้าของการดำเนินการ? ตรงตามแผน? ความต้องการทรัพยากรเพิ่ม? ควรดำเนินการต่อ? ควรปรับปรุง? ควรยุติ? ควรขยาย? ควรเลือกรูปแบบใด?

5 ขั้นตอนการประเมินผลโครงการ
ศึกษารายละเอียดโครงการ (การวิเคราะห์โครงการ) ศึกษาความต้องการของผู้ใช้ผลการประเมิน กำหนดประเด็นการประเมิน การพัฒนาตัวชี้วัด: การกำหนดตัวชี้วัด กำหนดเกณฑ์หรือมาตรฐานตัวชี้วัด แหล่งข้อมูลและเครื่องมือ พัฒนาเครื่องมือและเก็บข้อมูล ออกแบบการประเมิน และกลุ่มตัวอย่าง เก็บข้อมูล วิเคราะห์ แปลผล สรุปผล การเขียนรายงานและการนำเสนอ

6 การวิเคราะห์โครงการและ การศึกษาความต้องการของผู้ใช้ผลการประเมิน
ความมุ่งหมายของโครงการ และความมุ่งหมายของการ ประเมิน ข้อมูลที่ต้องการคืออะไร จะถูกนำไปใช้โดยใคร อย่างไร

7 ความต้องการของผู้ใช้ผลการประเมิน
ความคาดหวัง/ความต้องการที่เกี่ยวข้อง ข้อมูลที่ต้องการ/ประเด็นการประเมิน ผู้กำหนดนโยบายระดับต่างๆ ผู้บริหารโครงการ ผู้บริหารโรงพยาบาล ผู้สั่งใช้ยา สื่อมวลชน

8 การวิเคราะห์โครงการและ การศึกษาความต้องการของผู้ใช้ผลการประเมิน
ความมุ่งหมายของโครงการ และความมุ่งหมายของการ ประเมิน รู้วัตถุประสงค์/เป้าหมายของโครงการ รวมทั้งเป้าประสงค์ ของการดำเนินโครงการชัดเจนเฉพาะเจาะจงมากยิ่งขึ้น ตั้งประเด็นเนื้อหาในการประเมินได้ (คำถามการวิจัย)

9 Conceptual Model of Health Promoting Project
การกำหนดประเด็นการประเมินผลโครงการ Health Promoting Project/Intervention Health Potential: Health resources & policies Health-related behaviors Health promoting processes Health Measurement/Evaluation Conceptual Model of Health Promoting Project

10 การกำหนดประเด็นการประเมิน
Health: biomedical, psychological and sociological health, and morbidity, mortality, disability and survival rates Health potential: resources/policies, related behaviors, and/or promoting processes

11 Health Potential: Resources
-เป้าประสงค์ ขอบเขต การบังคับใช้นโยบายที่เกี่ยวข้อง -การตัดสินใจเชิงนโยบาย การจัดสรรงบประมาณและทรัพยากร -การกำหนดตัวชี้วัดและการติดตามเชิงนโยบาย -การปรับปรุงเปลี่ยนแปลงสภาพแวดล้อมทางกายภาพและชีวภาพ -ทรัพยากรและการบริการสุขภาพ/สาธารณสุข -ลักษณะและปริมาณของ social support

12 Health Potential: Related Behaviors
-ความตระหนัก ค่านิยม ความเชื่อ ทัศนคติด้านสุขภาพ -ลีลาชีวิต วัฒนธรรมด้านสุขภาพ -ความรู้ วิธีปฏิบัติ ทักษะ ความสามารถที่เกี่ยวกับสุขภาพ

13 Health Potential: Promoting processes
-ลักษณะและจำนวนของกิจกรรม/บริการที่ให้และที่ถูกใช้ และลักษณะและจำนวนของผู้ร่วมกิจกรรม -ชนิดและระดับของการมีส่วนร่วมของกลุ่ม/บุคคลเป้าหมาย -เนื้อหาและจำนวนของวัสดุอุปกรณณืที่เกี่ยวข้องที่แจกจ่ายสู่กลุ่มเป้าหมาย -ความครอบคลุมของสื่อสาธารณะ -ความถี่ของการติดตามและ/หรือตรวจสอบ

14 การกำหนดประเด็นการประเมิน
Health and Health Potential: How much/many? วัตถุประสงค์ของโครงการ ความต้องการใช้ผลการประเมิน เวลา ทรัพยากร(เงิน) ประสบการณ์

15 ต้องการวัดอะไร (WHAT)
การกำหนดตัวชี้วัด ตัวชี้วัด คือ คุณลักษณะที่บ่งบอกถึงปรากฏการณ์ที่เกิดขึ้นในประเด็นที่สนใจศึกษา ต้องการวัดอะไร (WHAT) วัดได้อย่างไร (HOW) เพื่อให้ประชาชนมีความรู้เกี่ยวกับการรักษาโรคเป้าหมาย ตัวชี้วัด?

16 ต้องการวัดอะไร (WHAT)
การกำหนดตัวชี้วัด วัดได้อย่างไร (HOW) ต้องการวัดอะไร (WHAT) เพื่อให้ประชาชนนำความรู้ที่ได้รับไปใช้ประโยชน์เมื่อเจ็บป่วย ตัวชี้วัด?

17 ลักษณะที่ดีของตัวชี้วัด
-บ่งบอกในสิ่งที่ต้องการวัดจริง -มีความเป็นรูปธรรม เป็นที่เข้าใจ -เป็นที่ยอมรับของผู้ที่เกี่ยวข้อง โดยเฉพาะผู้ใช้ผลการ ประเมิน -สามารถเข้าถึงข้อมูลได้อย่างถูกต้องและมี ประสิทธิภาพ -ไม่ก่อผลข้างเคียงที่ไม่พึงประสงค์

18 เกณฑ์/มาตรฐานของตัวชี้วัด
ระดับที่พึงประสงค์ของตัวชี้วัด เกณฑ์สัมบูรณ์หรือมาตรฐาน (Absolute criteria) ระดับที่ควรจะเป็นที่กำหนดไว้อย่างชัดเจน กำหนดจาก เกณฑ์สากล หรือโดยผู้เชี่ยวชาญ/เจ้าของโครงการ เกณฑ์สัมพัทธ์ (Relative criteria) การเปรียบเทียบกับโครงการที่มีลักษณะใกล้เคียงกัน

19 แหล่งข้อมูลสำหรับตัวชี้วัด
ข้อมูลปฐมภูมิ ต้องการเครื่องมือในการเก็บข้อมูล ซึ่งอาจต้องพัฒนาขึ้น ข้อมูลทุติยภูมิ ต้องมีการตรวจสอบความถูกต้องสมบูรณ์ของข้อมูล

20 ตัวอย่างตารางสรุปการออกแบบการประเมิน
ประเด็น ตัวชี้วัด ข้อมูลที่ต้องการ เครื่องมือ การเก็บข้อมูล การวิเคราะห์ เกณฑ์ ผู้สั่งใช้ยาเปลี่ยนพฤติกรรมในการจ่ายยาให้แก่ผู้ป่วยโรคเป้าหมาย 1.ร้อยละของปริมาณการใช้ยา ABO ที่เปลี่ยนแปลง 2.สัดส่วนคนไข้ที่ไม่ได้รับ ABOเปรียบเทียบกับพื้นที่ที่ไม่มีโครงการ 1a.ปริมาณABO ที่จ่ายไปก่อนการดำเนินโครงการ 1b.ปริมาณABO ที่จ่ายไปหลังการดำเนินโครงการ 2a.จำนวนคนไข้เป้าหมายที่ไม่ได้รับABO 2 พท. 2b.จำนวนคนไข้เป้าหมายทั้งหมดใน 2 พท. แบบบันทึกปริมาณยาที่ใช้แต่ละขนาน แบบบันทึกรายการยาที่ผู้ป่วยเป้าหมายได้รับ เก็บรายเดือน ก่อน: มค-พค 51 หลัง: มค-พค 52 เก็บรายวันเริ่มหลังดำเนินโครงการ คือมค-พค 52 ทั้ง 2 จังหวัด -ปริมาณรวมABO แต่ละขนานที่ใช้เป็นรายเดือน -การเปลี่ยนแปลง=ปริมาณรวมหลังลบปริมาณรวมก่อน *100 -คำนวณ2a/2b สำหรับแต่ละจังหวัด -ไคสแควร์เปรียบเทียบสัดส่วน 2 พท. -ลดลงอย่างน้อย 20% -สัดส่วนมากกว่าจว.ที่ไม่มีโครงการอย่างมีนัยสำคัญทางสถิติ

21 แลกเปลี่ยนประสบการณ์การประเมิน
-วางแผนก่อนการดำเนินโครงการ -เน้นการมีส่วนร่วมของ users ในการวางแผนการประเมิน -ใช้วัตถุประสงค์ของโครงการเป็นหลักในการคิด ในขณะที่มี ความยืดหยุ่นพร้อมปรับเปลี่ยน -ใช้กระบวนการทางวิทยาศาสตร์ และความรู้วิจัย -ไม่ละทิ้งความเป็นกลาง และจริยธรรมวิจัย -ลงพื้นที่เองบ้าง เรียนรู้และพัฒนาตลอดเวลา