การประเมินผลโครงการ และตัวชี้วัดเพื่อการประเมิน รศ.ดร.เภสัชกรหญิง กัญญดา อนุวงศ์ คณะเภสัชศาสตร์ มหาวิทยาลัยศรีนครินทรวิโรฒ (kunyada@swu.ac.th)

การประเมินโครงการ ตัวโครงการ การบริหารโครงการ ผลที่ได้รับจากโครงการ โครงการ: ความสมบูรณ์ ความชัดเจน ความเหมาะสม ความสอดคล้องกับแผน บริบท และความต้องการของกลุ่มเป้าหมาย Context and input evaluation การบริหาร: การทำงานตามแผน การกำกับติดตาม การประสานงานภายในและภายนอกโครงการ ก่อนโครงการ: Needs Assessment, Feasibility Study

การประเมินโครงการ การใช้กระบวนการทางวิทยาศาสตร์หรือเทคนิคการวิจัยเพื่อหาข้อมูลที่เป็นจริงและเชื่อถือได้เกี่ยวกับโครงการ เพื่อตัดสินคุณค่าของโครงการ (Suchman 1967) การกำหนดคุณค่าหรือข้อดีของบางสิ่งอย่างเป็นระบบ กระบวนการบรรยาย เก็บข้อมูลเกี่ยวกับเป้าหมาย การวางแผน การดำเนินการ ผลกระทบ เพื่อเป็นแนวทางในการตัดสินใจ เพื่อสร้างความน่าเชื่อถือ และเพื่อส่งเสริมความเข้าใจในสถานการณ์ของโครงการ (Stufflebeam et al. 1990) การเก็บรวบรวมข้อมูลและใช้ข้อมูลนั้นเพื่อการตัดสินใจเกี่ยวกับโครงการ (Cronbach 1987)

การตอบคำถาม...ที่นำไปสู่...การตัดสินใจ การประเมินผลโครงการ การตอบคำถาม...ที่นำไปสู่...การตัดสินใจ ความเหมาะสมของสิ่งที่ดำเนินการ? ปัญหา อุปสรรคที่พบ? ประสบความสำเร็จตามมุ่งหวัง? ตอบสนองความต้องการของผู้มีส่วนได้เสีย? ความคืบหน้าของการดำเนินการ? ตรงตามแผน? ความต้องการทรัพยากรเพิ่ม? ควรดำเนินการต่อ? ควรปรับปรุง? ควรยุติ? ควรขยาย? ควรเลือกรูปแบบใด?

ขั้นตอนการประเมินผลโครงการ ศึกษารายละเอียดโครงการ (การวิเคราะห์โครงการ) ศึกษาความต้องการของผู้ใช้ผลการประเมิน กำหนดประเด็นการประเมิน การพัฒนาตัวชี้วัด: การกำหนดตัวชี้วัด กำหนดเกณฑ์หรือมาตรฐานตัวชี้วัด แหล่งข้อมูลและเครื่องมือ พัฒนาเครื่องมือและเก็บข้อมูล ออกแบบการประเมิน และกลุ่มตัวอย่าง เก็บข้อมูล วิเคราะห์ แปลผล สรุปผล การเขียนรายงานและการนำเสนอ

การวิเคราะห์โครงการและ การศึกษาความต้องการของผู้ใช้ผลการประเมิน ความมุ่งหมายของโครงการ และความมุ่งหมายของการ ประเมิน ข้อมูลที่ต้องการคืออะไร จะถูกนำไปใช้โดยใคร อย่างไร

ความต้องการของผู้ใช้ผลการประเมิน ความคาดหวัง/ความต้องการที่เกี่ยวข้อง ข้อมูลที่ต้องการ/ประเด็นการประเมิน ผู้กำหนดนโยบายระดับต่างๆ ผู้บริหารโครงการ ผู้บริหารโรงพยาบาล ผู้สั่งใช้ยา สื่อมวลชน

การวิเคราะห์โครงการและ การศึกษาความต้องการของผู้ใช้ผลการประเมิน ความมุ่งหมายของโครงการ และความมุ่งหมายของการ ประเมิน รู้วัตถุประสงค์/เป้าหมายของโครงการ รวมทั้งเป้าประสงค์ ของการดำเนินโครงการชัดเจนเฉพาะเจาะจงมากยิ่งขึ้น ตั้งประเด็นเนื้อหาในการประเมินได้ (คำถามการวิจัย)

Conceptual Model of Health Promoting Project การกำหนดประเด็นการประเมินผลโครงการ Health Promoting Project/Intervention Health Potential: Health resources & policies Health-related behaviors Health promoting processes Health Measurement/Evaluation Conceptual Model of Health Promoting Project

การกำหนดประเด็นการประเมิน Health: biomedical, psychological and sociological health, and morbidity, mortality, disability and survival rates Health potential: resources/policies, related behaviors, and/or promoting processes

Health Potential: Resources -เป้าประสงค์ ขอบเขต การบังคับใช้นโยบายที่เกี่ยวข้อง -การตัดสินใจเชิงนโยบาย การจัดสรรงบประมาณและทรัพยากร -การกำหนดตัวชี้วัดและการติดตามเชิงนโยบาย -การปรับปรุงเปลี่ยนแปลงสภาพแวดล้อมทางกายภาพและชีวภาพ -ทรัพยากรและการบริการสุขภาพ/สาธารณสุข -ลักษณะและปริมาณของ social support

Health Potential: Related Behaviors -ความตระหนัก ค่านิยม ความเชื่อ ทัศนคติด้านสุขภาพ -ลีลาชีวิต วัฒนธรรมด้านสุขภาพ -ความรู้ วิธีปฏิบัติ ทักษะ ความสามารถที่เกี่ยวกับสุขภาพ

Health Potential: Promoting processes -ลักษณะและจำนวนของกิจกรรม/บริการที่ให้และที่ถูกใช้ และลักษณะและจำนวนของผู้ร่วมกิจกรรม -ชนิดและระดับของการมีส่วนร่วมของกลุ่ม/บุคคลเป้าหมาย -เนื้อหาและจำนวนของวัสดุอุปกรณณืที่เกี่ยวข้องที่แจกจ่ายสู่กลุ่มเป้าหมาย -ความครอบคลุมของสื่อสาธารณะ -ความถี่ของการติดตามและ/หรือตรวจสอบ

การกำหนดประเด็นการประเมิน Health and Health Potential: How much/many? วัตถุประสงค์ของโครงการ ความต้องการใช้ผลการประเมิน เวลา ทรัพยากร(เงิน) ประสบการณ์

ต้องการวัดอะไร (WHAT) การกำหนดตัวชี้วัด ตัวชี้วัด คือ คุณลักษณะที่บ่งบอกถึงปรากฏการณ์ที่เกิดขึ้นในประเด็นที่สนใจศึกษา ต้องการวัดอะไร (WHAT) วัดได้อย่างไร (HOW) เพื่อให้ประชาชนมีความรู้เกี่ยวกับการรักษาโรคเป้าหมาย ตัวชี้วัด?

ต้องการวัดอะไร (WHAT) การกำหนดตัวชี้วัด วัดได้อย่างไร (HOW) ต้องการวัดอะไร (WHAT) เพื่อให้ประชาชนนำความรู้ที่ได้รับไปใช้ประโยชน์เมื่อเจ็บป่วย ตัวชี้วัด?

ลักษณะที่ดีของตัวชี้วัด -บ่งบอกในสิ่งที่ต้องการวัดจริง -มีความเป็นรูปธรรม เป็นที่เข้าใจ -เป็นที่ยอมรับของผู้ที่เกี่ยวข้อง โดยเฉพาะผู้ใช้ผลการ ประเมิน -สามารถเข้าถึงข้อมูลได้อย่างถูกต้องและมี ประสิทธิภาพ -ไม่ก่อผลข้างเคียงที่ไม่พึงประสงค์

เกณฑ์/มาตรฐานของตัวชี้วัด ระดับที่พึงประสงค์ของตัวชี้วัด เกณฑ์สัมบูรณ์หรือมาตรฐาน (Absolute criteria) ระดับที่ควรจะเป็นที่กำหนดไว้อย่างชัดเจน กำหนดจาก เกณฑ์สากล หรือโดยผู้เชี่ยวชาญ/เจ้าของโครงการ เกณฑ์สัมพัทธ์ (Relative criteria) การเปรียบเทียบกับโครงการที่มีลักษณะใกล้เคียงกัน

แหล่งข้อมูลสำหรับตัวชี้วัด ข้อมูลปฐมภูมิ ต้องการเครื่องมือในการเก็บข้อมูล ซึ่งอาจต้องพัฒนาขึ้น ข้อมูลทุติยภูมิ ต้องมีการตรวจสอบความถูกต้องสมบูรณ์ของข้อมูล

ตัวอย่างตารางสรุปการออกแบบการประเมิน ประเด็น ตัวชี้วัด ข้อมูลที่ต้องการ เครื่องมือ การเก็บข้อมูล การวิเคราะห์ เกณฑ์ ผู้สั่งใช้ยาเปลี่ยนพฤติกรรมในการจ่ายยาให้แก่ผู้ป่วยโรคเป้าหมาย 1.ร้อยละของปริมาณการใช้ยา ABO ที่เปลี่ยนแปลง 2.สัดส่วนคนไข้ที่ไม่ได้รับ ABOเปรียบเทียบกับพื้นที่ที่ไม่มีโครงการ 1a.ปริมาณABO ที่จ่ายไปก่อนการดำเนินโครงการ 1b.ปริมาณABO ที่จ่ายไปหลังการดำเนินโครงการ 2a.จำนวนคนไข้เป้าหมายที่ไม่ได้รับABO 2 พท. 2b.จำนวนคนไข้เป้าหมายทั้งหมดใน 2 พท. แบบบันทึกปริมาณยาที่ใช้แต่ละขนาน แบบบันทึกรายการยาที่ผู้ป่วยเป้าหมายได้รับ เก็บรายเดือน ก่อน: มค-พค 51 หลัง: มค-พค 52 เก็บรายวันเริ่มหลังดำเนินโครงการ คือมค-พค 52 ทั้ง 2 จังหวัด -ปริมาณรวมABO แต่ละขนานที่ใช้เป็นรายเดือน -การเปลี่ยนแปลง=ปริมาณรวมหลังลบปริมาณรวมก่อน *100 -คำนวณ2a/2b สำหรับแต่ละจังหวัด -ไคสแควร์เปรียบเทียบสัดส่วน 2 พท. -ลดลงอย่างน้อย 20% -สัดส่วนมากกว่าจว.ที่ไม่มีโครงการอย่างมีนัยสำคัญทางสถิติ

แลกเปลี่ยนประสบการณ์การประเมิน -วางแผนก่อนการดำเนินโครงการ -เน้นการมีส่วนร่วมของ users ในการวางแผนการประเมิน -ใช้วัตถุประสงค์ของโครงการเป็นหลักในการคิด ในขณะที่มี ความยืดหยุ่นพร้อมปรับเปลี่ยน -ใช้กระบวนการทางวิทยาศาสตร์ และความรู้วิจัย -ไม่ละทิ้งความเป็นกลาง และจริยธรรมวิจัย -ลงพื้นที่เองบ้าง เรียนรู้และพัฒนาตลอดเวลา