การประชุมเชิงปฏิบัติการ การเขียนรายงานการประเมินตนเอง Self Assessment Report (SAR) วันที่ 29-30 มีนาคม 2548

ทำความเข้าใจเกี่ยวกับ SAR การเขียนรายงานการประเมินตนเอง (Self Assessment Report : SAR) เป็นเอกสารที่หน่วยงานจัดทำขึ้นเพื่อรายงาน ผลการดำเนินงานภายในหน่วยงานให้บุคคลภายนอก/บุคคลทั่วไปรับทราบถึงประสิทธิภาพและประสิทธิผลของการดำเนินงาน ซึ่งรวมถึงการวิเคราะห์จุดอ่อน จุดแข็ง แนวทางแก้ไข แนวทางเสริม เพื่อแก้ไขพัฒนาปรับปรุงคุณภาพการปฏิบัติงานของหน่วยงาน

ขั้นตอนการเขียน SAR เริ่มต้น ศึกษาแนวคิดของการประเมินตนเอง ทำความเข้าใจดัชนีและเกณฑ์การประเมิน คุณภาพของมหาวิทยาลัย คัดเลือกดัชนีและเกณฑ์ที่เกี่ยวข้องกับคณะวิชา/หน่ยวงาน สิ้นสุด ตรวจสอบผลการปฏิบัติงานตามดัชนีและเกณฑ์ประเมิน A

ขั้นตอนการเขียน SAR(ต่อ) รวบรวมหลักฐานเอกสารที่ เกี่ยวข้องกับการดำเนินงาน Download File จากระบบสารสนเทศออนไลน์ หลักฐานที่แสดงว่ามีการ ปฏิบัติงานจริงตามดัชนี และเกณฑ์การประเมิน - File ข้อมูลเชิงปริมาณ - File รายงานการ ประเมินตนเองตามภารกิจ ตรวจสอบผลการปฏิบัติงานและ หลักฐานที่แสดงว่ามีการปฏิบัติ จิรงตามดัชนีตามแบบตรวจสอบ ป้อนข้อมูลเชิงปริมาณ B

ขั้นตอนการเขียน SAR(ต่อ) B ประชุมคณะกรรมการประกันคุณภาพของคณะวิชา/หน่วยงาน เพื่อพิจารณาผลการปฏิบัติงานและให้คะแนน การประเมินตนเอง พร้อมกับวางแผนแก้ไขจุดอ่อน และหาแนวทางเสริมจุดแข็งร่วมกัน หัวหน้าหน่วยงาน/ผู้บริหาร/ผู้รับผิดชอบนำผลการประชุม มาเขียนรายงานการประเมินตนเอง (SAR) C

ขั้นตอนการเขียน SAR(ต่อ) C เขียน SAR นำผลการประเมินตนเองมาใช้ เพื่อกระตุ้นและปรับวิธีการทำงาน ของบุคลากรและหน่วยงาน Upload File ขึ้นระบบสารสนเทศออนไลน์ -File ข้อมูลเชิงปริมาณ -File SAR รายงานการประเมินตนเอง SAR สิ้นสุด

แนวทางการเขียน SAR รายงานการประเมินตนเอง (Self Assessment Report) เพื่อรับการประเมินคุณภาพภายใน ประจำปีการศึกษา 2547 ของ คณะ........................... วัน/เดือน/ปีที่รายงาน ................................. ลักษณะหน้าปก แบบอักษร (Font) : Angsana New ขนาด (Size) :24 point ขนาดกระดาษ (Paper Size) : A4 การจัดวางกระดาษ (Orientation) : แนวตั้ง (Portrait)

แนวทางการเขียน SAR(ต่อ) คำนำของผู้บริหารหน่วยงาน วัตถุประสงค์ของรายงานการประเมินตนเอง, ความสำคัญของการเขียนรายงานประเมินตนเอง ช่วงเวลาของผลงาน/ ช่วงเวลาที่จัดเก็บข้อมูล ระบุองค์ประกอบที่เน้น/ องค์ประกอบที่เกี่ยวข้องกับการดำเนินงาน ลงนาม............................. (...................................) เนื้อหา แบบอักษร (Font) : Angsana New ขนาด (Size) :14 point ขนาดกระดาษ (Paper Size) : A4 การจัดวางกระดาษ (Orientation) : แนวตั้ง (Portrait) และสามารขยาย/ ปรับตารางได้ ตามความเหมาะสม

แนวทางการเขียน SAR (ต่อ) สารบัญ หน้า คำนำ ส่วนที่ 1 การประเมินตนเอง ส่วนนำ เกี่ยวกับคณะวิชา/หน่วยงาน ส่วนสำคัญ ดัชนีประเมินและเกณฑ์ตัดสิน ผลดำเนินงานตามดัชนี ผลการประเมิน จุดอ่อน/จุดแข็ง ส่วนสรุป สรุปผลการประเมิน ส่วนที่ 2 ข้อมูลเชิงปริมาณ รายการหลักฐานอ้างอิง ภาคผนวก

แนวทางการเขียน SAR (ส่วนนำ) คือการสรุปภาพรวมขององค์กร ว่าด้วยสิ่งสำคัญที่มีอิทธิพลต่อวิธีดำเนินการ และความท้าทายสำคัญที่องค์กรเผชิญอยู่ 1. เกี่ยวกับคณะวิชา/หน่วยงาน -ประวัติความเป็นมา -ที่ตั้งหน่วยงาน -จำนวน อุปกรณ์ ครุภัณฑ์ อาคารสถานที่ (รายงานข้อมูล ณ วันที่ 31 พฤษภาคม 2548) -จำนวนอาจารย์ เจ้าหน้าที่ จำแนกตามวุฒิการศึกษา (ให้ใช้ข้อมูลทางสถิติจากสำนักทรัพยากรบุคคลฯ โดยรายงานข้อมูลตามภาคการศึกษา ภาคการศึกษาที่ 1 ใช้ข้อมูล ณ วันที่ 1 ตุลาคม 2547 ภาคการศึกษาที่ 2 ใช้ข้อมูล ณ วันที่ 31 พฤษภาคม 2548)

แนวทางการเขียน SAR (ส่วนนำ2) -จำนวนนักศึกษาจำแนกตามชั้นปี (ให้ใช้ข้อมูลทางสถิติจากสำนักทะเบียนและบริการการศึกษาโดยรายงานข้อมูลตามภาคการศึกษา ภาคการศึกษาที่ 1 ใช้ข้อมูล ณ วันที่ 29 กันยายน 2547 ภาคการศึกษาที่ 2 ใช้ข้อมูล ณ วันที่ 12 พฤศจิกายน 2547 ภาคการศึกษาฤดูร้อน ใช้ข้อมูล ณ วันที่ 18 เมษายน 2548 ) -จำนวนนักศึกษาจำแนกตามโครงการ (สำหรับฝ่ายวิเทศสัมพันธ์) -งบประมาณของหน่วยงานที่ได้รับอนุมัติ -แผนภูมิองค์กร (Organization Chart ) -แผนภูมิการบริหารงาน (Administrative Chart) -โครงสร้างการปฏิบัติงานของหน่วยงาน (Activity Chart)

แนวทางการเขียน SAR (ส่วนนำ3) 2.ความท้าทาย -องค์กรอยู่ที่ตำแหน่งไหนในการแข่งขัน (ควรกล่าวถึงขนาด และการเติบโตในภาคการศึกษา รวมทั้งจำนวนและประเภทของคู่แข่ง) -ปัจจัยสำคัญที่กำหนดความสำเร็จขององค์กร (อาจเทียบกับความสำเร็จของคู่แข่ง รวมทั้งความเปลี่ยนแปลงที่มีผลต่อสภาพการแข่งขัน) -ระบบการปรับปรุงผลการดำเนินงาน (แนวทางที่องค์กรใช้ในการประเมินผลที่เป็นระบบ วิธีการปรับปรุงกระบวนการหลัก วิธีการสนับสนุนการเรียนรู้และการแลกเปลี่ยนความรู้ภายในองค์กร)

แนวทางการเขียน SAR (ส่วนนำ4) ตัวอย่าง สำนักประกันคุณภาพฯ มีการวางแผนการดำเนินงานโดยคำนึงถึงความคาดหวัง ในการประสบความสำเร็จในการดำเนินงานในอนาคต และจัดทำแผนการดำเนินงานให้ สอดคล้องและเป็นไปตามภารกิจของสำนักฯ มีการดำเนินงานโครงการต่างๆ เพื่อสร้าง บรรยากาศและวัฒนธรรมคุณภาพ รวมถึงการแลกเปลี่ยนองค์ความรู้และผลการประเมินตนเอง ซึ่งกันและกัน เน้นการจัดการองค์กรแบบ “ใช้บุคลากรระดับกลางเป็นพลังขับเคลื่อน (middle-up-down management)” มีการปรับเปลี่ยนโครงสร้างองค์กร ให้มีหลายบริบทอยู่ในเวลาเดียวกัน - ชั้นที่ 1 ระบบงานปกติ คือ ปฏิบัติงานตามภารหน้าที่หลักของตนเอง - ชั้นที่ 2 Project Team คือ งานที่มีเป้าหมายอย่างใดอย่างหนึ่ง เฉพาะ เช่นการจัดฝึกอบรม (ทุกกลุ่มงานเข้ามาช่วยกันปฏิบัติงาน เมื่อบรรลุวัตถุประสงค์ หรือกระบวนการแล้วเสร็จ จึงกลับเข้าสู่ระบบงานปกติ) - ชั้นที 3 ฐานความรู้ ทำหน้าที่คอยสกัด รวบรวม และสังเคราะห์ ยกระดับ ความรู้ที่เกิดขึ้นจาก 2 บริบทข้างต้นให้มีความหมายต่อองค์กรยิ่งขึ้น และ อำนวยความสะดวกในการดำเนินการจัดการความรู้ของบุคลากรทุกระดับและทุกบริบท

แนวทางการเขียน SAR (อ.1) องค์ประกอบที่ 1 ปณิธาน วัตถุประสงค์ และแผนงาน แนวทางการเขียน หน่วยงานควรอธิบายวิธีการโดยสังเขป ว่ามีวิธีการที่ใช้ในการดำเนินการในการ จัดทำปณิธาน วัตถุประสงค์ และแผนงานอย่างไร กระบวนการวางแผนเป็นอย่างไร รวมถึงการระบุ ผู้มีส่วนเกี่ยวข้องที่สำคัญ ขั้นตอนหลัก การกำหนดกรอบเวลาในการวางแผนทั้งระยะสั้นและระยะยาว รวมถึงวิธีการในการติดตามความก้าวหน้า วิธีการประเมินผล และการนำผลประเมินมาใช้ ตัวอย่าง ผลการดำเนินงาน 1.1 คณะ …………. มีปณิธานของคณะคือ…. และมีวัตถุประสงค์ของคณะคือ……….(เอกสาร 1.1.1) คณะวิชาได้มีการจัดทำปณิธานและวัตถุประสงค์ของคณะขึ้นเมื่อวันที่……..โดย……….(เอกสาร 1.1.2 ) และมีการกำหนดระบบการทบทวนอย่างต่อเนื่อง โดยให้มีการประชุมทบทวนทุกปีการศึกษา ในปีการศึกษา 2547 ได้จัดประชุมเพื่อทบทวนปณิธาน และวัตถุประสงค์ของคณะใน วันที่……… โดยมีบุคลากรทุกระดับในคณะเข้าร่วมประชุม (เอกสาร 1.1.3) พร้อมทั้งทบทวนความเข้าใจของบุคลากรเกี่ยวกับปณิธานและ วัตถุประสงค์ของคณะไปด้วย

แนวทางการเขียน SAR (อ.1) แนวคำถามสำหรับการประเมิน -ผู้บริหารของคณะวิชา/หน่วยงานดำเนินการอย่างไรในการกำหนดและถ่ายทอดทิศทางของ คณะวิชา/หน่วยงานในอนาคต ทั้งในระยะสั้นและระยะยาว ผ่านระบบความเป็นผู้นำไปสู่คณาจารย์ และบุคลากรทุกคน เพื่อนำไปปฏิบัติ -คณะวิชา/หน่วยงานทราบได้อย่างไรว่าบุคลากรได้รับทราบข้อมูล ข่าวสาร ตามที่ผู้บริหารของ คณะวิชา/หน่วยงานต้องการ มีตัวชี้วัดอะไรบ้าง -ผู้บริหารของคณะวิชา/หน่วยงานดำเนินการสร้างบรรยากาศที่ส่งเสริมค่านิยมทางจริยธรรม ความทัดเทียมกัน การให้อำนาจในการตัดสินใจ ความคล่องตัวของคณะวิชา/หน่วยงาน และ การเรียนรู้ของคณาจารย์และบุคลากรในคณะวิชา/หน่วยงานอย่างไร -คณะวิชา/หน่วยงานพัฒนาแผนปฏิบัติการและนำแผนไปปฏิบัติให้บรรลุวัตถุประสงค์ที่สำคัญ ได้อย่างไร รวมทั้งมีการจัดสรรทรัพยากรเพื่อให้มั่นใจว่าแผนปฏิบัติการจะบรรลุผลสัมฤทธิ์ ได้อย่างไร -คณะวิชา/หน่วยงานมีตัวชี้วัด/ตัวบ่งชี้ที่สำคัญ อะไรบ้าง สำหรับการติดตาม ความก้าวหน้าในการปฏิบัติงาน/ดำเนินงานตามแผน

แนวทางการเขียน SAR (อ.2) องค์ประกอบที่ 2 การเรียนการสอน แนวทางการเขียน อธิบายวิธีการที่หน่วยงานจัดการกระบวนการหลัก ซึ่งสนับสนุนการปฏิบัติงานประจำวัน และการดำเนินงานของสถาบัน สนับสนุนคณาจารย์และบุคลากรในการให้การบริการอย่างไร แนวทางทั้งที่เป็นทางการและไม่เป็นทางการที่หน่วยงานใช้เตรียมการสำหรับอนาคต อาจใช้การพยากรณ์ การคาดการณ์ ทางเลือก หรือแนวทางอื่นๆ ที่ทำให้เห็นภาพอนาคตทั้งนี้ เพื่อช่วยในการตัดสินใจ และการจัดสรรทรัพยากร วิธีการพัฒนาหลักสูตร การเพิ่มหรือตัดหลักสูตรและ/หรือการบริการ การปรับปรุง การเรียนการสอน การประเมินผลการเรียนรู้ การใช้เทคโนโลยี การเปลี่ยนแปลงการทดสอบ และ/หรือการยอมรับมาตรฐาน การบริการที่เสนอให้กับกลุ่มผู้เรียนใหม่หรือที่เปลี่ยนแปลง ลำดับความสำคัญ การตอบสนองอย่างรวดเร็ว การออกแบบรายวิชาให้เหมาะแก่ผู้เรียน ความเข้าใจในตลาดการศึกษาที่เปลี่ยนแปลง นวัตกรรมที่เกิดขึ้น การจัดการความสัมพันธ์ ของผู้มีส่วนได้ส่วนเสีย โดยอาศัยเครือข่ายคอมพิวเตอร์ และ/หรือการจัดการสารสนเทศ นอกจากนี้ยังรวมถึงการประเมินผลการเรียนการสอนและการปฏิบัติงานของอาจารย์ อธิบายว่าหน่วยงานสร้างความสัมพันธ์อย่างไรเพื่อจูงใจและรักษาผู้เรียนไว้ เสริมสร้าง การเรียนรู้ของผู้เรียน และความสามารถของหน่วยงานในการให้บริการ สร้างความพึงพอใจ ให้ผู้เรียนและผู้มีส่วนได้ส่วนเสีย ผู้รับบริการและเพื่อพัฒนาโอกาสใหม่ๆ

แนวทางการเขียน SAR (อ.2) แนวคำถามสำหรับการประเมิน -คณะวิชามีวิธีการอย่างไรที่จะมั่นใจว่า หลักสูตรทุกหลักสูตรและรายวิชาที่เปิดสอนสอดคล้อง กับความต้องการทางการศึกษาของผู้เรียน ผู้ใช้บัณฑิตและมีมาตรฐานสูง -คณะวิชา/หน่วยงานได้กำหนดผู้มีส่วนได้ส่วนเสียว่าเป็นใครบ้าง -คณะวิชา/หน่วยงานมีกลไกในการสร้างและคงไว้ซึ่งความสัมพันธ์ กับผู้มีส่วนได้ส่วนเสีย , ชุมชนใกล้เคียงสถาบัน อย่างไร -คณะวิชามีวิธีการอย่างไรให้นักศึกษา บัณฑิตรักและผูกพันกับคณะวิชา/หน่วยงาน -คณะวิชามีกระบวนการหรือระบบอะไรเพื่อเก็บรวบรวมข้อมูลจากศิษย์เก่า -ปัจจัยหรือข้อมูลใดบ้างที่คณะวิชาได้รับทราบข้อมูลจากผู้เรียน ที่คณะวิชานำไปใช้ในการปรับปรุง หลักสูตรคณะวิชาได้นำเทคโนโลยีใหม่ๆ รวมทั้งเทคโนโลยีอิเลคทรอนิกส์ เข้าไว้ในหลักสูตร และรายวิชาที่เปิดสอน อย่างไร -คณะวิชามีการจัดกระบวนการพัฒนากระบวนการเรียนรู้ผ่านระบบ E-learning อย่างไร

แนวทางการเขียน SAR (อ.3) องค์ประกอบที่ 3 กิจกรรมพัฒนานักศึกษา แนวทางการเขียน หน่วยงานควรอธิบายวิธีการโดยสังเขป ว่ามีการดำเนินการในเรื่องการพัฒนา นักศึกษาอย่างไร ทั้งเรื่องการจัดกิจกรรมพัฒนานักศึกษามีใครรับผิดชอบ กิจกรรมอะไรบ้าง กิจกรรมพัฒนานักศึกษาครอบคลุมลักษณะที่พึงประสงค์ เช่น พัฒนาสุขภาพจิตใจ พัฒนาสังคม พัฒนาปัญญา พัฒนาทักษะด้านการสื่อสาร การประสานงาน การเป็นผู้นำ ความสามารถในการ คิดวิเคราะห์ ด้านคุณธรรม จริยธรรม ด้านระเบียบวินัย ประชาธิปไตย อนุรักษ์สิ่งแวดล้อม ความรับผิดชอบต่อตนเอง ครอบครัวและสังคม วิธีการที่ใช้ในการดำเนินการใน วางแผนเป็นอย่างไร รวมถึงการระบุผู้มีส่วนเกี่ยวข้องที่สำคัญ ขั้นตอนหลัก วิธีการในการติดตามความก้าวหน้า วิธีการ ประเมินผล และการนำผลประเมินมาใช้ การจัดระบบอาจารย์ที่ปรึกษาในหน่วยงานสอดคล้องกับสถาบันอย่างไร การดำเนินงาน ในเรื่องระบบอาจารย์ที่ปรึกษาเป็นอย่างไร การวางแผนให้คำปรึกษา การรวบรวมผลการดำเนินงาน และการประเมินผลวิเคราะห์ของการพัฒนาปรับปรุงให้เพิ่มประโยชน์มากขึ้น ในด้านการแนะแนว มีบทบาทหน้าที่ของหน่วยงานอย่างไร การรวบรวมผลงานและ ประเมินเพื่อพัฒนา

แนวทางการเขียน SAR (อ.3) แนวคำถามสำหรับการประเมิน -คณะวิชา/หน่วยงานดำเนินการอย่างไรในการกำหนดหรือเลือกประเภทของกิจกรรมที่จัด -คณะวิชา/หน่วยงานใช้ข้อมูลจากการจัดกิจกรรมไปใช้เพื่อวัตถุประสงค์ในการวางหลักสูตร หรือไม่ อย่างไร -คุณลักษณะที่สำคัญของกิจกรรมพัฒนานักศึกษาที่คณะวิชา/หน่วยงานดำเนินการ -คณะวิชา/หน่วยงานสร้างความสัมพันธ์อย่างไรเพื่อจูงใจให้ผู้เรียนมาทำ/เข้าร่วม ในกิจกรรมที่คณะวิชา/หน่วยงานจัด -ผู้เรียนและผู้มีส่วนได้ส่วนเสียมีส่วนร่วมในการดำเนินกิจกรรมของคณะวิชา/หน่วยงานอย่างไร

แนวทางการเขียน SAR (อ.4) องค์ประกอบที่ 4 การวิจัยและการผลิตผลงานวิชาการ แนวทางการเขียน หน่วยงานควรอธิบายวิธีการโดยสังเขป ว่ามีการดำเนินการในเรื่องการวิจัย และการผลิตผลงานทางวิชาการอย่างไรมีการวางแผนอย่างไร ใครรับผิดชอบ มีแนวทางในการ หาแหล่งทุนวิจัยอย่างไร การจัดกิจกรรมหรือการเข้าร่วมกิจกรรมที่เกี่ยวกับการพัฒนาอาจารย์ ในเรื่องการวิจัยและ/หรือการผลิตผลงานทางวิชาการ วิธีการที่ใช้ในการดำเนินการ การประเมินผล และรายละเอียดผลงานวิจัยและ/หรือผลางานทางวิชาการที่ได้ดำเนินการภายในปีการศึกษานี้ หรือเสร็จสิ้นในปีการศึกษา รวมถึงวิธีการเผยแพร่ผลงานวิจัยและ/หรือผลงานทางวิชาการ แนวคำถามสำหรับการประเมิน -คณะวิชา/หน่วยงานมีกระบวนการในการสนับสนุนการวิจัยในชั้นเรียนและงานวิจัยอื่นๆ อย่างไร -ท่านมีวิธีรวบรวมข้อมูลเกี่ยวกับงานวิจัยอย่างไร -ท่านคิดว่าปัจจัยใดที่เป็นอุปสรรคในการทำงานวิจัยและผลงานทางวิชาการ

แนวทางการเขียน SAR (อ.5) องค์ประกอบที่ 5 การบริการวิชาการแก่สังคม แนวทางการเขียน หน่วยงานควรอธิบายวิธีการโดยสังเขป ว่ามีการดำเนินการในเรื่องการบริการ ทางวิชาการแก่สังคมอย่างไรมีการวางแผนอย่างไร ใครรับผิดชอบ รูปแบบวิธีการจัดกิจกรรม การให้บริการที่เป็นประโยชน์ต่อสังคม การประเมินผล รวมถึงการได้รับเชิญเป็นวิทยากร ให้แก่หน่วยงาน / องค์กรภายนอกสถาบัน แนวคำถามสำหรับการประเมิน -คณะวิชา/หน่วยงานมีการคำนึงถึงผลกระทบต่อสังคมจากหลักสูตร และบริการทางวิชาการที่นำเสนออย่างไร -คณะวิชา/หน่วยงานมีกลวิธีในการสืบค้นความต้องการของชุมชนอย่างไร -คณะวิชา/หน่วยงานมีปัญหา อุปสรรคในการดำเนินงานร่วมกับชุมชนอย่างไรบ้าง -ท่านคิดว่ามีปัจจัยใดบ้างที่มีส่วนสำคัญให้การดำเนินงานด้านการบริการวิชาการแก่สังคมของ คณะวิชา/หน่วยงานของท่านประสบความสำเร็จ

แนวทางการเขียน SAR (อ.6) องค์ประกอบที่ 6 การทำนุบำรุงศิลปวัฒนธรรม แนวทางการเขียน หน่วยงานควรอธิบายวิธีการโดยสังเขป ว่ามีการดำเนินการในเรื่องการทำนุบำรุง ศิลปวัฒนธรรมอย่างไร มีกระบวนการส่งเสริมอย่างไร มีการวางแผนอย่างไร ใครรับผิดชอบ รูปแบบวิธีการจัดกิจกรรม การประเมินผล รวมถึงมีกิจกรรมศิลปวัฒนธรรมที่สร้างมาตรฐาน หรือไม่อย่างไร แนวคำถามสำหรับการประเมิน -คณะวิชา/หน่วยงานมีกลวิธีในการสืบค้นความต้องการของชุมชนในเรื่องของศิลปวัฒนธรรมอย่างไร -คณะวิชา/หน่วยงานมีวิธีการอย่างไรที่ทำให้ชุมชนมีส่วนร่วมในการทำนุบำรุงศิลปวัฒนธรรม และมีส่วนร่วมในขั้นตอนใดบ้าง -คณะวิชา/หน่วยงานมีปัญหา อุปสรรคในการดำเนินงานร่วมกับชุมชนอย่างไรบ้าง -ท่านคิดว่ามีปัจจัยใดบ้างที่มีส่วนสำคัญให้การดำเนินงานด้านการทำนุบำรุง ศิลปวัฒนธรรมของคณะวิชา/หน่วยงานของท่านประสบความสำเร็จ

แนวทางการเขียน SAR (อ.7) องค์ประกอบที่ 7 การบริหารจัดการ แนวทางการเขียน หน่วยงานควรอธิบายวิธีการโดยสังเขปในเรื่องการนำนโยบายมาปฏิบัติ การดำเนินการด้านการบริหารบุคคล เช่น การสรรหา การคัดเลือก การพัฒนาบุคลากร การประเมินผลงานในการพิจารณาความดีความชอบ การมอบหมายงาน มีการดำเนินการ ด้านการบริหารอุปกรณ์และทรัพยากร การจัดวางระบบข้อมูลและสารสนเทศเพื่อการวางแผน และการตัดสินใจอย่างไร มีการสนับสนุนการให้ทำงานเป็นทีมหรือไม่ แนวคำถามสำหรับการประเมิน -บุคลากรระดับต่างๆ ของคณะวิชา/หน่วยงานได้รับทราบนโยบาย และทิศทางของคณะวิชา/หน่วยงานได้อย่างไร -มีตัวชี้วัดอะไรบ้างที่แสดงถึงความร่วมมือของบุคลากรในคณะวิชา/หน่วยงาน -คณะวิชา/หน่วยงานได้ใช้ผลการประเมิน/ทบทวนผลงานไปใช้ในการหาโอกาสในการ ปรับปรุงการดำเนินงานอย่างไร -คณะวิชา/หน่วยงานมีการจัดระบบงาน เพื่อส่งเสริมให้เกิดความยืดหยุ่น ปรับตัวให้ทันต่อความต้องการของคณะวิชา/หน่วยงานอย่างไร

แนวทางการเขียน SAR (อ.8) องค์ประกอบที่ 8 การเงินและงบประมาณ แนวทางการเขียน หน่วยงานควรอธิบายวิธีการโดยสังเขป ว่ามีการดำเนินการในเรื่องการจัดทำ แผนงบประมาณของหน่วยงานอย่างไร ใครเป็นผู้รับผิดชอบ มีการประเมินผลและทบทวน แผนงบประมาณอย่างไร แนวคำถามสำหรับการประเมิน -คณะวิชา/หน่วยงานมีวิธีการในการจัดสรรงบประมาณอย่างไร -บุคลากรในคณะวิชา/หน่วยงานมีส่วนร่วมในการจัดสรรงบประมาณอย่างไร

แนวทางการเขียน SAR (อ.9) องค์ประกอบที่ 9 ระบบและกลไกการประกันคุณภาพ แนวทางการเขียน หน่วยงานควรอธิบายวิธีการโดยสังเขป ว่ามีการดำเนินการในเรื่อง การประกันคุณภาพอย่างไร ผู้รับผิดชอบคือใคร มีการวางแผนในด้านการประกันคุณภาพ สอดคล้องกับมหาวิทยาลัยอย่างไร รวมถึงมีการพัฒนาปรับปรุงเมื่อเปรียบเทียบกับปีการศึกษา ที่ผ่านมาอย่างไร แนวคำถามสำหรับการประเมิน -คณะวิชา/หน่วยงานมีระบบและกลไกการประกันคุณภาพอย่างไรและสอดคล้องกับระบบและกลไกการประกันคุณภาพของมหาวิทยาลัยอย่างไร -คณะวิชา/หน่วยงานนำนโยบายการประกันคุณภาพของมหาวิทยาลัยมาใช้อย่างไร คณะวิชา/หน่วยงานได้นำผลจากการประเมินคุณภาพภายในมาปรับปรุงและพัฒนาตนเองอย่างไร -คณะวิชา/หน่วยงานมีวิธีการ/กระบวนการติดตามผลการปรับปรุงและ พัฒนาตนเองอย่างไร

แนวทางการเขียน SAR (สรุป) สรุปผลการประเมินตนเองเป็นรายองค์ประกอบ วิธีการกรอกตัวเลข Double Click ที่ตาราง แล้วกรอกเฉพาะข้อมูลตัวเลขลงในตาราง Program Microsoft Excel จะทำการคำนวณโดยอัตโนมัติ เมื่อกรอกข้อมูลเรียบร้อยแล้ว Click Mouse นอกตาราง 1 ครั้ง จะกลับสู่หน้าจอ Microsoft Word ตามปกติ องค์ประกอบที่ จำนวนดัชนี จำนวนดัชนีตามเกณฑ์ประเมิน ค่าเฉลี่ย (เต็ม 5) 5 4 3 2 1 1. ปรัชญา ปณิธาน วัตถุประสงค์ และแผนงาน   2.67 2. การเรียนการสอน 8 3.50 7. การบริหารและจัดการ 3.60 8. การเงินและงบประมาณ 3.00 9. ระบบและกลไกในการประกันคุณภาพ 3.25 รวม 21 3.33 ค่าเฉลี่ยรายดัชนี

แนวทางการเขียน SAR (สรุป2) สรุปจุดอ่อน/จุดแข็งและแนวทางแก้ไข/แนวทางเสริม สอดคล้องกับการนำเสนอ ผลการดำเนินงาน แนวทางการเขียน ควรเป็นการเขียนถึงสรุปจุดอ่อน จุดแข็ง.ในภาพรวมของแต่ละองค์ประกอบ ไม่จำเป็นต้อง copy จุดอ่อน/จุดแข็งของแต่ละองค์ประกอบมาใส่ไว้ทั้งหมด องค์ประกอบที่ จุดอ่อน/จุดแข็ง แนวทางแก้ไข/ แนวทางเสริม 1. ปณิธาน วัตถุประสงค์ และแผนงาน 2. การเรียนการสอน

แนวทางการเขียน SAR (ส่วน.2) ส่วนที่ 2 ข้อมูลเชิงปริมาณ ให้แนบตาราง จากการกรอกข้อมูลเชิงปริมาณจาก ไฟล์ Microsoft Excel ที่มีข้อมูลของ คณะวิชา/หน่วยงานของท่านไว้ในส่วนที่ 2 ของรายงานการประเมินตนเอง ข้อมูลเชิงปริมาณตามมาตรฐานและตัวบ่งชี้ของ สมศ. (ผลการดำเนินงานปีการศึกษา 2547) ภาควิชาคณิตศาสตร์และสถิติ คณะวิทยาศาสตร์ ข้อมูลวุฒิการศึกษาและตำแหน่งทางวิชาการของอาจารย์ ที่ (นาย/นาง/น.ส.) ชื่อ-นามสกุล สถานภาพ (ประจำ/ ลาศึกษาต่อ) วุฒิการศึกษา (เอก/โท/ตรี) ตำแหน่งทางวิชาการ (ศ./รศ./ผศ./อาจารย์) แฟ้มสะสมงาน (มี/ไม่มี) 1   2

แนวทางการเขียน SAR (อ้างอิง) การจัดเอกสารหลักฐานอ้างอิง การจัดเอกสาร หลักฐานอ้างอิง หน่วยงานสามารถจัดได้หลายรูปแบบ ซึ่งสิ่งที่สำคัญคือ การจัดอย่างมีระบบ สามารถสืบค้นได้ง่าย และสอดคล้องกับผลการดำเนินงาน องค์ประกอบ เอกสาร/หลักฐาน 1. ปณิธาน วัตถุประสงค์ และแผนงาน 1.1.1 คู่มือประกันคุณภาพของคณะ……. ฯลฯ 1.1.2 รายงานการประชุมคณะครั้งที่…/2547 1.1.3 รายงานการประชุมคณะครั้งที่…/2547 1.2.1 แผนงานหลัก 5 ปี และแผนปฏิบัติงานประจำปี ฯลฯ 1.2.2 รายงานการประชุมคณะครั้งที่…/2547 1.2.3 คำสั่ง/ประกาศคณะ……/2547 1.3.1 คำสั่งแต่งตั้ง….ที่…..ฯลฯ 2. การเรียนการสอน 2.1.1 2.2.1

แนวทางการเขียน SAR (อ้างอิง2) คำอธิบายเลขเอกสารหลักฐานอ้างอิง เอกสาร/หลักฐานที่อ้างอิงผลการดำเนินงาน อาจใช้ได้ในหลายองค์ประกอบ ควรระบุหมายเลข ที่ชัดเจน การลำดับเอกสารตามองค์ประกอบและจัดทำดัชนีสืบค้นจะช่วยให้การดำเนินการ ของคณะผู้ประเมินมีความรอบคอบมากขึ้น -การจัดเอกสาร/หลักฐานอ้างอิงควรจัดเรียบเรียงเป็นหมวดหมู่ให้สอดคล้องกับผลดำเนินงาน 1.2.1 หมายเลขดัชนี หมายเลขเอกสารอ้างอิง หมายเลของค์ประกอบ

แนวทางการเขียน SAR (ผนวก) ภาคผนวก การเขียนรายการเอกสารในภาคผนวก เป็นรายการเอกสารซึ่งเตรียมไว้เพิ่มเติมเพื่อประกอบ รายงานการประเมินตนเอง (SAR) โดยให้เตรียมเอกสารไว้อย่างน้อย 2 เล่ม คือ - รายงานผลการประเมินคุณภาพภายใน ปีการศึกษา 2546 - รายงานการประเมินตนเอง (SAR) ปีการศึกษา 2546

แผนการประเมินคุณภาพภายใน กิจกรรม ระยะเวลาการดำเนินการ ภาควิชา/หน่วยงานย่อย จัดทำรายงานประเมินตนเอง(Self Assessment Report :SAR) ปีการศึกษา 2547 และส่งให้หน่วยงานต้นสังกัดรวบรวมข้อมูลเพื่อประเมินตนเอง ให้แต่ละหน่วยงานจัดทำแผนการประเมินคุณภาพภายในของตนเอง โดยสอดคล้องกับแผนของหน่วยงานต้นสังกัดและแผนการประเมินคุณภาพภายในของมหาวิทยาลัย จากมติการประชุมคณะกรรมการประกันคุณภาพการศึกษาทางวิชาการครั้งที่ 1/2547 วันที่ 30 พฤศจิกายน 2547 ได้มีมติให้หน่วยงานภายใต้สังกัดฝ่ายวิชาการจัดส่งรายงานการประเมินตนเองดังนี้ ภาควิชาส่ง SAR ให้คณะวิชาภายในวันที่ 16 พฤษภาคม 2548 - คณะวิชา/หน่วยงานสนับสนุนวิชาการส่ง SAR ให้ฝ่าย วิชาการ ภายในวันที่ 7 มิถุนายน 2548 -ฝ่ายวิชาการส่ง SAR ให้มหาวิทยาลัยภายในวันที่ 30 มิถุนายน 2548 คณะวิชา/สำนัก/สถาบัน/ศูนย์ และหน่วยงานเทียบเท่าจัดทำรายงานประเมินตนเอง (Self Assessment Report : SAR) ปีการศึกษา 2547 หน่วยงานระดับฝ่าย รวบรวมข้อมูลเพื่อจัดทำ SAR ปีการศึกษา 2547

แผนการประเมินคุณภาพภายใน(ต่อ) กิจกรรม ระยะเวลาการดำเนินการ หน่วยงานทุกระดับทุกฝ่าย ส่งข้อมูล (upload) SAR ปีการศึกษา 2547 และข้อมูลเพื่อเตรียมรับการประเมินคุณภาพจากภายนอก ให้สำนักประกันฯ ผ่านระบบสารสนเทศออนไลน์ กำหนดส่งภายในวันที่ 30 มิถุนายน 2548 ประชุมผู้ประเมินคุณภาพภายใน เพื่อเตรียมความพร้อมและซักซ้อมความเข้าใจก่อนการประเมินคุณภาพภายใน ปีการศึกษา 2547 วันที่ 1 – 15 กรกฎาคม 2548 สำนักประกันคุณภาพการศึกษาจัดทำรายงานการประเมินคุณภาพมหาวิทยาลัย (QAR2) /รายงานสัมฤทธิผลการดำเนินงานของมหาวิทยาลัยพายัพปีการศึกษา 2547 และส่งรายงานให้สำนักงาน คณะกรรมการการอุดมศึกษา (สกอ.)และ สำนักงานรับรองมาตรฐานและประเมิน คุณภาพการศึกษา (สมศ.) กรกฎาคม 2548 – 1 กันยายน 2548

แผนการประเมินคุณภาพภายใน(ต่อ) กิจกรรม ระยะเวลาการดำเนินการ ประเมินคุณภาพภายในโดยคณะผู้ประเมินของมหาวิทยาลัย(คณะวิชา/หน่วยงานสนับสนุนวิชาการ) กรกฎาคม 2548 – กันยายน 2548 สำนักประกันคุณภาพการศึกษาสรุปผลการประเมินคุณภาพภายใน ตุลาคม 2548 – พฤศจิกายน 2548 ประเมินแผน/การดำเนินการของการประเมินคุณภาพภายในปีการศึกษา 2547 พฤศจิกายน 2548 – ธันวาคม 2548

Q & A

การUpload SAR และ ข้อมูลเชิงปริมาณตามมาตรฐานและ ตัวบ่งชี้ของ สมศ

ไฟล์ที่ต้อง Upload ไฟล์ที่ต้อง Upload ผ่านระบบสารสนเทศออนไลน์นั้น มี 2 กลุ่ม คือ 1. ไฟล์ข้อมูลเชิงปริมาณตามมาตรฐานและตัวบ่งชี้ของ สมศ. ซึ่งเป็นไฟล์ประเภท Microsoft Excel (.xls) โดยทางสำนักประกันคุณภาพฯ ได้จัดเตรียมแบบฟอร์มนี้ ให้แต่ละคณะวิชา/หน่วยงาน ซึ่งสามารถ download ได้ผ่านระบบสารสนเทศออนไลน์ 2. ไฟล์ข้อมูล SAR ของคณะวิชา/หน่วยงาน ประจำปีการศึกษา 2547 แต่ละคณะวิชา/ หน่วยงานจะจัดทำขึ้น ตามองค์ประกอบที่มติที่ประชุมคณะกรรมการประกันคุณภาพระดับ หน่วยงานสนับสนุนวิชาการและคณะกรรมการประกันคุณภาพทางวิชาการ ได้กำหนดไว้ โดยจะเป็นไฟล์ประเภท Microsoft Word (.doc) โดยทางสำนักประกันคุณภาพฯ ได้จัดเตรียมแบบฟอร์มแต่ละส่วนให้คณะวิชา/หน่วยงาน สามารถ download ได้ผ่านระบบสารสนเทศออนไลน์

ขั้นตอนการเตรียมไฟล์ข้อมูลสำหรับ Upload กรณีไฟล์ข้อมูลเชิงปริมาณตามมาตรฐานและตัวบ่งชี้ของ สมศ (.xls) ให้แต่ละหน่วยงานกรอกข้อมูล และตรวจสอบความถูกต้องของข้อมูลในทุก Sheet จากนั้นจัดเก็บ (save) โดยใช้ชื่อไฟล์เดิม ตามที่สำนักประกันคุณภาพฯ ได้กำหนดไว้ กรณีไฟล์ข้อมูล SAR ของคณะวิชา/หน่วยงาน เนื่องจากว่าข้อมูล SAR ของแต่ละคณะวิชา/หน่วยงานมีรายละเอียดค่อนข้างมาก อีกทั้ง SAR ของบางภาควิชา/หน่วยงานย่อย จำเป็นต้องใช้สำหรับการเขียน SAR ของคณะวิชา/หน่วยงานที่ดูแลหน่วยงานใต้สังกัด การจัดเตรียมข้อมูล SAR จึงได้กำหนดรูปแบบไว้ดังต่อไปนี้

ขั้นตอนการเตรียมไฟล์ข้อมูลสำหรับ Upload (2) กรณีไฟล์ข้อมูลเชิงปริมาณตามมาตรฐานและตัวบ่งชี้ของ สมศ (.xls) ให้แต่ละหน่วยงานกรอกข้อมูล และตรวจสอบความถูกต้องของข้อมูลในทุก Sheet จากนั้นจัดเก็บ (save) โดยใช้ชื่อไฟล์เดิม ตามที่สำนักประกันคุณภาพฯ ได้กำหนดไว้ กรณีไฟล์ข้อมูล SAR ของคณะวิชา/หน่วยงาน เนื่องจากว่าข้อมูล SAR ของแต่ละคณะวิชา/หน่วยงานมีรายละเอียดค่อนข้างมาก อีกทั้ง SAR ของบางภาควิชา/หน่วยงานย่อย จำเป็นต้องใช้สำหรับการเขียน SAR ของคณะวิชา/หน่วยงานที่ดูแลหน่วยงานใต้สังกัด การจัดเตรียมข้อมูล SAR จึงได้กำหนดรูปแบบไว้ดังต่อไปนี้

ขั้นตอนการเตรียมไฟล์ข้อมูลสำหรับ Upload (3) 1. ให้แต่ละคณะวิชา/หน่วยงานแยกข้อมูล SAR ออกเป็นแต่ละส่วน ดังนี้ - ปก/คำนำ/สารบัญ ............................................................... - ส่วนนำ ............................................................... - องค์ประกอบที่ 1 ............................................................... - องค์ประกอบที่ 2 ................................................................ - องค์ประกอบที่ 3 (ถ้ามี) ................................................................ - องค์ประกอบที่ 4 (ถ้ามี) ................................................................. - องค์ประกอบที่ 5 (ถ้ามี) ................................................................. - องค์ประกอบที่ 6 (ถ้ามี) .................................................................. - องค์ประกอบที่ 7 .................................................................. - องค์ประกอบที่ 8 .................................................................. - องค์ประกอบที่ 9 .................................................................. - ส่วนสรุป .................................................................. - รายการหลักฐานอ้างอิง/ภาคผนวก...............................................................

ขั้นตอนการเตรียมไฟล์ข้อมูลสำหรับ Upload (4) โดยแต่ละส่วนจะถูกจัดเก็บ (save) แยกเป็นแต่ละไฟล์ โดยมีหลักการตั้งชื่อไฟล์ดังนี้ sar ปีการศึกษา รหัสหน่วยงาน องค์ประกอบ เช่น sar477901.doc เป็นชื่อไฟล์ของข้อมูล sar ของสำนักประกันคุณภาพฯ ประจำปีการศึกษา 2547 องค์ประกอบที่ 1 เป็นต้น กรณีที่เป็นไฟล์ที่นำเสนอข้อมูลที่ไม่ใช่องค์ประกอบ ตำแหน่งของตัวเลของค์ประกอบ ในชื่อไฟล์ ให้ใช้ข้อกำหนดดังต่อไปนี้ - ปก / คำนำ / สารบัญ ใช้รหัส aa - ส่วนนำ ใช้รหัส 00 - ส่วนสรุป ใช้รหัส 10 - รายการหลักฐานอ้างอิง/ภาคผนวก ใช้รหัส 11 เช่น sar4779aa.doc เป็นชื่อไฟล์ที่มีข้อมูลคำนำและสารบัญ สำหรับ sar ของสำนักประกันคุณภาพฯ ประจำปีการศึกษา 2547

ขั้นตอนการเตรียมไฟล์ข้อมูลสำหรับ Upload (5) เพราะฉะนั้นแต่ละคณะวิชา/หน่วยงานจะมีข้อมูล SAR แต่ละส่วน ดังนี้ - ปก/คำนำ/สารบัญ ............................................................... - ส่วนนำ ............................................................... - องค์ประกอบที่ 1 ............................................................... - องค์ประกอบที่ 2 ................................................................ - องค์ประกอบที่ 3 (ถ้ามี) ................................................................ - องค์ประกอบที่ 4 (ถ้ามี) ................................................................. - องค์ประกอบที่ 5 (ถ้ามี) ................................................................. - องค์ประกอบที่ 6 (ถ้ามี) .................................................................. - องค์ประกอบที่ 7 .................................................................. - องค์ประกอบที่ 8 .................................................................. - องค์ประกอบที่ 9 .................................................................. - ส่วนสรุป .................................................................. - รายการหลักฐานอ้างอิง/ภาคผนวก............................................................... sar4779aa.doc sar477900.doc sar477901.doc sar477902.doc sar477903.doc sar477904.doc sar477905.doc sar477906.doc sar477907.doc sar477908.doc sar477909.doc sar477910.doc sar477911.doc

ขั้นตอนการเตรียมไฟล์ข้อมูลสำหรับ Upload (6) 2. การแสดงหมายเลขหน้า ให้แสดงในรูปแบบดังนี้ รหัสองค์ประกอบ หรือรหัสข้อมูลที่กำหนดในข้อ 1 - ลำดับเลขหน้าของไฟล์นั้นๆ เช่น aa -1 หมายถึง หน้าที่ 1 ของส่วน ปก/คำนำ/สารบัญ 00 -3 หมายถึง หน้าที่ 3 ของส่วนนำ 09 -2 หมายถึง หน้าที่ 2 ของข้อมูลองค์ประกอบที่ 9 เป็นต้น

ขั้นตอนการUpload ไฟล์ผ่านระบบสารสนเทศออนไลน์ -หลังจาก login เข้าสู่ระบบสารสนเทศออนไลน์ ให้คลิกที่เมนู “ระบบประกันคุณภาพ” จากนั้นให้เลือกหัวข้อ “upload SAR และข้อมูลเชิงปริมาณตามมาตรฐานและตัวบ่งชี้ ของ สมศ. ประจำปีการศึกษา 2547” -หน้าจอหลักของระบบการ upload จะปรากฏขึ้น *****

ขั้นตอนการUpload ไฟล์ผ่านระบบสารสนเทศออนไลน์(2) -โปรแกรมจะสอบถามรหัสผ่าน (password) เพื่อใช้สำหรับการ upload ให้ใส่รหัสผ่าน ซึ่งได้รับจากสำนักประกันคุณภาพฯ หลังจากนั้น คลิกปุ่ม login เพื่อเข้าสู่ระบบการ upload -จากนั้นให้เลือกหัวข้อ “upload SAR และ ข้อมูลเชิงปริมาณตามมาตรฐานและตัวบ่งชี้ ของสมศ. ประจำปีการศึกษา 2547” -หน้าจอการ upload จะปรากฏขึ้นดังรูป

ขั้นตอนการUpload ไฟล์ผ่านระบบสารสนเทศออนไลน์(3) -ให้ผู้ใช้ คลิกปุ่ม Browse… เพื่อเลือกไฟล์ที่ต้องการ upload จากนั้น คลิกปุ่ม submit (ไม่จำเป็นต้อง upload พร้อมกันทุกๆ หัวข้อ) -หากการ upload เสร็จสมบูรณ์ หน้าจอจะแสดงข้อความเพื่อแจ้งให้ผู้ใช้ทราบว่า การ upload เสร็จเรียบร้อยแล้ว (เฉพาะการ upload ครั้งนั้นๆ)พร้อมทั้งให้ผู้ใช้สามารถ คลิก ดูข้อมูล ของไฟล์ต่างๆ ได้ ดังแสดงตัวอย่างในรูป

ขั้นตอนการUpload ไฟล์ผ่านระบบสารสนเทศออนไลน์(4) view ข้อมูลที่ถูก upload โปรแกรมจะแสดงไฟล์ต่างๆ ที่ได้ upload ไปแล้ว โดยผู้บริหารของหน่วยงานจะเห็นข้อมูลที่ upload ของหน่วยงานที่ตนสังกัด และ หน่วยงานที่อยู่ใต้สังกัด เพื่อนำข้อมูลไปประกอบการเขียน SAR ของหน่วยงานต่อไป

ขอบเขตของโปรแกรมจัดการระบบการUpload -ชื่อไฟล์ของ SAR จะต้องถูกตั้งตามรูปแบบต่อไปนี้ sar ปีการศึกษา รหัสหน่วยงาน องค์ประกอบ เช่น sar477901 คือไฟล์ sar องค์ประกอบที่ 1 ของสำนักประกันคุณภาพฯ ประจำปีการศึกษา 2547 รวมถึงหมายเลขหน้าของเอกสารด้วย ดังแสดงรายละเอียดในหัวข้อ ขั้นตอนการเตรียมไฟล์ข้อมูลสำหรับ upload -กรณีการ upload ไฟล์ SAR ไม่จำเป็นที่ผู้ใช้จะต้อง upload ครบทุกไฟล์ ต่อครั้ง -ผู้ใช้สามารถ upload ไฟล์ซ้ำกันได้ โดยทางสำนักประกันคุณภาพฯ จะใช้ไฟล์ล่าสุดที่ถูก upload ในการประมวลผล -ผู้ใช้สามารถตรวจสอบไฟล์ที่ได้ทำการ upload ไปแล้ว (เฉพาะหน่วยงานที่ผู้ใช้สังกัดเท่านั้น) โดยหากมีการ upload ไฟล์ซ้ำกัน จะแสดงไฟล์ที่ถูก upload ล่าสุด -บุคลากรของสำนักประกันคุณภาพฯ จะสามารถเห็นไฟล์ SAR ทุกไฟล์ของทุกคณะวิชา/หน่วยงาน และสามารถ download มาประมวลผลได้ -สำนักประกันคุณภาพฯ จะประกาศช่วงเวลาที่อนุญาตให้มีการ upload หากพ้นช่วงเวลาดังกล่าว ระบบจะปิดบริการ upload ไฟล์ผ่านระบบสารสนเทศออนไลน์

Q & A