Introduction to CRISP-DM Chapter 2 Introduction to CRISP-DM อาจารย์อนุพงศ์ สุขประเสริฐ คณะการบัญชีและการจัดการ มหาวิทยาลัยมหาสารคาม

Content กระบวนการมาตรฐานในการทำเหมืองข้อมูล กรณีศึกษา การทำความเข้าใจเกี่ยวกับธุรกิจ (Business Understanding) การทำความเข้าใจเกี่ยวกับข้อมูล (Data Understanding) การเตรียมข้อมูล (Data Preparation) การสร้างแบบจำลอง (Modeling) การประเมินผล (Evaluation) การนำไปใช้งาน (Deployment) กรณีศึกษา

CRISP-DM Cross-Industry Standard Process for Data Mining พัฒนามาจาก 3 บริษัท บริษัท SPSS บริษัท DaimlerChrysler บริษัท NCR เป็น workflow มาตรฐานสำหรับการทำ Data Mining

กระบวนการมาตรฐานในการทำเหมืองข้อมูล 3 ขั้นตอนแรกจะใช้เวลา 80% ของทั้งหมด 3 ขั้นตอนหลังจะใช้เวลา 20% ของทั้งหมด

กระบวนการมาตรฐานในการทำเหมืองข้อมูล กระบวนการมาตรฐานในการทำเหมืองข้อมูล ประกอบด้วยขั้นตอน 6 ขั้นตอน 1. การทำความเข้าใจเกี่ยวกับธุรกิจ (Business Understanding) 2. การทำความเข้าใจเกี่ยวกับข้อมูล (Data Understanding) 3. การเตรียมข้อมูล (Data Preparation) 4. การสร้างแบบจำลอง (Modeling) 5. การประเมินผล (Evaluation) 6. การนำไปใช้งาน (Deployment)

Business Understanding การทำความเข้าใจเกี่ยวกับธุรกิจ เป็น ขั้นตอนแรกที่สำคัญมาก เพราะต้องทำความเข้าใจว่า ปัญหาคืออะไร ต้องการคำตอบของปัญหาในทิศทาง หรือลักษณะใด หากไม่เข้าใจปัญหาอย่างถ่องแท้จะทำ ให้ขั้นตอนต่อไปดำเนินไปในทิศทางที่ไม่ถูกต้อง ซึ่ง นอกจากจะไม่ได้คำตอบที่ต้องการแล้ว ยังสูญเสียเวลา และทรัพยากรไปโดยไร้ประโยชน์ด้วย ระบุวัตถุประสงค์ เป้าหมาย และ ข้อจำกัด

Business Understanding (ต่อ) ตัวอย่าง: ทำอย่างไรถึงเพิ่มยอดขายให้กับสินค้าชนิดต่างๆได้ ต้องการแบ่งกลุ่มนิสิตออกตามความสนใจ ทำอย่างไรให้ลูกค้ากลับมาซื้อสินค้าได้อีก อยากทำนายปริมาณน้ำฝนที่ตกใน 2 วันถัดไป อยากรู้ว่าลูกค้าคนใดบ้างมีโอกาสป่วยเป็นโรคมะเร็ง ต้องการเพิ่มยอดขายให้กับสินค้า ต้องการทราบว่าลูกค้าคนใดบ้างที่จะสนใจผลิตภัณฑ์ ตัวใหม่

Data Understanding การทำความเข้าใจเกี่ยวกับข้อมูล เป็น การทำความเข้าใจว่าข้อมูลที่จะนำมาใช้ควรมีลักษณะ อย่างไร แหล่งข้อมูลอยู่ที่ใดและที่สำคัญที่สุดคือ ค่าใช้จ่ายหรือต้นทุน (Costs of Data) ที่จะได้มาซึ่ง ข้อมูลเหล่านั้นมีค่าใช้จ่ายเท่าไร รวมทั้งควรต้อง ประเมินมูลค่าของประโยชน์ที่จะได้รับจากการนำเอา ข้อมูลดังกล่าวมาใช้ รวบรวมข้อมูลที่เกี่ยวข้องจากแหล่งข้อมูล ที่ถูกต้องเหมาะสมเชื่อถือได้ มีปริมาณ มากพอ มีความเหมาะสม มีรายละเอียด เพียงพอต่อการนำไปใช้ในการวิเคราะห์

Data Understanding (ต่อ) ตัวอย่าง: ข้อมูลการซื้อสินค้าของแต่ละบุคคล ข้อมูลการลงทะเบียนและผลการศึกษาของนิสิต ข้อมูลปัจจับการขับเคลื่อนราคาน้ำมัน

Data Preparation การเตรียมข้อมูล โดยปกติระบบประมวลผล ข้อมูล นำเข้าข้อมูล จะอยู่ในรูปแบบที่จำกัด (Fixed Known Format) แต่ในความเป็นจริงข้อมูลส่วนใหญ่ ไม่ได้จัดเก็บในลักษณะดังกล่าวจึงต้องการกระบวนการ แปลงข้อมูล (Data Transformation) หรือเปลี่ยนชนิด ข้อมูล (Data Conversion) เพื่อให้ข้อมูลอยู่ในลักษณะ หรือรูปแบบที่ง่ายต่อการนำไปประมวลผลหรือวิเคราะห์ ต่อไป ถือว่าเป็นขั้นตอนที่ใช้เวลานานที่สุด ประมาณ 85% ของเวลาทั้งหมดที่ใช้

Data Preparation (ต่อ) สามารถแบ่งออกได้เป็น 3 ขั้นตอน 1. ทำการคัดเลือกข้อมูล (Data Selection) เป็นการเลือกฟิลด์หรือข้อมูลที่เกี่ยวข้องกับการทำเหมืองข้อมูล 2. ทำการกลั่นกรองข้อมูล (Data Cleaning) เป็นขั้นตอนการทำความสะอาดข้อมูล เพื่อจัดให้อยู่ใน รูปแบบที่เหมาะสมก่อนทำ DM 3. แปลงรูปแบบของข้อมูล (Data Transformation) เป็นการแปลงข้อมูลให้อยู่ในรูปแบบที่พร้อมนำไปใช้ในการ วิเคราะห์ตามขั้นตอนของ DM

ทำการคัดเลือกข้อมูล (Data Selection) กำหนดเป้าหมายก่อนว่าเราจะทำการวิเคราะห์ เลือกใช้เฉพาะข้อมูลที่เกี่ยวข้องกับสิ่งที่เราจะทำการ วิเคราะห์

ทำการกลั่นกรองข้อมูล (Data Cleaning) ลบข้อมูลที่ซ้ำซ้อน แก้ไขข้อมูลที่ผิดพลาด ข้อมูลผิดรูปแบบ (noise) ข้อมูลสูญหาย/ไม่ครบถ้วน (missing value) ข้อมูลที่แปลกแยกจากข้อมูลอื่น (outliner) ข้อมูลนิสิตชั้นปีที่ 4 ปีการศึกษา 2560 ภาคต้น รหัสนิสิต เพศ อายุ ความสูง น้ำหนัก 57001 ชาย 20 180 70 5702A ญ 80 35 57123 หญิง 21 150 2500 58002 ช 19 175 90 หมายเหตุ: ข้อมูลสมมติ

แปลงรูปแบบของข้อมูล (Data Transformation) เป็นขั้นตอนการเตรียมข้อมูลให้อยู่ในรูปแบบที่พร้อม นำไปใช้ในการวิเคราะห์ตาม algorithm ของ data mining ที่เลือกใช้ ID สินค้า จำนวน 1 ปากกา ยางลบ คลิป 10 2 สมุด 3 ID สมุด ปากกา ยางลบ คลิป 1 - TRUE 2 3 ข้อมูลสำหรับการหากฎความสัมพันธ์ (Association Rules) ข้อมูลในฐานข้อมูล POS

Modeling การสร้างแบบจำลอง  คือ การสร้างรูปแบบ ความสัมพันธ์ (Relational Pattern) อาจจะอยู่ในรูป ของแบบจำลองบนซอฟต์แวร์ (Computer Model) หรือสมการความสัมพันธ์ (Equation) ก็ได้ เป็นการสร้างตัวแบบ โดยการนำเทคนิค เหมืองข้อมูลมาใช้ในการวิเคราะห์ข้อมูลเพื่อให้ได้ ผลลัพธ์ที่ดีที่สุด การหากฏความสัมพันธ์ (Association Rule) การจัดกลุ่ม (Clustering) การจำแนกประเภทของข้อมูล (Classification)

Modeling (ต่อ) การหากฏความสัมพันธ์ (Association Rule) ค้นหารูปแบบความสัมพันธ์ของข้อมูลที่เกิดร่วมกัน เช่น ค้นหาสินค้าที่มีการซื้อร่วมกันบ่อยๆ

Modeling (ต่อ) การจัดกลุ่ม (Clustering) การแบ่งข้อมูลหลายๆกลุ่มตามความคล้ายคลึงกัน ของข้อมูล เช่น แบ่งกลุ่มนิสิตตามคะแนนที่ได้, แบ่งกลุ่ม ลูกค้าตามลักษณะการซื้อสินค้า

Modeling (ต่อ) การจำแนกประเภทของข้อมูล (Classification) สร้างโมเดลจากข้อมูลที่มีอยู่ที่ได้มีการกำหนด คลาสไว้เรียบร้อยแล้ว เพื่อที่จะไว้ใช้ในการ ทำนายอนาคต เช่น ทำนายปริมาณน้ำฝนที่ตกในวันถัดไป, การ ทำนายประเภทของลูกค้าว่ามีเครดิตระดับต่ำ ปาน กลาง สูง

Evaluation การประเมินผล หลังจากที่ได้แบบจำลองแล้ว ต้องทำการประเมินผลว่าแบบจำลองนั้นมีความถูกต้อง แม่นยำมากน้อยเพียงใด โดยอาจทดลองในระบบ เสมือน (Simulation) หรือนำไปประมวลผลกับข้อมูล จริงที่มีอยู่เพื่อเปรียบเทียบผล ของการวิเคราะห์ว่า ถูกต้องเป็นร้อยละเท่าใด

Deployment การนำไปใช้งาน หลังจากที่ได้แบบจำลองที่มี คุณภาพและความถูกต้องแม่นยำตามที่เราต้องการก็ สามารถนำไปใช้งานจริง โดยอาจต้องมีการปรับแต่ง เพื่อความเหมาะสมในสภาวะจริง อีกทั้งยังต้องติดตั้ง ร่วมกับระบบอื่นๆ เช่น ระบบช่วยการตัดสินใจ (Decision Support System) อย่างไรก็ตามหลังจากการ ติดตั้งแล้วควรมีการปรับปรุงแบบจำลองเป็นระยะๆ (Periodic Update) เพราะแท้จริงแล้วการทำเหมือง ข้อมูลไม่มีที่สิ้นสุด

กรณีศึกษา:ตัวอย่าง CRISP-DM อ้างอิงจากงานวิจัยเรื่อง “การใช้เทคนิคดาต้าไมน์นิงเพื่อพัฒนาคุณภาพการศึกษานิสิตคณะวิศวกรรมศาสตร์”* 1. การทำความเข้าใจเกี่ยวกับธุรกิจ (Business Understanding) นิสิตคณะวิศวกรรมศาสตร์ ม.เกษตรศาสตร์ จะเลือก ภาควิชาเมื่อขึ้นชั้นปีที่ 2 นิสิตเลือกภาควิชาไม่ตรงกับความสามารถของตนเอง เลือกตามเพื่อน เลือกตามผู้ปกครองแนะนำ นิสิตบางคนได้ผลการเรียนตกตำและทำให้ต้องออก จากมหาวิทยาลัยกลางคัน *กฤษณะ ไวยมัย, ชิดชนก ส่งศิริ และธนาวินท์ รักธรรมานนท์, การใช้เทคนิคดาต้าไมน์นิงเพื่อพัฒนาคุณภาพการศึกษานิสิตคณะวิศวกรรมศาสตร์, NECTEC Technical Journal, 3(11), 2001

กรณีศึกษา:ตัวอย่าง CRISP-DM อ้างอิงจากงานวิจัยเรื่อง “การใช้เทคนิคดาต้าไมน์นิงเพื่อพัฒนาคุณภาพการศึกษานิสิตคณะวิศวกรรมศาสตร์”* 2. การทำความเข้าใจเกี่ยวกับข้อมูล (Data Understanding) ข้อมูลนิสิตคณะวิศวกรรมศาสตร์ ม.เกษตรศาสตร์ ช่วงปี พ.ศ.2535-2542 นิสิตประมาณ 10,000 คน ข้อมูลมีจำนวน 476,085 แถว ข้อมูลแบ่งเป็น 2 ส่วน ข้อมูลประวัติส่วนตัวของนิสิต เพศ, ที่อยู่, GPA ระดับม.ปลาย GPA ชั้นปีที่ 1 ข้อมูลการลงทะเบียนของนิสิต เกรดวิชาคณิตศาสตร์, เกรดวิชาฟิสิกส์, เกรดวิชาเคมี *กฤษณะ ไวยมัย, ชิดชนก ส่งศิริ และธนาวินท์ รักธรรมานนท์, การใช้เทคนิคดาต้าไมน์นิงเพื่อพัฒนาคุณภาพการศึกษานิสิตคณะวิศวกรรมศาสตร์, NECTEC Technical Journal, 3(11), 2001

กรณีศึกษา:ตัวอย่าง CRISP-DM อ้างอิงจากงานวิจัยเรื่อง “การใช้เทคนิคดาต้าไมน์นิงเพื่อพัฒนาคุณภาพการศึกษานิสิตคณะวิศวกรรมศาสตร์”* รหัสนิสิต เพศ ที่อยู่ GPA ม.ปลาย … 37058063 ชาย กรุงเทพ 2.5 …. 2.3 37058167 สงขลา 3.4 3.3 ข้อมูลประวัติส่วนตัวของนิสิต รหัสนิสิต วิชา ปีการศึกษา เกรด 37058063 คอมพิวเตอร์ 2537 C+ คณิตศาสตร์ D … ข้อมูลการลงทะเบียนของนิสิต *กฤษณะ ไวยมัย, ชิดชนก ส่งศิริ และธนาวินท์ รักธรรมานนท์, การใช้เทคนิคดาต้าไมน์นิงเพื่อพัฒนาคุณภาพการศึกษานิสิตคณะวิศวกรรมศาสตร์, NECTEC Technical Journal, 3(11), 2001

กรณีศึกษา:ตัวอย่าง CRISP-DM อ้างอิงจากงานวิจัยเรื่อง “การใช้เทคนิคดาต้าไมน์นิงเพื่อพัฒนาคุณภาพการศึกษานิสิตคณะวิศวกรรมศาสตร์”* 3. การเตรียมข้อมูล (Data Preparation) คัดเลือกวิชาที่เกี่ยวข้องกับภาควิชาต่างๆ ในคณะ วิศวกรรมศาสตร์ แปลงข้อมูลให้เหมาะสมกับการวิเคราะห์ *กฤษณะ ไวยมัย, ชิดชนก ส่งศิริ และธนาวินท์ รักธรรมานนท์, การใช้เทคนิคดาต้าไมน์นิงเพื่อพัฒนาคุณภาพการศึกษานิสิตคณะวิศวกรรมศาสตร์, NECTEC Technical Journal, 3(11), 2001

กรณีศึกษา:ตัวอย่าง CRISP-DM อ้างอิงจากงานวิจัยเรื่อง “การใช้เทคนิคดาต้าไมน์นิงเพื่อพัฒนาคุณภาพการศึกษานิสิตคณะวิศวกรรมศาสตร์”* รหัสนิสิต เพศ ที่อยู่ GPA ม.ปลาย … 37058063 ชาย กรุงเทพ 2.5 …. 2.3 37058167 สงขลา 3.4 3.3 รหัสนิสิต วิชา ปีการศึกษา เกรด 37058063 คอมพิวเตอร์ 2537 C+ คณิตศาสตร์ D … ข้อมูลการลงทะเบียนของนิสิต ข้อมูลประวัติส่วนตัวของนิสิต รหัสนิสิต เพศ คอมพิวเตอร์ คณิตศาสตร์ … GPA 37058063 ชาย LOW 2.3 37058167 HIGH 3.3 ข้อมูลสำหรับการวิเคราะห์ *กฤษณะ ไวยมัย, ชิดชนก ส่งศิริ และธนาวินท์ รักธรรมานนท์, การใช้เทคนิคดาต้าไมน์นิงเพื่อพัฒนาคุณภาพการศึกษานิสิตคณะวิศวกรรมศาสตร์, NECTEC Technical Journal, 3(11), 2001

กรณีศึกษา:ตัวอย่าง CRISP-DM อ้างอิงจากงานวิจัยเรื่อง “การใช้เทคนิคดาต้าไมน์นิงเพื่อพัฒนาคุณภาพการศึกษานิสิตคณะวิศวกรรมศาสตร์”* 4. การสร้างแบบจำลอง (Modeling) แบ่งข้อมูลออกเป็น 2 ส่วนคือ 70% ของข้อมูลทั้งหมดใช้ในการสร้างโมเดล 30% ของข้อมูลทั้งหมดใช้ในการทดสอบประสิทธิภาพของ โมเดล สร้างโมเดลด้วยเทคนิค Decision Tree ซึ่งจะได้ โมเดลที่สามารถเข้าใจได้ง่าย โมเดลแบ่งแยกตามภาควิชาต่างๆ เช่น ภาควิชา วิศวกรรมคอมพิวเตอร์ วิศวกรรมไฟฟ้า *กฤษณะ ไวยมัย, ชิดชนก ส่งศิริ และธนาวินท์ รักธรรมานนท์, การใช้เทคนิคดาต้าไมน์นิงเพื่อพัฒนาคุณภาพการศึกษานิสิตคณะวิศวกรรมศาสตร์, NECTEC Technical Journal, 3(11), 2001

กรณีศึกษา:ตัวอย่าง CRISP-DM อ้างอิงจากงานวิจัยเรื่อง “การใช้เทคนิคดาต้าไมน์นิงเพื่อพัฒนาคุณภาพการศึกษานิสิตคณะวิศวกรรมศาสตร์”* 4. การสร้างแบบจำลอง (Modeling) –ต่อ คำตอบจะแบ่งเป็น 2 ประเภท คือ GOOD หมายถึง นิสิตเรียนภาควิชานี้แล้วจบมาได้ GPA อยู่ ในช่วง 40% แรก (Top 40%) BAD หมายถึง นิสิตเรียนภาควิชานี้แล้วจบมาได้ GPA อยู่ ในช่วง 40% จากท้าย (Bottom 40%) *กฤษณะ ไวยมัย, ชิดชนก ส่งศิริ และธนาวินท์ รักธรรมานนท์, การใช้เทคนิคดาต้าไมน์นิงเพื่อพัฒนาคุณภาพการศึกษานิสิตคณะวิศวกรรมศาสตร์, NECTEC Technical Journal, 3(11), 2001

กรณีศึกษา:ตัวอย่าง CRISP-DM อ้างอิงจากงานวิจัยเรื่อง “การใช้เทคนิคดาต้าไมน์นิงเพื่อพัฒนาคุณภาพการศึกษานิสิตคณะวิศวกรรมศาสตร์”* IF Computer is HIGH THEN Graduate is Good IF Computer is LOW AND Mathematics is HIGH THEN Graduate is Good IF Computer is LOW AND Mathematics is LOW AND Physics is HIGH THEN Graduate is Good IF Computer is LOW AND Mathematics is LOW AND Physics is LOW THEN Graduate is Bad 4. การสร้างแบบจำลอง (Modeling) –ต่อ Computer Mathematics Physics GOOD BAD = HIGH = LOW โมเดลของภาควิชาวิศวกรรมคอมพิวเตอร์ เงื่อนไขที่สร้างได้จากโมเดล *กฤษณะ ไวยมัย, ชิดชนก ส่งศิริ และธนาวินท์ รักธรรมานนท์, การใช้เทคนิคดาต้าไมน์นิงเพื่อพัฒนาคุณภาพการศึกษานิสิตคณะวิศวกรรมศาสตร์, NECTEC Technical Journal, 3(11), 2001

กรณีศึกษา:ตัวอย่าง CRISP-DM อ้างอิงจากงานวิจัยเรื่อง “การใช้เทคนิคดาต้าไมน์นิงเพื่อพัฒนาคุณภาพการศึกษานิสิตคณะวิศวกรรมศาสตร์”* รหัสนิสิต เพศ Comp. Math … Com Eng 6000123 ชาย LOW HIGH ?? 5. การประเมินผล (Evaluation) ทดสอบด้วยข้อมูล 30% ที่แบ่งไว้ คำนวณค่าความถูกต้อง 6. การนำไปใช้งาน (Deployment) นำไปแนะนำนิสิตชั้นปีที่ 1 ที่กำลังจะ เลือกภาควิชา พิจารณาจากเกรดตามโมเดลที่สร้างได้ ข้อมูลของนิสิตชั้นปีที่ 1 ที่ต้องการได้รับคำแนะนำ Computer Mathematics Physics GOOD BAD = HIGH = LOW โมเดลของภาควิชาวิศวกรรมคอมพิวเตอร์ *กฤษณะ ไวยมัย, ชิดชนก ส่งศิริ และธนาวินท์ รักธรรมานนท์, การใช้เทคนิคดาต้าไมน์นิงเพื่อพัฒนาคุณภาพการศึกษานิสิตคณะวิศวกรรมศาสตร์, NECTEC Technical Journal, 3(11), 2001

กรณีศึกษา:ตัวอย่าง CRISP-DM อ้างอิงจากงานวิจัยเรื่อง “การใช้เทคนิคดาต้าไมน์นิงเพื่อพัฒนาคุณภาพการศึกษานิสิตคณะวิศวกรรมศาสตร์”* รหัสนิสิต เพศ Comp. Math … Com Eng 6000123 ชาย LOW HIGH ?? 5. การประเมินผล (Evaluation) ทดสอบด้วยข้อมูล 30% ที่แบ่งไว้ คำนวณค่าความถูกต้อง 6. การนำไปใช้งาน (Deployment) นำไปแนะนำนิสิตชั้นปีที่ 1 ที่กำลังจะ เลือกภาควิชา พิจารณาจากเกรดตามโมเดลที่สร้างได้ ข้อมูลของนิสิตชั้นปีที่ 1 ที่ต้องการได้รับคำแนะนำ Computer Mathematics Physics GOOD BAD = HIGH = LOW โมเดลของภาควิชาวิศวกรรมคอมพิวเตอร์ *กฤษณะ ไวยมัย, ชิดชนก ส่งศิริ และธนาวินท์ รักธรรมานนท์, การใช้เทคนิคดาต้าไมน์นิงเพื่อพัฒนาคุณภาพการศึกษานิสิตคณะวิศวกรรมศาสตร์, NECTEC Technical Journal, 3(11), 2001

กรณีศึกษา:ตัวอย่าง CRISP-DM อ้างอิงจากงานวิจัยเรื่อง “การใช้เทคนิคดาต้าไมน์นิงเพื่อพัฒนาคุณภาพการศึกษานิสิตคณะวิศวกรรมศาสตร์”* รหัสนิสิต เพศ Comp. Math … Com Eng 6000123 ชาย LOW HIGH ?? 5. การประเมินผล (Evaluation) ทดสอบด้วยข้อมูล 30% ที่แบ่งไว้ คำนวณค่าความถูกต้อง 6. การนำไปใช้งาน (Deployment) นำไปแนะนำนิสิตชั้นปีที่ 1 ที่กำลังจะ เลือกภาควิชา พิจารณาจากเกรดตามโมเดลที่สร้างได้ ข้อมูลของนิสิตชั้นปีที่ 1 ที่ต้องการได้รับคำแนะนำ Computer Mathematics Physics GOOD BAD = HIGH = LOW โมเดลของภาควิชาวิศวกรรมคอมพิวเตอร์ *กฤษณะ ไวยมัย, ชิดชนก ส่งศิริ และธนาวินท์ รักธรรมานนท์, การใช้เทคนิคดาต้าไมน์นิงเพื่อพัฒนาคุณภาพการศึกษานิสิตคณะวิศวกรรมศาสตร์, NECTEC Technical Journal, 3(11), 2001

กรณีศึกษา:ตัวอย่าง CRISP-DM อ้างอิงจากงานวิจัยเรื่อง “การใช้เทคนิคดาต้าไมน์นิงเพื่อพัฒนาคุณภาพการศึกษานิสิตคณะวิศวกรรมศาสตร์”* รหัสนิสิต เพศ Comp. Math … Com Eng 6000123 ชาย LOW HIGH GOOD 5. การประเมินผล (Evaluation) ทดสอบด้วยข้อมูล 30% ที่แบ่งไว้ คำนวณค่าความถูกต้อง 6. การนำไปใช้งาน (Deployment) นำไปแนะนำนิสิตชั้นปีที่ 1 ที่กำลังจะ เลือกภาควิชา พิจารณาจากเกรดตามโมเดลที่สร้างได้ ข้อมูลของนิสิตชั้นปีที่ 1 ที่ต้องการได้รับคำแนะนำ Computer Mathematics Physics GOOD BAD = HIGH = LOW โมเดลของภาควิชาวิศวกรรมคอมพิวเตอร์ *กฤษณะ ไวยมัย, ชิดชนก ส่งศิริ และธนาวินท์ รักธรรมานนท์, การใช้เทคนิคดาต้าไมน์นิงเพื่อพัฒนาคุณภาพการศึกษานิสิตคณะวิศวกรรมศาสตร์, NECTEC Technical Journal, 3(11), 2001

The end Q & A