229-611 Data Warehousing and Data Mining ผศ.ดร. วิภาดา เวทย์ประสิทธิ์ ภาควิชาวิทยาการคอมพิวเตอร์ มหาวิทยาลัยสงขลานครินทร์ ห้อง CS 108 E-mail : wwettayaprasit@yahoo.com Website : http://staff.cs.psu.ac.th/wiphada

วัตถุประสงค์ 1.  ให้นักศึกษามีความรู้ความเข้าใจเกี่ยวกับการจัดการเหมืองข้อมูลได้ 2.  ให้นักศึกษาสามารถทำเหมืองข้อมูลได้ 3. ให้นักศึกษาสามารถศึกษาค้นคว้าด้วยตนเองเกี่ยวกับการทำ เหมืองข้อมูลได้ Chapter 1

เนื้อหา Chapter 1 : Introduction Chapter 2 : Data Warehouse Chapter 3 : Data Mining Chapter 4 : Basic Data Mining Techniques Chapter 5: Data Mining a Closer Look Chapter 6 : Cross Validation Chapter 7 : Decision Tree Chapter 8 : Association Rules Chapter 9 : The K- Means Algorithm Chapter 10 : Neural Networks Chapter 11 : Statistical Techniques Chapter 12 : Rule Base System Chapter 1

เอกสารประกอบการสอน 1. Data Mining A tutorial-Based Primer, Richard J. Roiger and Michael W. Geatz, Pearson Education Inc., 2003. 2. Mining Very Large Databases with Parallel Processing, Alex A. Freitas and Simon H. Lavington, Kluwer Academic Publishers, 1998. 3. การออกแบบและพัฒนาคลังข้อมูล (Data Warehouse), กิตติ ภักดีวัฒนะกุล, บริษัทเคทีพี คอมพ์ แอนด์ คอนซัลท์, 2546 4. คัมภีร์ระบบสนับสนุนการตัดสินใจ และระบบผู้เชี่ยวชาญ (Decision Support Systems and Expert Systems), กิตติพงษ์ กลมกล่อม, บริษัท เคทีพี คอมพ์ แอนด์ คอนซัลท์, 2546 Chapter 1

Chapter 1 Introduction

Content Data Warehouse (คลังข้อมูล) Data Warehousing (การคลังข้อมูล) Data Mining (เหมืองข้อมูล) Chapter 1

ปัญหาของการนำฐานข้อมูลหลายแบบมารวมกัน 1. H/W S/W หลายชนิด 2. Data Redundancy เกิดความซ้ำซ้อนของข้อมูล 3. Data Inconsistency ข้อมูลไม่สอดคล้องกัน 4. Coding System ระบบการให้รหัสเกิดปัญหามาตราฐานซ้อน (Multiple Standard) การพัฒนาระบบแบบยุ้งฉาง (Silo-based System) งานใครงานมัน Chapter 1

ที่มาของคลังข้อมูล Business Integration มี 2 แบบ ต้องการมีมาตราฐานเดียวในการเก็บข้อมูลขององค์กร มี 2 แบบ 1. Partial Business Integration Point to Point Business Integration Middleware Business Integration 2. Overall Business Integration Chapter 1

ที่มาของคลังข้อมูล 1. Partial Business Integration Point to Point Business Integration เชื่อมโยงระหว่างระบบ 2 ระบบให้ติดต่อกันได้ แต่ละระบบงานทำงานทดแทนกันไม่ได้ มีปัญหา Spaghetti Phenomenon Middleware Business Integration มีกลุ่ม H/W S/W ที่เป็นตัวกลางในการแปลงและแลกเปลี่ยนข้อมูลระหว่างระบบงานต่างๆ มีประสิทธิภาพมากขึ้น Chapter 1

Point to Point Business Integration Chapter 1

ที่มาของคลังข้อมูล 2. Overall Business Integration ออกแบบและพัฒนาระบบใหม่ โดยรวมเอาเนื้อหาของข้อมูลทั้งหมดในองค์กรให้เป็นหนึ่งเดียว ไม่แยกออกเป็นส่วนๆ หลายองค์กรเป็นระบบเดียว เนื้อหาเดียวกัน Unified Standard Maximize data consistency Minimize data redundancy Chapter 1

Data Warehouse (คลังข้อมูล) คลังข้อมูล หมายถึง.... หลักการหรือวิธีการ เพื่อรวมระบบ สารสเทศเพื่อ การประมวลผลรายการข้อมูลที่เกิดขึ้น ในแต่ละวันแต่ละสายงาน มารวมเป็นหน่วยเดียวกัน เพื่อสนับสนุนการตัดสินใจให้มีประสิทธิภาพมากยิ่งขึ้น คลังข้อมูล หมายถึง.... ข้อมูลในแหล่งข้อมูลหลายๆแหล่ง เพื่อประกอบการตัดสินใจให้มีประสิทธิภาพมากยิ่งขึ้น คลังข้อมูล ไม่ใช่ผลิตภัณฑ์ หรือระบบสำเร็จรูป คลังข้อมูล มีความเป็นส่วนตัวของแต่ละองค์กร (Organization Customized System) Chapter 1

คุณลักษณะของคลังข้อมูล 1. Subject-Oriented 2. Integrated 3. Time-Variant 4. Non-Volatile Chapter 1

คุณลักษณะของคลังข้อมูล 1. Subject-Oriented ข้อมูลถูกจัดกลุ่มให้เหมาะสมกับการสืบค้น จัดตามประเด็นหลักขององค์กร เช่น ลูกค้า สินค้า ยอดขาย ข้อมูลจะ....ไม่ถูกจัดตามหน้าที่การงาน....ของโปรแกรมใดโปรแกรมหนึ่ง เช่น การควบคุมคลังสินค้า การออกใบกำกับภาษี 2. Integrated จัดข้อมูลให้อยู่ในรูปแบบเดียวกัน จากแหล่งข้อมูลหลายแหล่ง Chapter 1

คุณลักษณะของคลังข้อมูล 3. Time-Variant ข้อมูลต้องมีความถูกต้อง เพราะเก็บไว้ใช้นาน 5-10 ปี 4. Non-Volatile การปรับปรุงข้อมูลเป็นการเพิ่มข้อมูลใหม่เข้าไปเรื่อยๆ ไม่ใช่การแทนที่ข้อมูลเก่า ข้อมูลในคลังข้อมูล....ไม่จำเป็น...ต้องทำการ Normalize เหมือนในฐานข้อมูล (Data based) Chapter 1

ข้อดีของคลังข้อมูล 1. ให้ผลตอบแทนในการลงทุนสูง 2. ได้เปรียบคู่แข่ง วิเคราะห์ข้อมูลเพื่อกำหนดเป็นแผนกลยุทธ์ได้ก่อนคู่แข่ง เช่นพฤติกรรมผู้บริโภค 3. เพิ่มประสิทธิภาพในการตัดสินใจ มีข้อมูลครบถ้วนจากอดีตจนถึงปัจจุบัน Chapter 1

ข้อเสียของคลังข้อมูล 1. ขั้นตอนการกรองข้อมูลใช้เวลานาน ต้องอาศัยผู้ที่มีความชำนาญในการกรองข้อมูล 2. แนวโน้มในการกรองข้อมูลเพิ่มมากขึ้นเรื่อยๆ เพิ่มความซับซ้อนให้กระบวนการทำงาน 3.ใช้เวลานานในการพัฒนาคลังข้อมูล 4.ระบบคลังข้อมูลมีความซับซ้อนสูง Chapter 1

Data Warehousing (การคลังข้อมูล) การคลังข้อมูล คือ การออกแบบ และสร้างโครงสร้างของข้อมูลในคลังข้อมูล รวมถึง วิธีการได้มาของข้อมูล วิธีการสร้างผลลัพธ์จากข้อมูลที่มี วิธีการดูแลรักษา และวิธีการปรับปรุงประสิทธิภาพ Chapter 1

สถาปัตยกรรมของคลังข้อมูล 1. Data Acquisition System 2. Data Staging Area 3. Data Warehouse Database /Data Store 4. Data Provisioning Area /Data Mart 5. End User Terminal 6. Metadata Repository Chapter 1

สถาปัตยกรรมของคลังข้อมูล Chapter 1

สถาปัตยกรรมของคลังข้อมูล 1. Data Acquisition System รับข้อมูลจากภายนอก 2. Data Staging Area Data Cleansing ลดความซ้ำซ้อนของข้อมูล Filtering เลือกเฉพาะข้อมูลที่มีประโยชน์ 3. Data Warehouse Database /Data Store Data Model การออกแบบจำลองข้อมูล การจัดเก็บข้อมูล Chapter 1

สถาปัตยกรรมของคลังข้อมูล 4. Data Provisioning Area / Data Mart การรายงานผลลัพธ์ต่างๆที่จำเป็นสำหรับการวิเคราะห์ข้อมูล 5. End User Terminal Simple Report Tool Multi Dimensional Tools Data Mining Tools 6. Metadata Repository ใช้เก็บข้อมูลที่ใช้ควบคุมการทำงานในคลังข้อมูล Chapter 1

การวิเคราะห์ข้อมูลในคลังข้อมูล 1. Query and Report Generator 2. Multidimensional Data Analysis 3. Online Analysis Processing (OLAP) 4. Data Mining Tools Chapter 1

การวิเคราะห์ข้อมูลในคลังข้อมูล Chapter 1

การวิเคราะห์ข้อมูลในคลังข้อมูล Chapter 1

Online Analysis Processing (OLAP) กระบวนการประมวลผลข้อมูลทางคอมพิวเตอร์ ที่ช่วยให้วิเคราะห์ข้อมูลในมิติต่างๆ (Multidimensional Data Analysis) การดำเนินการกับ OLAP 1. Roll up / Consolidation การปรับระดับความละเอียดของข้อมูล จากระดับที่ละเอียด...มาสู่ที่..หยาบขึ้น 2. Drill Down การปรับระดับความละเอียดของข้อมูล จากระดับที่หยาบ...ไปสู่ที่.. ละเอียดมากขึ้น 3. Slice การเลือกพิจารณาผลลัพธ์บางส่วนที่เราสนใจ โดยเลือกเฉพาะค่าที่ถูกกำกับด้วยข้อมูลบางค่าของแต่ละมิติเท่านั้น 4. Dice กระบวนการพลิกแกนหรือมิติของข้อมูล ให้ตรงตามความต้องการของผู้ใช้งาน Chapter 1

Data Mining (เหมืองข้อมูล) เหมืองข้อมูล เป็นเครื่องมือที่ช่วยให้ผู้ใช้เข้าถึงข้อมูลได้โดยตรงจากฐานข้อมูลขนาดใหญ่ เหมืองข้อมูล เป็นเครื่องมือ และ Application ที่สามารถแสดงผลการวิเคราะห์ข้อมูลทางสถิติได้ เหมืองข้อมูล หมายถึงการวิเคราะห์ข้อมูล เพื่อแยกประเภท จำแนกรูปแบบและความสัมพันธ์ของข้อมูลจากคลังข้อมูลหรือฐานข้อมูลขนาดใหญ่ นำสารสนเทศไปใช้ในการตัดสินใจธุรกิจ ได้องค์ความรู้ใหม่ (Knowledge Discovery) อาจอยู่ในรูปแบบของกฎเกณฑ์ (Rule) Chapter 1

เทคนิคการทำเหมืองข้อมูล 1. Classification 2. Clustering 3. Association 4. Visualization Chapter 1

เทคนิคการทำเหมืองข้อมูล p.85 1. Classification : เทคนิคในการจำแนกกลุ่มข้อมูลด้วยคุณลักษณะต่างๆที่ได้มีการกำหนดไว้แล้ว สร้างแบบจำลองเพื่อการพยากรณ์ค่าข้อมูล (Predictive Model) ในอนาคต เรียกว่า ......Supervised Learning มี 2 รูปแบบ Tree Induction Neural Network 2. Clustering : เทคนิคในการจำแนกกลุ่มข้อมูลใหม่ที่มีลักษณะคล้ายกันไว้กลุ่มเดียวกัน โดยไม่มีการจัดกลุ่มข้อมูลตัวอย่างไว้ล่วงหน้า เรียกว่า .......Unsupervised Learning 3. Association : เทคนิคในการค้นพบองค์ความรู้ใหม่ ด้วยการเชื่อมโยงกลุ่มของข้อมูลที่เกิดขึ้นในเหตุการณ์เดียวกันไว้ด้วยกัน 4. Visualization :เทคนิคที่ใช้ในการแสดงผลในรูปแบบกราฟิกหรือ ข้อมูลหลายมิติ Chapter 1

คุณลักษณะของเหมืองข้อมูล 1. ชี้แนวทางการตัดสินใจและคาดการณ์ผลลัพธ์ 2. เพิ่มความเร็วในการวิเคราะห์ข้อมูล จากฐานข้อมูลขนาดใหญ่ 3. ค้นหาส่วนประกอบที่ซ่อนอยู่ในเอกสาร รวมถึงความสัมพันธ์ระหว่างส่วนประกอบต่างๆ 4. จัดกลุ่มเอกสารตามหัวข้อต่างๆตามนโยบายบริษัท Chapter 1

ตัวอย่างการนำเหมืองข้อมูลมาใช้งาน 1. การตลาด ทำนายยอดขายเมื่อมีการลดจำนวนสินค้าลง 2. การเงินการธนาคาร คาดการณ์โอกาสในการชำระหนี้ของลูกค้า 3. การค้าขาย 4. โรงงาน การผลิต 5. ตลาดหลักทรัพย์ 6. ธุรกิจการประกัน 7. H/W S/W คอมพิวเตอร์ 8. กระทรวงกลาโหม 9. โรงพยาบาล Chapter 1

ประโยชน์ของเหมืองข้อมูล 1. ค้นหาข้อมูลโดยอาศัยเทคโนโลยีของเหมืองข้อมูล 2. ใช้สถาปัตยกรรมแบบ Client/Server 3. ผู้ใช้ระบบไม่จำเป็นต้องทักษะในการเขียนโปรแกรม 4. ผู้ใช้ต้องกำหนดขอบเขตและเป้าหมายของระบบให้ชัดเจน เพื่อความรวดเร็วและถูกต้องตามความต้องการ 5. การประมวลผลแบบขนานจะช่วยเพิ่มประสิทธิภาพและความเร็วในการค้นหาข้อมูล Chapter 1

Homework 1 ส่ง รายงาน (next week in class) 1. จงหาความหมายของคำนิยามต่อไปนี้ มาอย่างน้อย 2 แหล่ง อ้างอิงพร้อมบอกที่มาของแหล่งอ้างอิงด้วย Data Warehouse (คลังข้อมูล) Data Mining (เหมืองข้อมูล) 2. จงหาว่า Data Mining Tool มีอะไรบ้าง พร้อมทั้งอธิบายมาพอสังเขป ส่ง รายงาน (next week in class) Hard Copy File Presentation 2 min (no slide) Chapter 1

The road to success is always under construction Jim Miller