การสอบป้องกันวิทยานิพนธ์ การปรับปรุงประสิทธิภาพสำหรับการจำแนกประเภทชนิดของกลุ่มเมฆโดยใช้ วิธีการเรียนรู้แบบรวมกลุ่ม Performance Improvement for Cloud Classification Using Ensemble Method นำเสนอโดย นายปภัทท์ อุปการ์ นิสิตปริญญาโท สาขาวิชาวิทยาการคอมพิวเตอร์ คณะกรรมการสอบวิทยานิพนธ์ ดร.วินัย วงษ์ไทย (ประธานกรรมการสอบวิทยานิพนธ์), ผู้ช่วยศาสตราจารย์ ดร.เกรียงศักดิ์ เตมีย์ (ประธานที่ปรึกษาวิทยานิพนธ์), ผู้ช่วยศาสตราจารย์ ดร.ไกรศักดิ์ เกสร (กรรมการผู้ทรงคุณวุฒิภายใน), ดร.พรเทพ โรจนวสุ (กรรมการผู้ทรงคุณวุฒิภายนอก)

เนื้อหาที่นำเสนอ ความเป็นมาและความสำคัญของปัญหา เอกสารและงานวิจัยที่เกี่ยวข้อง ขอบเขตการวิจัย ทฤษฏีที่เกี่ยวข้อง แบบจำลองเดี่ยว (Single Model) - Decision Tree, Artificial Neural Network แบบจำลองแบบรวมกลุ่ม (Ensemble Model) - Bagging, Boosting, Random Forest ลำดับขั้นตอนการดำเนินงานวิจัย วิธีการดำเนินงานและผลการทดลอง ข้อเสนอแนะ และงานวิจัยในอนาคต เอกสารอ้างอิง

ความเป็นมาและความสำคัญของปัญหา Performance Cloud Classification Agrometeology Marine meteology Aerometeology Weather Forecast

เอกสารงานวิจัยที่เกี่ยวข้อง Heinle et al., (2010) Pallavi and Vaithiyanathan, (2013) Chauvin et al., (2015) Taravat et al., (2015) ถิรนันท์ สอนแก้ว และคณะ, (2558)

เอกสารงานวิจัยที่เกี่ยวข้อง Pour, S.G., Leod, P.M., Verma, B., and Maeder, A., (2012) Tiwari A. and Prakash A., (2014) SHI, L., YWANG, Q., MA, X., WENG, M. and QIAO, H., (2012) Meshram, S.B. and Shinde, S.M., (2015)

เอกสารงานวิจัยที่เกี่ยวข้อง 1 3P3C 3P8C 7P3C 7P8C Single classification Ensemble classification 2 Performance Comparison 3 Model Evaluation วิธีการดำเนินงานวิจัยแบ่งออกเป็น 3 ขั้นตอนหลัก ประกอบด้วย ขั้นตอนที่ 1 การจัดเตรียมข้อมูลที่ใช้ในการทดลอง ขั้นตอนที่ 2 การสร้างแบบจำลองสำหรับจำแนกประเภทของกลุ่มเมฆโดยได้แบ่งแบบจำลองออกเป็น 2 แบบ ได้แก่ แบบจำลองการจำแนกประเภทแบบเดี่ยวและแบบจำลองการจำแนกประเภทแบบรวมกลุ่ม ขั้นตอนที่ 3 ขั้นตอนการวัดประสิทธิภาพของแบบจำลองและเปรียบเทียบผลลัพธ์

วิธีการดำเนินงานวิจัย ขั้นตอนที่ 1  Data Preparation Cloud Data Set 4 Parameter A / M= (AV) S / M= (SD) Cloud Cover (CC) 3 Parameter   3 Class 8 Class 4 Meteorology Parameters Image from whole sky-camera Solar Radiance from Pyranometer(S, A)  Average Solar Radiance(M) T WS P RH 3P3C 3P8C 7P3C 7P8C T คือ อุณหภูมิ P คือ ความกดอากาศ RH คือ ความชื้นสัมพัทธ์ WS คือ ความเร็วลม AV คือ ค่าอัตราส่วนที่วัดได้จากการแผ่รังสีจากดวงอาทิตย์ SD คือ ค่าส่วนเบี่ยงเบนมาตรฐานของดวงอาทิตย์ CC คือ ค่าอัตราส่วนของเมฆต่อท้องฟ้าทั้งหมด

วิธีการดำเนินงานวิจัย ขั้นตอนที่ 1  Data Preparation 3P3C 3P8C 7P3C 7P8C

Machine LeArning วิธีการดำเนินงานวิจัย ขั้นตอนที่ 2 Model Builder ในขั้นตอนนี้จะใช้อัลกอริทึมทาง Machine Learning ทำการวิเคราะห์ข้อมูลด้วยอัลกอริทึม ANN และ J48 สำหรับการสร้างตัวจำแนกประเภทแบบเดี่ยว และใช้อัลกอริทึม ANN และ J48 ทำงานร่วมกันกับวิธีการเรียนรู้แบบรวมกลุ่ม 3 วิธีการ สำหรับการสร้างตัวจำแนกประเภทแบบรวมกลุ่ม

Single Classification Decision Tree Model Mr. Paphat Auppakar, Master Degree, Department of Computer Science and Information Technology

ต้นไม้ช่วยตัดสินใจ (Decision Tree) ถูกพัฒนาขึ้นโดย Quinlan ในปี 1986 ใช้กันอย่างแพร่หลายในงานวิจัยที่เกี่ยวข้องกับ Data Mining / Classification โครงสร้างของ Decision Tree จะประกอบไปด้วย Root Leaf . Relationship Calculation อัลกอริทึม Decision Tree - ID3, - C4.5 / J48, - CHAID, - Decision Stump, - Random Tree, - Random Forest, ฯลฯ

Decision Tree อัลกอริทึม J48 จะใช้ค่า Gain Ratio สำหรับการเลือกแอตทริบิวต์มาเป็นโหนดเริ่มต้นของต้นไม้ช่วยตัดสินใจหรือโหนดราก (Root Node) Gain Ratio : Information Gain : โดยที่ : E(S) คือ ค่าเอนโทรปีของข้อมูลตัวอย่างทั้งหมดที่เป็นคลาสคำตอบ E(Sv) คือ ค่าเอนโทรปีของข้อมูลตัวอย่างย่อยในแอตทริบิวต์ a ที่มีค่าเป็น v |Sv| คือ จำนวนสมาชิกของแอตทริบิวต์ a ที่มีค่าเป็น v S คือ ข้อมูลตัวอย่างทั้งหมด v คือ ค่าลักษณะประจำของแอตทริบิวต์ a คือ แอตทริบิวต์

Decision Tree จะเกิดขึ้นจากเหตุการณ์ทั้งหมด n เหตุการณ์ Entropy คือ ค่าที่ใช้วัดความแตกต่างของกลุ่มข้อมูลตัวอย่างหรือความไม่บริสุทธิของกลุ่มข้อมูล โดยที่ : P xi คือ ความน่าจะเป็นที่เหตุการณ์ xi จะเกิดขึ้นจากเหตุการณ์ทั้งหมด n เหตุการณ์ xi คือ เหตุการณ์ที่เกิดขึ้น n คือ จำนวนของเหตุการณ์ เหตุการณ์ที่เกิดขึ้น ค่าเอนโทรปี

Decision Tree Split Information : โดยที่ : |Sv| คือ จำนวนสมาชิกของแอตทริบิวต์ a ที่มีค่าเป็น v S คือ ข้อมูลตัวอย่างทั้งหมด v คือ ค่าลักษณะประจำของแอตทริบิวต์ a คือ แอตทริบิวต์

Decision Tree 1 Example J48 กลุ่มของเมฆ สีเมฆ ความหนาแน่น ความสูง คำนวณ Entropy จาก Class, Attribute สีเมฆ ความหนาแน่น ความสูง กลุ่มของเมฆ ขาวโปร่งแสง ต่ำ 3,000 เมฆฝน 5,500 ไม่ใช่เมฆฝน เทา สูง 2,300 1,000 7,000 1,500 ขาวขุ่น 2,500 3,500 P(เมฆฝน) = 6/10 P(ไม่ใช่เมฆฝน) = 4/10 E(S) = 0.97 สีเมฆ ความหนาแน่น ความสูง

Decision Tree 1 2 Example J48 กลุ่มของเมฆ สีเมฆ ความหนาแน่น ความสูง คำนวณ Entropy จาก Class, Attribute สีเมฆ ความหนาแน่น ความสูง กลุ่มของเมฆ ขาวโปร่งแสง ต่ำ 3,000 เมฆฝน 5,500 ไม่ใช่เมฆฝน เทา สูง 2,300 1,000 7,000 1,500 ขาวขุ่น 2,500 3,500 P(เมฆฝน) = 6/10 P(ไม่ใช่เมฆฝน) = 4/10 E(S) = 0.97 สีเมฆ ความหนาแน่น ความสูง ขาวขุ่น ขาวโปร่งแสง เทา คำนวณค่า Information Gain =0.97− 5 10 0.97 + 3 10 0 + 2 10 0 IG(S,a)=0.49 2 P(เมฆฝน) 3/5 P(ไม่ใช่เมฆฝน) 2/5 E(Sv)= 0.97 |Sv|/S= 5/10 P(เมฆฝน) 3/3 P(ไม่ใช่เมฆฝน) 0/3 E(Sv)= |Sv|/S= 3/10 P(เมฆฝน) 0/2 P(ไม่ใช่เมฆฝน) 2/2 E(Sv)= |Sv|/S= 2/10

Decision Tree 1 3 2 Example J48 กลุ่มของเมฆ สีเมฆ ความหนาแน่น ความสูง คำนวณ Entropy จาก Class, Attribute สีเมฆ ความหนาแน่น ความสูง กลุ่มของเมฆ ขาวโปร่งแสง ต่ำ 3,000 เมฆฝน 5,500 ไม่ใช่เมฆฝน เทา สูง 2,300 1,000 7,000 1,500 ขาวขุ่น 2,500 3,500 P(เมฆฝน) = 6/10 P(ไม่ใช่เมฆฝน) = 4/10 E(S) = 0.97 สีเมฆ ความหนาแน่น ความสูง ขาวขุ่น ขาวโปร่งแสง เทา คำนวณค่า Gain Ratio SI= 5 10 log2 5 10 + 3 10 log2 3 10 + 2 10 log2 2 10 = 1.49 3 คำนวณค่า Information Gain =0.97− 5 10 0.97 + 3 10 0 + 2 10 0 IG(S,a)=0.49 2 P(เมฆฝน) 3/5 P(ไม่ใช่เมฆฝน) 2/5 E(Sv)= 0.97 |Sv|/S= 5/10 P(เมฆฝน) 3/3 P(ไม่ใช่เมฆฝน) 0/3 E(Sv)= |Sv|/S= 3/10 P(เมฆฝน) 0/2 P(ไม่ใช่เมฆฝน) 2/2 E(Sv)= |Sv|/S= 2/10 GRสีเมฆ = 0.49 1.49 = 0.33

Decision Tree Example J48 กลุ่มของเมฆ สีเมฆ ความหนาแน่น ความสูง ขาวโปร่งแสง ต่ำ 3,000 เมฆฝน 5,500 ไม่ใช่เมฆฝน เทา สูง 2,300 1,000 7,000 1,500 ขาวขุ่น 2,500 3,500 สีเมฆ ความหนาแน่น ความสูง ต่ำ สูง P(เมฆฝน) 2/4 P(ไม่ใช่เมฆฝน) E(Sv)= 1 |Sv|/S 4/10 P(เมฆฝน) 4/6 P(ไม่ใช่เมฆฝน) 2/6 E(Sv)= 0.92 ||Sv|/S= 6/10 GRความหนาแน่น= 0.02 0.97 = 0.02

Decision Tree Example J48 กลุ่มของเมฆ สีเมฆ ความหนาแน่น ความสูง ขาวโปร่งแสง ต่ำ 3,000 เมฆฝน 5,500 ไม่ใช่เมฆฝน เทา สูง 2,300 1,000 7,000 1,500 ขาวขุ่น 2,500 3,500 สีเมฆ ความหนาแน่น ความสูง GRความสูง= 0.32 0.72 = 0.44

Decision Tree 0 .44 > 0.33 > 0.02 Example J48 ความสูง สีเมฆ GR = ความสูง>สีเมฆ>ความหนาแน่น 0 .44 > 0.33 > 0.02 สีเมฆ ความหนาแน่น ความสูง กลุ่มของเมฆ ขาวโปร่งแสง ต่ำ 3,000 เมฆฝน 5,500 ไม่ใช่เมฆฝน เทา สูง 2,300 1,000 7,000 1,500 ขาวขุ่น 2,500 3,500 ความสูง ≤4,500 >4,500 สีเมฆ ความหนาแน่น GR = 0.31 GR = 0.15

Decision Tree Example J48 ความสูง สีเมฆ Decision Tree J48 Model เทา ≤4,500 >4,500 ความสูง สีเมฆ Decision Tree J48 Model เทา ขาวขุ่น ไม่ใช่เมฆฝน เมฆฝน ขาวโปร่งแสง สีเมฆ ความหนาแน่น ความสูง กลุ่มของเมฆ ขาวโปร่งแสง ต่ำ 3,000 เมฆฝน 5,500 ไม่ใช่เมฆฝน เทา สูง 2,300 1,000 7,000 1,500 ขาวขุ่น 2,500 3,500 (Unseen Data) สีเมฆ ความหนาแน่น ความสูง กลุ่มของเมฆ ขาวขุ่น ต่ำ 4,370 ? เทา 4,600

Single Classification Neural Network Model Mr. Paphat Auppakar, Master Degree, Department of Computer Science and Information Technology

Artificial Neural Network โครงข่ายประสาทเทียมเป็นอัลกอริทึมในศาสตร์ที่เกี่ยวข้องกับการเรียนรู้ของเครื่อง (Machine Learning) และจัดเป็นการเรียนรู้แบบมีผู้สอน (Supervised Learning) ซึ่งมีวัตถุประสงค์เพื่อสร้างแบบจำลองในการเรียนรู้และจดจำรูปแบบ (Pattern Recognition) เช่นเดียวกับความสามารถที่ในสมองของมนุษย์ การทำงานของเซลล์ประสาทในสมองของมนุษย์

Artificial Neural Network การทำงานของโครงข่ายประสาทเทียมจะทำการส่งข้อมูลมายังส่วนที่เรียกว่า ”Perceptron” ซึ่งสามารถเทียบได้กับเซลล์สมองของมนุษย์ โดยที่เพอร์เซ็ปตรอนจะทำการรับข้อมูลที่อยู่ในรูปของตัวเลขเข้ามาคำนวณและทำการแปลงค่าโดยใช้ฟังก์ชันกระตุ้น (Activate function) แล้วส่งค่าไปยังนิวรอน (Neural) หรือโหนดอื่น ๆ ต่อไป โดยที่ xi คือ ค่าข้อมูลนำเข้า wij คือ ค่าน้ำหนักของเส้นเชื่อม i คือ จำนวนโหนดในชั้นอินพุต j คือ จำนวนโหนดในชั้นผลลัพธ์ n คือ จำนวนคุณลักษณะของข้อมูล b คือ ค่าเบียงเบน X1 bias w11 X2 w21 Output w31 ∑xi.wij X3 … Activate Function wi1 Xi Single Layer Perceptron สถาปัตยกรรมโครงข่ายประสาทเทียม

Artificial Neural Network Multi-Layer Perceptron(MLP) โครงข่ายประสาทเทียมหลายชั้นจะประกอบไปด้วย - ชั้นอินพุต (Input Layer) - ชั้นซ่อน (Hidden Layer) - ชั้นเอาท์พุต (Output Layer) b b wij w11 w12 w1j w21 w22 w2j wi1 wi2 wjk w11 w12 w1k w21 w22 w2k wj1 wj2 X1 Output1 โดยที่ xi คือ ค่าของข้อมูลนำเขาที่ i w คือ ค่าของน้ำหนักระหว่างโหนด i คือ จำนวนโหนดในชั้น Input Layer j คือ จำนวนโหนดในชั้น Hidden Layer k คือ จำนวนโหนดในชั้น Output Layer bias คือ ค่าเบี่ยงเบน X2 Output2 … … … Xi Outputk Input Layer Hidden Layer Output Layer

Artificial Neural Network Multi-Layer Perceptron(MLP) Feed forward - ผลลัพธ์จากการคำนวณ - หาค่า error - ปรับค่า weight Back propagation

Artificial Neural Network Example ANN Color Density Height Class สีขาวขุ่น ต่ำ 3000 เมฆฝน 7000 ไม่ใช่เมฆฝน สีเทา สูง 2300 1000 5500 1500 สีขาวโปร่งแสง 2500 3500 Color Density Height Class 0.00 0.33 1 1.00 0.50 0.22 0.75 0.08 0.25 0.42 3,000 7,000 2 2,300 1,000 5,500 1,500 3 2,500 3,500 Transform Data Normalize Data Original Data

Artificial Neural Network Example ANN ∑xiwij) + b sum=0.008 1 1+𝑒_𝑠𝑢𝑚 = 0.502 net1 0(-0.027) 0(-0.032) 0.33(0.007) b=0.006 Color Density Height Class 0.00 0.33 1 1.00 0.50 0.22 0.75 0.08 0.25 0.42 0.33 bias -0.032 0.047 0.007 0.044 -0.001 -0.027 0.006 -0.043 0.039 -0.031 -0.013 0.009 0.005 -0.023 net1 Outout1 เมฆฝน - จำนวนรอบที่ใช้ในการเรียนรู้ 500 รอบ - จำนวนโหนดในชั้น Hidden Layer = 2 - อัตราการเรียนรู้อยู่ที่ 0.1 - ค่าความผิดพลาดที่ยอมรับได้เท่ากับ 0.001 Outout2 ไม่ใช่เมฆฝน net2 Feed forward

Artificial Neural Network Example ANN ∑xiwij) + b sum=-0.028 1 1+𝑒_𝑠𝑢𝑚 = 0.493 net2 0(-0.001) 0(0.047) 0.33(0.044) b=-0.043 Color Density Height Class 0.00 0.33 1 1.00 0.50 0.22 0.75 0.08 0.25 0.42 0.33 bias -0.032 0.047 0.007 0.044 -0.001 -0.027 0.006 -0.043 0.039 -0.031 -0.013 0.009 0.005 -0.023 0.502 net1 Outout1 เมฆฝน 0.493 Outout2 ไม่ใช่เมฆฝน net2 Feed forward

Artificial Neural Network Example ANN ∑xiwij) + b sum=0.026 1 1+𝑒_𝑠𝑢𝑚 = 0.506 Output1 0.502(-0.031) 0.493(0.005) b=0.039 Color Density Height Class 0.00 0.33 1 1.00 0.50 0.22 0.75 0.08 0.25 0.42 0.33 bias -0.032 0.047 0.007 0.044 -0.001 -0.027 0.006 -0.043 0.039 -0.031 -0.013 0.009 0.005 -0.023 0.502 net1 0.506 Outout1 เมฆฝน 0.493 Outout2 ไม่ใช่เมฆฝน net2 Feed forward

Artificial Neural Network Example ANN ∑xiwij) + b sum=-0.009 1 1+𝑒_𝑠𝑢𝑚 = 0.498 Output2 0.502(-0.013) 0.493(-0.023) b=0.009 Color Density Height Class 0.00 0.33 1 1.00 0.50 0.22 0.75 0.08 0.25 0.42 0.33 bias -0.032 0.047 0.007 0.044 -0.001 -0.027 0.006 -0.043 0.039 -0.031 -0.013 0.009 0.005 -0.023 0.502 net1 0.506 Outout1 เมฆฝน 0.498 0.493 Outout2 ไม่ใช่เมฆฝน net2 Feed forward

Artificial Neural Network Example ANN Color Density Height Class 0.00 0.33 1 1.00 0.50 0.22 0.75 0.08 0.25 0.42 bias1(update) = [0.1(0.123)]+0.039=0.051 bias2(update) = [0.1(0.126)]+0.009=0.022 Error1 = 0.506(1-0.506)(1-0.506)=0.123 Error2 = 0.498(1-0.498)(1-0.498)=0.126 0.33 bias -0.032 0.047 0.007 0.044 -0.001 -0.027 0.006 -0.043 0.039 -0.031 -0.013 0.009 0.005 -0.023 0.502 E1=0.123 net1 0.506 Outout1 เมฆฝน E2=0.126 0.498 0.493 ไม่ใช่เมฆฝน W11(update) =0.1(0.123)(0.502)-0.031=-0.025 W12(update) =0.1(0.126)(0.502)-0.013=-0.007 W21(update) =0.1(0.123)(0.493)+0.005=0.011 W22(update) =0.1(0.126)(0.493)-0.023=-0.017 Outout2 net2 Back propagation

Artificial Neural Network Example ANN Color Density Height Class 0.00 0.33 1 1.00 0.50 0.22 0.75 0.08 0.25 0.42 bias1(update) = [0.1(-0.001)-0.006=0.006 bias2(update) = [0.1(-0.001)-0.043=-0.043 Error1 = 0.502(1-0.502)(-0.031(0.123)-0.013(0.126))=-0.001 Error2 = 0.493(1-0.493)(0.005(0.123)-0.023(0.126))=-0.001 0.33 bias -0.032 0.047 0.007 0.044 -0.001 -0.027 0.006 -0.043 0.039 -0.031 -0.013 0.009 0.005 -0.023 E1=-0.001 0.502 E1=0.123 net1 0.506 Outout1 เมฆฝน E2=0.126 E2=-0.001 0.498 W11(update) =[0.1(-0.001)(0)]-0.027=-0.027 W12(update) =[0.1(-0.001)(0)]-0.001=-0.001 W21(update) =[0.1(-0.001)(0)]-0.032=-0.032 W22(update) =[0.1(-0.001)(0)]+0.047=0.047 W31(update) =[0.1(-0.001)(0.33)]+0.007=0.007 W32(update) =[0.1(-0.001)(0.33)]+0.044=0.044 0.493 Outout2 ไม่ใช่เมฆฝน net2 Back propagation

Artificial Neural Network Example ANN Color Density Height Class 0.00 0.33 1 1.00 0.50 0.22 0.75 0.08 0.25 0.42 ปรับน้ำหนักครั้งที่ 1 0.33 bias -0.032 0.047 0.007 0.044 -0.001 -0.027 0.006 -0.043 0.051 -0.025 -0.007 0.022 0.011 -0.017 net1 Outout1 เมฆฝน Outout2 ไม่ใช่เมฆฝน net2 Back propagation

Artificial Neural Network Example ANN Color Density Height Class 0.00 0.33 1 1.00 0.50 0.22 0.75 0.08 0.25 0.42 นำข้อมูลเข้า X2 1 bias -0.032 0.047 0.007 0.044 -0.001 -0.027 0.006 -0.043 0.051 -0.025 -0.007 0.022 0.011 -0.017 net1 0.511 Outout1 เมฆฝน 0.502 Outout2 ไม่ใช่เมฆฝน net2 Feed forward

Artificial Neural Network Example ANN Color Density Height Class 0.00 0.33 1 1.00 0.50 0.22 0.75 0.08 0.25 0.42 ปรับน้ำหนักครั้งที่ 2 1 bias -0.032 0.047 0.007 0.044 -0.001 -0.027 0.006 -0.043 0.038 -0.031 -0.013 0.009 0.005 -0.023 net1 Outout1 เมฆฝน Outout2 ไม่ใช่เมฆฝน net2 Back propagation

Artificial Neural Network Example ANN Color Density Height Class 0.00 0.33 1 1.00 0.50 0.22 0.75 0.08 0.25 0.42 นำข้อมูลเข้า X3 0.5 1 0.22 bias -0.032 0.047 0.007 0.044 -0.001 -0.027 0.006 -0.043 0.038 -0.031 -0.013 0.009 0.005 -0.023 net1 0.506 Outout1 เมฆฝน 0.498 Outout2 ไม่ใช่เมฆฝน net2 Feed forward

Artificial Neural Network Example ANN Color Density Height Class 0.00 0.33 1 1.00 0.50 0.22 0.75 0.08 0.25 0.42 ปรับน้ำหนักครั้งที่ 3 0.5 1 0.22 bias -0.032 0.047 0.007 0.044 -0.001 -0.027 0.006 -0.043 0.057 -0.013 0.005 0.046 0.023 -0.005 net1 Outout1 เมฆฝน Outout2 ไม่ใช่เมฆฝน net2 Back propagation

Artificial Neural Network Example ANN Color Density Height Class 0.00 0.33 1 1.00 0.50 0.22 0.75 0.08 0.25 0.42 นำข้อมูลเข้า X4 0.5 1 bias -0.032 0.047 0.007 0.044 -0.001 -0.027 0.006 -0.043 0.057 -0.013 0.005 0.046 0.023 -0.005 net1 0.516 Outout1 เมฆฝน 0.511 Outout2 ไม่ใช่เมฆฝน net2 Feed forward

Artificial Neural Network Example ANN Color Density Height Class 0.00 0.33 1 1.00 0.50 0.22 0.75 0.08 0.25 0.42 โดยที่ : XActual คือ ค่าข้อมูลจริง Xk คือ ค่าผลลัพธ์ของโหนดที่ k n คือ ข้อมูลตัวอย่างทั้งหมด 0.5 1 bias -0.032 0.047 0.007 0.044 -0.001 -0.027 0.006 -0.043 0.057 -0.013 0.005 0.046 0.023 -0.005 net1 Outout1 เมฆฝน Outout2 ไม่ใช่เมฆฝน net2

Artificial Neural Network Model Example ANN (Unseen Data) (Normalize Data) Color Density Height Class 0.00 0.33 1 1.00 0.50 0.22 0.75 0.08 0.25 0.42 Color Density Height Class 2 1 8800 ? Color Density Height Class 0.50 0.00 1.30 ? 0.50 0.00 1.30 bias -0.620 -0.674 -3.573 -3.913 -1.490 -1.366 -1.014 -1.060 -2.317 2.582 -2.589 2.326 2.920 -2.934 net1 net1 Outout1 0.09 เมฆฝน - จำนวนรอบที่ใช้ในการเรียนรู้ 500 รอบ - จำนวนโหนดในชั้น Hidden Layer = 2 - อัตราการเรียนรู้อยู่ที่ 0.1 - ค่าความผิดพลาดที่ยอมรับได้เท่ากับ 0.001 Outout2 0.91 ไม่ใช่เมฆฝน net2 net2 Artificial Neural Network Model

Multiple Classification Bagging, Boosting, Random Forest Mr. Paphat Auppakar, Master Degree, Department of Computer Science and Information Technology

What is ensemble learning? - Ensemble เป็นการสร้างแบบจำลองที่มากกว่า 1 แบบจำลองจากการเรียนรู้ชุดข้อมูล (Dataset) ชุดเดียวกัน แล้วนำผลลัพธ์ที่ได้จากแบบจำลองที่สร้างขึ้นมารวมกัน (combined) โดยอาจจะใช้วิธีการหาค่าเฉลี่ย (averaging) และใช้หลักวิธีการโหวตจากเสียงข้างมาก (majority vote) (Pengyi Yang, et al. ,2010)

(a) Single model (Accuracy 80%) Ensemble Learning Why use ensemble learning? - Accuracy (a) Single model (Accuracy 80%) (b) Ensemble model (Accuracy 100%) class1 class2 Example

Why use ensemble learning? - Overfitting Problem Overfitting Problem Test Sample for Ensemble

Ensemble Learning Pour, S.G., Leod, P.M., Verma, B., and Maeder, A., (2012) Tiwari A. and Prakash A., (2014) SHI, L., YWANG, Q., MA, X., WENG, M. and QIAO, H., (2012) Meshram, S.B. and Shinde, S.M., (2015)

Taxonomy for Ensemble Resampling Mixture of experts Feature selection and extraction Randomized Ensemble fusion Taxonomy for Ensemble Methods Ensemble selection Output Coding (Re, M. and Valentini, G., 2012)

Ensemble Construction Step2 : Build Multiple Classifier Step3 : Combine Classifier Original DataSet (Training) Step1 : Create Multiple DataSet D D1 Dn D2 C1 C2 Cn Combine / Voting …   Model1 Model2 Modeln

ถูกนำเสนอขึ้นโดย Breiman ในปี 1996 Bagging/Bootstrap Aggregating ถูกนำเสนอขึ้นโดย Breiman ในปี 1996 สร้างข้อมูลชุดใหม่ที่มีลักษณะแตกต่างกัน จากการสุ่มที่เรียกว่า“Bootstrap sampling” สร้างตัวจำแนกประเภทที่ใช้สำหรับการเรียนรู้ ข้อมูล เช่น DT, ANN, SVM, K-NN ฯลฯ ผลลัพธ์สุดท้าย Combine / Vote D1 D2 Dn Vote D Bootstrap sampling …

Bagging/Bootstrap Aggregating Tree 1 Classifier Tree 2 Tree 3 Example A1 A2 Class 2 3 4 5 Combine Classifier Original Data A1 A2 Class 1 2 3 4 5 A1 A2 Class 1 5 3 4 Voting Average A1 A2 Class 1 2 3 4 Bootstrap sampling

ถูกพัฒนาโดย Freund Y. & Schapire R.E., (1996) Boosting (Adaboost) ถูกพัฒนาโดย Freund Y. & Schapire R.E., (1996) การทำงานจะคล้ายวิธีการ Bagging แต่ มีลักษณะการทำงานที่มีความซับซ้อนกว่า ใช้วิธีการถ่วงค่าน้ำหนักให้กับข้อมูลที่ทำการ เรียนรู้ผิดพลาด (Error) ซึ่งจะเรียกวิธีการ แบบนี้ว่า “Weak Learning” Classification D D2 Dn Vote … Iteration 1 Iteration 2 Iteration n

Boosting (Adaboost) รอบที่ 1 Example - + h1 ε D2 x1 x2 C D1 C Di = 1 m 0.00 0.07 1 0.10 0.17 ε1 0.30 α1 0.42 Z1 0.92 X1 X2 + - h1 x1 x2 C 1 5 + 2 3 - 4 6 7 9 8 + - D1 C 0.10 + - 9 7 5 3 1 e-α ถ้า Ci(xk) = yk e α ถ้า Ci(xk) ≠ yk Update Weight 1 3 5 7 9 Di = 1 m

C(x)=0.42(x < 2.5) + 0.65(x < 7.5) + 0.92(x > 6.0) Boosting (Adaboost) X1 X2 + - h1 h2 h3 9 7 5 3 1 1 2 3 4 5 6 7 8 h1 = C(x1 < 2.5) h2 = C(x1 < 7.5) h3 = C(x2 > 6.0) C(x)=0.42(h1) + 0.65(h2) + 0.92(h3) C(x)=0.42(x < 2.5) + 0.65(x < 7.5) + 0.92(x > 6.0) Example รอบที่ 1 h1 ε D2 0.00 0.07 1 0.10 0.17 ε1 0.30 α1 0.42 Z1 0.92 รอบที่ 2 h2 ε D3 0.00 0.05 1 0.07 0.17 0.11 ε2 0.21 α2 0.65 Z2 0.82 รอบที่ 3 h3 ε D4 1 0.05 ? 0.00 0.10 ε3 0.14 α3 0.92 Z3 X2 X1 X2 h1 h2 x1 x2 C 1 5 + 2 3 - 4 6 7 9 8 + - D1 C 0.10 + - 9 7 5 3 1 h3 1 2 3 4 5 6 7 8

ถูกพัฒนาขึ้นโดย Breiman ในปี 2001 การทำงานจะคล้ายวิธีการ Bagging Random Forest ถูกพัฒนาขึ้นโดย Breiman ในปี 2001 การทำงานจะคล้ายวิธีการ Bagging แต่เพิ่มเติมส่วนของการสุ่มเลือกคุณลักษณะ (Random Feature) ใช้ Decision Tree (Base Model) ใช้วิธีการโหวตเสียงข้างมากจากหลาย ๆ แบบจำลองที่สร้างขึ้น D1 D2 Dn Vote D Bootstrap sampling and Random Feature …

Random Forest Example Majority Vote = Class 2 Random Sub feature Data Training Bootstrap sampling and Random Feature Bootstrap sampling Model_5 Tree5 Model_3 Tree3 Model_4 Tree4 Model_1 Tree1 Model_2 Tree2 Class 2 Class 1 Class 2 Class 1 Majority Vote = Class 2

The results of research Single Model / Multiple Mode

พารามิเตอร์ที่ใช้สำหรับการทดลอง (Single Model) J48 พารามิเตอร์ ผลการทดลอง พารามิเตอร์ที่ใช้สำหรับการทดลอง (Single Model) J48 พารามิเตอร์ ค่าที่กำหนด Confidence factor 0.1, 0.2, 0.3, 0.4 และ 0.5 Minimum number 1.0, 2.0, 3.0, 4.0 และ 5.0 Number of Fold 3.0 (Default) ANN พารามิเตอร์ ค่าที่กำหนด Training cycles 10,000 Hidden Node 2, 4, 5, 8, 10, 15 และ 20 Learning rate 0.01 Momentum 0.3

พารามิเตอร์ที่ใช้สำหรับการทดลอง (Multiple Model) Bagging พารามิเตอร์ ผลการทดลอง พารามิเตอร์ที่ใช้สำหรับการทดลอง (Multiple Model) Bagging พารามิเตอร์ J48 ANN Number of Iterations 50, 100, 150, 200, และ 300 10, 15, และ 20 Sampling Data 0.5, 0.6, 0.7, 0.8 และ 0.9 Boosting พารามิเตอร์ J48 ANN Number of Iterations 10, 20, และ 30 Sampling Data 0.5, 0.6, 0.7, 0.8 และ 0.9 Random Forest พารามิเตอร์ ค่าที่กำหนด Number of Iterations 100, 150, 200, 250, และ 300 Number of Feature 1, 2, 3, 4 และ 5 Random Seed

ผลการทดลอง Cloud Dataset Single Model (%) Ensemble Model (%) J48 ANN Bagging (J48) Bagging (ANN) Boosting (J48) Boosting (ANN) Random Forest Accuracy Cloud Dataset Single Model (%) Ensemble Model (%) J48 ANN Bagging Boosting Random Forest (1) 3P8C 55.98 56.81 57.53 56.86 55.63 56.64 57.88 (2) 3P3C 83.77 84.35 84.04 84.58 83.4 84.39 83.97 (3) 7P8C 68.28 63.27 73.03 64.08 72.42 62.77 77.77 (4) 7P3C 85.99 84.97 86.91 85.84 86.94 85.22 89.71

งานวิจัยในอนาคต 7367 Example (3 กลุ่ม) 7367 Example (8 กลุ่ม) (1) (2) (3) (4) (5) (6) (7) (8) 7367 Example (8 กลุ่ม) 7367 Example (3 กลุ่ม) (1) (2) (3) สำหรับในอนาคตผู้วิจัยและคณะ มีแนวคิดที่จะนำเอาเทคนิควิธีการที่จะช่วยแก้ไขปัญหาความไม่สมดุลกันของข้อมูลมาประยุกต์ใช้กับตัวอย่างข้อมูลของกลุ่มเมฆ เพื่อเพิ่มประสิทธิภาพความถูกต้องในการจำแนกประเภทชนิดของกลุ่มเมฆให้สูงยิ่งขึ้น

THE END Thank & Question

เอกสารอ้างอิง ถิรนันท์ สอนแก้ว และคณะ. (2558). การจำแนกชนิดของเมฆโดยใช้ข้อมูลการแผ่รังสีดวงอาทิตย์จากหอดูดาวแห่งชาติ ดอยอินทนนท์. รายงานการวิจัย, สถาบันดาราศาสตร์แห่งชาติ (องค์การมหาชน). Chethan, H.K., Raghavendra, R. and Kumar, G.H. (2009). Texture based Approach for Cloud Classification using SVM. IEEE Computer Society, 688-690. Christodoulos, I., Christodoulou, Michaelides, S.C. and Pattichis, C.S. (2003). Multifeature Texture Analysis for the Classification of Clouds in Satellite Imagery. IEEE Transactions on Geoscience and Remote Sensing, 41(11), 2662-2668. Jin W., Wang, L., Zeng, X., Liu, Z. and Fu, R. (2014). Classification of clouds in satellite imagery using over-complete dictionary via sparse representation. Pattern Recognition Letters 49, 193-200. Kuril, S., Saini, I. and Saini, B. S. (2013). Cloud Classification for Weather Information by Artificial Neural Network. International Journal of Applied Physics and Mathematics, 3(1), 28-30. Liu, Y., Xia, J., Shi, C.X. and Hong, Y. (2009). An Improved Cloud Classification Algorithm for China’s FY-2C Multi-Channel Images Using Artificial Neural Network. Journal Sensors 2009, 9(7), 5558-5579. Mahrooghy, M., Younan, N.H., Anantharaj, V.G. and Aanstoos J. (2011). High resolution satellite precipitation estimate using cluster ensemble cloud classification. Geoscience and Remote Sensing Symposium (IGARSS), 2011 IEEE International, pp. 2645-2648.

เอกสารอ้างอิง Meshram, S.B. and Shinde, S.M. (2015). A Survey on Ensemble Methods for High Dimensional Data Classification in biomedicine Field. International Journal of Computer Applications, 111(11), pp. 5-7. Pour, S.G., Leod, P.M., Verma, B., and Maeder, A. (2012). Comparing Data Mining with Ensemble Classification of BreastCancer Masses in Digital Mammograms. The Second Australian Workshop on Artificial Intelligence in Health AIH 2012, 55. SHI, L., YWANG, Q., MA, X., WENG, M. and QIAO, H. (2012). Spam Email Classification Using Decision Tree Ensemble. Journal of Computational Information Systems. 2012, 949–956. Tian, B., Shaikh, M.A., Azimi-Sadjadi, M.R., et al. (1999). Study of Cloud Classification with Neural Networks Using Spectral and Textural Features. IEEE Transactions on Neural Networks, 10(1), 138-151. Tiwari A. and Prakash A. (2014). Improving classification of J48 algorithm using bagging, boosting and blending ensemble methods on SONAR dataset using WEKA. International Journal of Engineering and Technical Research (IJETR), 2(9), pp. 207-209. Yang, P., and et al. (2010). A review of ensemble methods in bioinformatics. This manuscript has been published by Current Bioinformatics, 5, (4):296-308. Zhen, Z., Wang, F., Sun, Y., Mi, Z., et al. (2015). SVM Based Cloud Classification Model Using Total Sky Images for PV Power Forecasting. Innovative Smart Grid Technologies Conference (ISGT), 2015 IEEE Power & Energy Society, 1-5.