Decision Tree
Decision Tree เรียกอีกชื่อว่า Classification tree เป็นเทคนิคแบบ Supervised Learning เป็นวิธีเรียนรู้ที่ไม่ซับซ้อนมากนัก โดยมีโครงสร้างเป็นต้นไม้ แตกแขนงไปตามเงื่อนไขหรือข้อมูลที่ได้คาดคะเนไว้ว่าจะเกิดขึ้น โครงสร้างของ Decision tree จะประกอบด้วย ใบ (Leaf) เป็นส่วนของผลลัพธ์ที่ได้ กิ่ง (Branch) เป็นตัวเชื่อมระหว่างโหนด ราก (Root) เป็นจุดเริ่มต้นของเหตุการณ์
ตัวอย่าง root branch leaf If outlook=sunny and humidity=normal then play=yes If outlook=overcast then play=yes If outlook=rainy and windy=false then play=yes If outlook=sunny and humidity=high then play=no If outlook=rainy and windy=true then play=no
Decision Tree การเรียนรู้ด้วย Decision tree เป็นการเรียนรู้จากการคาดคะเนเหตุการณ์ต่างๆที่อาจเกิดขึ้น อาศัยเงื่อนไขเป็นตัวช่วยในการตัดสินใจว่าเมื่อมีเหตุการณ์ใดๆขึ้น จะแสดงผลออกมาอย่างไร ต้องการต้นไม้ให้มีขนาดเล็ก การคาดคะเนจะถูกนำเสนอด้วยรูปแบบการตัดสินใจ (if/then/else) If outlook=overcast then play=yes
Information Gain ค่า Information gain ถูกนำมาใช้ในการเลือก attribute ในแต่ละ node ของ tree attribute ตัวใดทีมีค่า Information gain สูงสุด จะถูกเลือก
Entropy Entropy หรือ Information value 𝑒𝑛𝑡𝑟𝑜𝑝𝑦 𝑝 1 , 𝑝 2 ,…,𝑝 𝑛 =− 𝑝 1 𝑙𝑜𝑔2 𝑝 1 − 𝑝 2 𝑙𝑜𝑔 2𝑝 2 …− 𝑝 𝑛 𝑙𝑜𝑔 2𝑝 𝑛 𝑤ℎ𝑒𝑟𝑒 𝑝 1 , + 𝑝 2 + ,…,+𝑝 𝑛 = 1 หมายเหตุ: info([2,3,4]) = entropy( 2 9 , 3 9 , 4 9 ) = − 2 9 𝑙𝑜𝑔2 2 9 − 3 9 𝑙𝑜𝑔2 3 9 − 4 9 𝑙𝑜𝑔2 4 9
ตัวอย่างการคำนวณค่า Entropy info([9,5]) = entropy( 9 14 , 5 14 ) = − 9 14 𝑙𝑜𝑔2 9 14 − 5 14 𝑙𝑜𝑔2 5 14 info([2,3]) = entropy( 2 5 , 3 5 ) = − 2 5 𝑙𝑜𝑔2 2 5 − 3 5 𝑙𝑜𝑔2 3 5 info([4,0]) = entropy( 4 4 , 0 4 ) = − 4 4 𝑙𝑜𝑔2 4 4 − 0 4 𝑙𝑜𝑔2 0 4 info([3,2]) = entropy( 3 5 , 2 5 ) = − 3 5 𝑙𝑜𝑔2 3 5 − 2 5 𝑙𝑜𝑔2 2 5
ตัวอย่างการคำนวณค่าเฉลี่ยของ information [ 5 14 ×0.971] = 0.693 bits
ตัวอย่างการคำนวณค่า Information Gain Gain(outlook) = info([9,5]) - info([2,3], [4,0], [3,2]) = 0.940 – 0.693 = 0.247 bits Information value of creating a branch on the outlook attribute
Which is the best choice? [yes,no] = [9,5] [2,3] [4,0] [3,2] [3,1] [2,2] [4,2] เลือกได้ 4 กรณี Which is the best choice? [3,3] [3,4] [6,1] [6,2]
[2,0] [1,1] [1,0] [0,3] [2,0] [1,2] [1,1]