Decision Tree Learning Dr.Yodthong Rodkaew

Decision Tree A decision Tree consists of 3 types of nodes:- 1. Decision nodes - commonly represented by squares 2. Chance nodes - represented by circles 3. End nodes - represented by triangles

Decision Tree Ex. Our friend David is the manager of a famous golf club. Sadly, he is having some trouble with his customer attendance. There are days when everyone wants to play golf and the staff are overworked. On other days, for no apparent reason, no one plays golf and staff have too much slack time. David’s objective is to optimise staff availability by trying to predict when people will play golf. To accomplish that he needs to understand the reason people decide to play and if there is any explanation for that. http://en.wikipedia.org/wiki/Decision_tree_learning

Decision Tree Ex. He assumes that weather must be an important underlying factor, so he decides to use the weather forecast for the upcoming week. So during two weeks he has been recording: The outlook, whether it was sunny, overcast or raining. The temperature (in degrees Fahrenheit). The relative humidity in percent. Whether it was windy or not. Whether people attended the golf club on that day. David compiled this dataset into a table containing 14 rows and 5 columns as shown below. http://en.wikipedia.org/wiki/Decision_tree_learning

Decision Tree Ex. http://en.wikipedia.org/wiki/Decision_tree_learning

three different groups were found: One that plays golf when the weather is sunny, One that plays when the weather is cloudy, and One that plays when it's raining. แดด ปกคลุมด้วยเมฆมาก ฝนตก ลมแรง ความชื้น http://en.wikipedia.org/wiki/Decision_tree_learning

Entropy (General) เอนโทรปี ทั่วไป เอนโทรปี (อังกฤษ: Entropy, มาจากภาษากรีกว่า εν (en) แปลว่าภายใน รวมกับ τρέπω (trepo) แปลว่า ไล่ หนี หรือ หมุน) ถือเป็นหัวใจของกฎข้อที่ 2 ของอุณหพลศาสตร์ ซึ่งเกี่ยวข้องกับกระบวนการทางกายภาพที่เกิดขึ้นเองทางธรรมชาติ การเปลี่ยนแปลงดังกล่าวมีแนวโน้มที่จะทำให้ความแตกต่าง ไม่ว่าจะเป็น อุณหภูมิ แรงดัน ความหนาแน่น หรือค่าอื่น ๆ ในระบบค่อย ๆ น้อยลงจนกลืนเป็นเนื้อเดียวกัน ซึ่งต่างจากกฎข้อที่ 1 ของอุณหพลศาสตร์ ซึ่งกล่าวถึงการอนุรักษ์พลังงาน เอนโทรปีเป็นจำนวนซึ่งใช้อธิบายระบบอุณหพลศาสตร์ เมื่อมองในระดับโมเลกุล กระบวนการทางกายที่เกิดขึ้นเองทำให้โมเลกุลมีการเรียงตัวที่ไม่เป็นระเบียบมากขึ้น สามารถแทนได้ด้วยค่าเอนโทรปีที่เพิ่มขึ้น ในการคำนวณ นิยมใช้สัญลักษณ์ S ซึ่งนิยามจากสมการดิฟเฟอเรนเซียล dS = δQ / T โดยที่ δQ แทนพลังงานความร้อนที่ถูกดูดเข้าสู่ระบบที่ย้อนกลับได้ ส่วน T คือ อุณหภูมิสัมบูรณ์ http://en.wikipedia.org/wiki/Entropy_(information_theory) http://th.wikipedia.org/wiki/เอนโทรปี

Entropy (Information Theory) ในทฤษฎีข้อมูล เอนโทรปีของข้อมูล คือ ลักษณะที่บ่งชี้ระดับการสุ่มของสัญญาณหรือเหตุการณ์สุ่ม ว่ามีมากน้อยเพียงใด ตัวบ่งบอกว่าสัญญาณอันหนึ่งมีข้อมูลอยู่มากน้อยเพียงใด อะไรที่มีความสุ่มเยอะๆ ก็จะไม่ใช่ข้อมูล ข้อมูล จะมีความเป็นระเบียบอยู่จำนวนหนึ่ง แชนนอน (Shannon) สร้างบทนิยามของเอนโทรปีขึ้นจากข้อสมมติฐานว่า ค่านี้จะต้องมีสัดส่วน (ที่ต่อเนื่อง) นั่นคือ หากเปลี่ยนค่าของความน่าจะเป็นอันหนึ่งเพียงเล็กน้อย ค่าเอนโทรปีก็ควรเปลี่ยนเพียงเล็กน้อยเช่นกัน หากผลลัพธ์ (เช่น ตัวอักษรและเครื่องหมายในข้อความ) ทุกอันมีโอกาสเกิดเท่า ๆ กันแล้ว การเพิ่มจำนวนตัวอักษร (และเครื่องหมาย) จะต้องทำให้ค่าเอนโทรปีเพิ่มขึ้นด้วยเสมอ เราต้องสามารถใช้วิธีเลือกผลลัพธ์ (ตัวอักษร) โดยทำเป็นสองขั้นตอน และในกรณีนี้ ค่าเอนโทรปีของผลลัพธ์สุดท้ายต้องเท่ากับเอนโทรปีของทั้งสองขั้นตอนบวกกัน (โดยมีการถ่วงน้ำหนัก) http://en.wikipedia.org/wiki/Entropy_(information_theory) http://th.wikipedia.org/wiki/เอนโทรปี

Entropy สำหรับเหตุการณ์สุ่มแบบเต็มหน่วย x ซึ่งสมมุติให้มีสถานะ 1..n, เคลาด์ อี แชนนอน(Shannon) นิยามเอนโทรปีในเทอมของ x ว่า H(x) เป็น เอนโทรปี p(i) เป็น จำนวนโอกาสของข้อมูลที่เกิดขึ้นในการสุ่ม if the coin is fair, P(x) =1/2, H(x) =1 Full information If coin is double-headed, P(x)=1, H(x)=0 No information http://en.wikipedia.org/wiki/Entropy_(information_theory) http://th.wikipedia.org/wiki/เอนโทรปีของข้อมูล

Entropy Ex coin is fair โยนเหรียญ 10 ครั้ง ออกหัว 5 ครั้ง ออกก้อย 5 ครั้ง จงคำนวณหาค่าเอนโทรปี Log2(0.5)= -1 P(หัว) = 5/10 = 0.5 P(ก้อย) = 5/10 = 0.5 log2 ( P(หัว) ) = log2 (0.5) = -1 log2 ( P(ก้อย) ) = log2 (0.5) = -1 H(x) = - { p(หัว) * log2(p(หัว)) + p(ก้อย) * log2(p(ก้อย)) } = - { 0.5 * (-1) + 0.5 * (-1) } = - { -0.5 + -0.5 } = - { -1 } = 1 http://logbase2.blogspot.com/2008/08/log-calculator.html http://en.wikipedia.org/wiki/Entropy_(information_theory) http://th.wikipedia.org/wiki/เอนโทรปีของข้อมูล

Entropy Ex double-headed โยนเหรียญ 10 ครั้ง ออกหัว 10 ครั้ง ออกก้อย 0 ครั้ง จงคำนวณหาค่าเอนโทรปี P(หัว) = 10/10 = 1 P(ก้อย) = 0/10 = 0 Log2(0)= -INFINITY Log2(1)= 0 log2 ( P(หัว) ) = log2 (1) = 0 log2 ( P(ก้อย) ) = log2 (0) = -INF H(x) = - { p(หัว) * log2(p(หัว)) + p(ก้อย) * log2(p(ก้อย)) } = - { 10 * (0) + 0 * (-INF) } = - { 0 } = 0 http://logbase2.blogspot.com/2008/08/log-calculator.html http://en.wikipedia.org/wiki/Entropy_(information_theory) http://th.wikipedia.org/wiki/เอนโทรปีของข้อมูล

Entropy Ex natural random โยนเหรียญ 10 ครั้ง ออกหัว 7 ครั้ง ออกก้อย 3 ครั้ง จงคำนวณหาค่าเอนโทรปี Log2(0.7)= -0.514573 Log2(0.3)= -1.736966 P(หัว) = 7/10 = 0.7 P(ก้อย) = 3/10 = 0.3 log2 ( P(หัว) ) = log2 (0.7) = -0.514573 log2 ( P(ก้อย) ) = log2 (0.3) = -1.736966 H(x) = - { p(หัว) * log2(p(หัว)) + p(ก้อย) * log2(p(ก้อย)) } = - { 0.7 * (-0.514573) + 0.3 * (-1.736966) } = 0.3602011 + 0.5210898 = 0.8812909 http://logbase2.blogspot.com/2008/08/log-calculator.html http://en.wikipedia.org/wiki/Entropy_(information_theory) http://th.wikipedia.org/wiki/เอนโทรปีของข้อมูล