Decision Tree Learning

Slides:



Advertisements
งานนำเสนอที่คล้ายกัน
John Rawls  John Rawls is the most famous American social contract theorist argued that “Justice is fairness” He Thought human natural have a appropriate.
Advertisements

นานารำพึงของชีวิต (ชีวิตเมื่อคิดไป)
ADJECTIVE !!!.
พีชคณิตบูลีน Boolean Algebra.
??? กฏข้อที่สองของเทอร์โมไดนามิกส์ (The Second Law of Thermodynamics)
Introduction to Probability เอกสารประกอบการเรียนการสอน วิชา ความน่าจะเป็นเบื้องต้น เรื่อง ความน่าจะเป็นเบื้องต้น อ.สุวัฒน์ ศรีโยธี สาขาวิชาคณิตศาสตร์
E-R Model บรรยายโดย สุรางคนา ธรรมลิขิต.
เทอร์โมเคมี (Thermochemistry).
1st Law of Thermodynamics
Chapter 8 : Logic Modeling & Data Modeling
Moment in Life บางขณะของชีวิต.
Put the Glass Down จงวางแก้วใบนั้นลง
กฎข้อที่สามของเทอร์โมไดนามิกส์
Chapter 1 โครงสร้างข้อมูลและอัลกอริธึมส์
Functional programming part II
Stack.
Naïve Bayesian Classification
Decision Tree.
Project Work “The ant and the bird”.
Probability & Statistics
Probability & Statistics
Inductive, Deductive Reasoning ผศ.( พิเศษ ) น. พ. นภดล สุชาติ พ. บ. M.P.H.
Object-Oriented Analysis and Design
2 การเก็บรวบรวมข้อมูล Data Collection.
ความแตกต่างด้านไวยากรณ์
Put “the Glass” Down วาง”แก้ว”ลง
Image Processing & Computer Vision
THE ANT PHILOSOPHY : ปรัชญาของมด
ข้อแตกต่างระหว่าง กับ ผู้ชนะ ผู้แพ้.
Asst.Prof. Dr.Surasak Mungsing
การนำเสนอหนังสือประกอบการสอนวิชาทักษะการเรียนรู้ (HUM100)
8/3/2014The Realities of software Testing1 Software testing Realities What is the realities of software testing Why does the software testing not complete.
Merchant Marine Training Centre วิชาการเป็นเลิศ เชิดชู คุณธรรม ผู้นำ.
ครั้งที่ 9 บทที่ 2 25 มิถุนายน 2553
สถิติเชิงสรุปอ้างอิง(Inferential or Inductive Statistics)
Down for reducing. Tone down = to make a speech less offensive = ลดเสียงลง For example : He was very angry but had to tone his language down because.
(Internal energy of system)
1 หลักการภาษาชุดคำสั่ง อ. บุรินทร์ รุจจนพันธุ์.. ปรับปรุง 9 มิถุนายน 2556 Transition & Parse Tree มหาวิทยาลัยเนชั่น.
โครงสร้างควบคุมการทำงาน
Flow Chart INT1103 Computer Programming
พีชคณิตบูลีน Boolean Algebra.
z  1 ( mod 2 ) ก็ต่อเมื่อ z2  1 ( mod 2 )
หลักการเขียนโปรแกรม ( )
Developing our strategy Ten questions that need to be answered.
Classification Data mining การทำเหมืองข้อมูลแบบจำแนก
In-Class Exercises Discrete Mathematics
การตัดสินใจแบบกิ่งก้านสาขา (Decision tree)
การทดลองสุ่มและแซมเปิ้ลสเปซ
Luke 15 The Lost Sheep and the Lost Coin Luke 15 The Lost Sheep and the Lost Coin ลูกา​ 15 สูญหายแกะและ ลูกา​ 15 สูญหายแกะตัวและสูญหายเหรียญกษาปณ์
Confidence Interval Estimation (การประมาณช่วงความเชื่อมั่น)
คณิตศาสตร์พื้นฐาน ค ชั้นมัธยมศึกษาปีที่ 3 โดย ครูชำนาญ ยันต์ทอง
อุณหพลศาสตร์ Thermodynamics
คณิตศาสตร์พื้นฐาน ค ชั้นมัธยมศึกษาปีที่ 3 โดย ครูชำนาญ ยันต์ทอง
Present Continuous.
คณิตศาสตร์พื้นฐาน ค ชั้นมัธยมศึกษาปีที่ 3 โดย ครูชำนาญ ยันต์ทอง
Part of Speech Conjunction.
การเขียนผังงาน ผังงาน (Flowchart)
At the party ครูรุจิรา ทับศรีนวล. Communi cation Describing past events การบรรยาย เหตุการณ์ในอดีต ครูรุจิรา ทับศรีนวล.
ปัจจัยที่มีผลกระทบต่อความถี่ยีน
ครูวิชาการสาขาเคมี โรงเรียนมหิดลวิทยานุสรณ์
ภาษาอังกฤษ ชั้นมัธยมศึกษาปึที่ 4 Grammar & Reading ครูรุจิรา ทับศรีนวล.
D 2 E 1 S E M N G ม. I G I T Grammar A L 4.0.
สื่อการเรียนรู้ด้วยตัวเอง ชุดฝึกเขียนสรุป (Writing Summary)
การประเมินความจำเป็นด้านสุขภาพ Health Needs Assessment - HNA
อย่ากลัวสิ่งใดเลย Fear Nothing. อย่ากลัวสิ่งใดเลย Fear Nothing.
คุณลักษณะของเพื่อนที่ดีที่สุด
ที่มาและหน่วยงานกาชาดต่างๆ
1. พระเยซูทรงต้องการให้เราเป็น เหมือนพระองค์
Inventory Control Models
บทที่ 2 การวัด.
ใบสำเนางานนำเสนอ:

Decision Tree Learning Dr.Yodthong Rodkaew

Decision Tree A decision Tree consists of 3 types of nodes:- 1. Decision nodes - commonly represented by squares 2. Chance nodes - represented by circles 3. End nodes - represented by triangles

Decision Tree Ex. Our friend David is the manager of a famous golf club. Sadly, he is having some trouble with his customer attendance. There are days when everyone wants to play golf and the staff are overworked. On other days, for no apparent reason, no one plays golf and staff have too much slack time. David’s objective is to optimise staff availability by trying to predict when people will play golf. To accomplish that he needs to understand the reason people decide to play and if there is any explanation for that. http://en.wikipedia.org/wiki/Decision_tree_learning

Decision Tree Ex. He assumes that weather must be an important underlying factor, so he decides to use the weather forecast for the upcoming week. So during two weeks he has been recording: The outlook, whether it was sunny, overcast or raining. The temperature (in degrees Fahrenheit). The relative humidity in percent. Whether it was windy or not. Whether people attended the golf club on that day. David compiled this dataset into a table containing 14 rows and 5 columns as shown below. http://en.wikipedia.org/wiki/Decision_tree_learning

Decision Tree Ex. http://en.wikipedia.org/wiki/Decision_tree_learning

three different groups were found: One that plays golf when the weather is sunny, One that plays when the weather is cloudy, and One that plays when it's raining. แดด ปกคลุมด้วยเมฆมาก ฝนตก ลมแรง ความชื้น http://en.wikipedia.org/wiki/Decision_tree_learning

Entropy (General) เอนโทรปี ทั่วไป เอนโทรปี (อังกฤษ: Entropy, มาจากภาษากรีกว่า εν (en) แปลว่าภายใน รวมกับ τρέπω (trepo) แปลว่า ไล่ หนี หรือ หมุน) ถือเป็นหัวใจของกฎข้อที่ 2 ของอุณหพลศาสตร์ ซึ่งเกี่ยวข้องกับกระบวนการทางกายภาพที่เกิดขึ้นเองทางธรรมชาติ การเปลี่ยนแปลงดังกล่าวมีแนวโน้มที่จะทำให้ความแตกต่าง ไม่ว่าจะเป็น อุณหภูมิ แรงดัน ความหนาแน่น หรือค่าอื่น ๆ ในระบบค่อย ๆ น้อยลงจนกลืนเป็นเนื้อเดียวกัน ซึ่งต่างจากกฎข้อที่ 1 ของอุณหพลศาสตร์ ซึ่งกล่าวถึงการอนุรักษ์พลังงาน เอนโทรปีเป็นจำนวนซึ่งใช้อธิบายระบบอุณหพลศาสตร์ เมื่อมองในระดับโมเลกุล กระบวนการทางกายที่เกิดขึ้นเองทำให้โมเลกุลมีการเรียงตัวที่ไม่เป็นระเบียบมากขึ้น สามารถแทนได้ด้วยค่าเอนโทรปีที่เพิ่มขึ้น ในการคำนวณ นิยมใช้สัญลักษณ์ S ซึ่งนิยามจากสมการดิฟเฟอเรนเซียล dS = δQ / T โดยที่ δQ แทนพลังงานความร้อนที่ถูกดูดเข้าสู่ระบบที่ย้อนกลับได้ ส่วน T คือ อุณหภูมิสัมบูรณ์ http://en.wikipedia.org/wiki/Entropy_(information_theory) http://th.wikipedia.org/wiki/เอนโทรปี

Entropy (Information Theory) ในทฤษฎีข้อมูล เอนโทรปีของข้อมูล คือ ลักษณะที่บ่งชี้ระดับการสุ่มของสัญญาณหรือเหตุการณ์สุ่ม ว่ามีมากน้อยเพียงใด ตัวบ่งบอกว่าสัญญาณอันหนึ่งมีข้อมูลอยู่มากน้อยเพียงใด อะไรที่มีความสุ่มเยอะๆ ก็จะไม่ใช่ข้อมูล ข้อมูล จะมีความเป็นระเบียบอยู่จำนวนหนึ่ง แชนนอน (Shannon) สร้างบทนิยามของเอนโทรปีขึ้นจากข้อสมมติฐานว่า ค่านี้จะต้องมีสัดส่วน (ที่ต่อเนื่อง) นั่นคือ หากเปลี่ยนค่าของความน่าจะเป็นอันหนึ่งเพียงเล็กน้อย ค่าเอนโทรปีก็ควรเปลี่ยนเพียงเล็กน้อยเช่นกัน หากผลลัพธ์ (เช่น ตัวอักษรและเครื่องหมายในข้อความ) ทุกอันมีโอกาสเกิดเท่า ๆ กันแล้ว การเพิ่มจำนวนตัวอักษร (และเครื่องหมาย) จะต้องทำให้ค่าเอนโทรปีเพิ่มขึ้นด้วยเสมอ เราต้องสามารถใช้วิธีเลือกผลลัพธ์ (ตัวอักษร) โดยทำเป็นสองขั้นตอน และในกรณีนี้ ค่าเอนโทรปีของผลลัพธ์สุดท้ายต้องเท่ากับเอนโทรปีของทั้งสองขั้นตอนบวกกัน (โดยมีการถ่วงน้ำหนัก) http://en.wikipedia.org/wiki/Entropy_(information_theory) http://th.wikipedia.org/wiki/เอนโทรปี

Entropy สำหรับเหตุการณ์สุ่มแบบเต็มหน่วย x ซึ่งสมมุติให้มีสถานะ 1..n, เคลาด์ อี แชนนอน(Shannon) นิยามเอนโทรปีในเทอมของ x ว่า H(x) เป็น เอนโทรปี p(i) เป็น จำนวนโอกาสของข้อมูลที่เกิดขึ้นในการสุ่ม if the coin is fair, P(x) =1/2, H(x) =1 Full information If coin is double-headed, P(x)=1, H(x)=0 No information http://en.wikipedia.org/wiki/Entropy_(information_theory) http://th.wikipedia.org/wiki/เอนโทรปีของข้อมูล

Entropy Ex coin is fair โยนเหรียญ 10 ครั้ง ออกหัว 5 ครั้ง ออกก้อย 5 ครั้ง จงคำนวณหาค่าเอนโทรปี Log2(0.5)= -1 P(หัว) = 5/10 = 0.5 P(ก้อย) = 5/10 = 0.5 log2 ( P(หัว) ) = log2 (0.5) = -1 log2 ( P(ก้อย) ) = log2 (0.5) = -1 H(x) = - { p(หัว) * log2(p(หัว)) + p(ก้อย) * log2(p(ก้อย)) } = - { 0.5 * (-1) + 0.5 * (-1) } = - { -0.5 + -0.5 } = - { -1 } = 1 http://logbase2.blogspot.com/2008/08/log-calculator.html http://en.wikipedia.org/wiki/Entropy_(information_theory) http://th.wikipedia.org/wiki/เอนโทรปีของข้อมูล

Entropy Ex double-headed โยนเหรียญ 10 ครั้ง ออกหัว 10 ครั้ง ออกก้อย 0 ครั้ง จงคำนวณหาค่าเอนโทรปี P(หัว) = 10/10 = 1 P(ก้อย) = 0/10 = 0 Log2(0)= -INFINITY Log2(1)= 0 log2 ( P(หัว) ) = log2 (1) = 0 log2 ( P(ก้อย) ) = log2 (0) = -INF H(x) = - { p(หัว) * log2(p(หัว)) + p(ก้อย) * log2(p(ก้อย)) } = - { 10 * (0) + 0 * (-INF) } = - { 0 } = 0 http://logbase2.blogspot.com/2008/08/log-calculator.html http://en.wikipedia.org/wiki/Entropy_(information_theory) http://th.wikipedia.org/wiki/เอนโทรปีของข้อมูล

Entropy Ex natural random โยนเหรียญ 10 ครั้ง ออกหัว 7 ครั้ง ออกก้อย 3 ครั้ง จงคำนวณหาค่าเอนโทรปี Log2(0.7)= -0.514573 Log2(0.3)= -1.736966 P(หัว) = 7/10 = 0.7 P(ก้อย) = 3/10 = 0.3 log2 ( P(หัว) ) = log2 (0.7) = -0.514573 log2 ( P(ก้อย) ) = log2 (0.3) = -1.736966 H(x) = - { p(หัว) * log2(p(หัว)) + p(ก้อย) * log2(p(ก้อย)) } = - { 0.7 * (-0.514573) + 0.3 * (-1.736966) } = 0.3602011 + 0.5210898 = 0.8812909 http://logbase2.blogspot.com/2008/08/log-calculator.html http://en.wikipedia.org/wiki/Entropy_(information_theory) http://th.wikipedia.org/wiki/เอนโทรปีของข้อมูล