งานนำเสนอกำลังจะดาวน์โหลด โปรดรอ

งานนำเสนอกำลังจะดาวน์โหลด โปรดรอ

1 Dr. Wararat Rungworawut 322475 การทำเหมืองข้อมูล (Data Mining) สอนโดย ผศ. ดร. วรารัตน์ สงฆ์แป้น ภาควิชาวิทยาการคอมพิวเตอร์ คณะวิทยาศาสตร์ มหาวิทยาลัยขอนแก่น.

งานนำเสนอที่คล้ายกัน


งานนำเสนอเรื่อง: "1 Dr. Wararat Rungworawut 322475 การทำเหมืองข้อมูล (Data Mining) สอนโดย ผศ. ดร. วรารัตน์ สงฆ์แป้น ภาควิชาวิทยาการคอมพิวเตอร์ คณะวิทยาศาสตร์ มหาวิทยาลัยขอนแก่น."— ใบสำเนางานนำเสนอ:

1 1 Dr. Wararat Rungworawut การทำเหมืองข้อมูล (Data Mining) สอนโดย ผศ. ดร. วรารัตน์ สงฆ์แป้น ภาควิชาวิทยาการคอมพิวเตอร์ คณะวิทยาศาสตร์ มหาวิทยาลัยขอนแก่น บทที่ 6: การจำแนกประเภทโดยใช้กฎของเบย์ (Bayesian Learning)

2 2 การจำแนกประเภทโดยใช้กฎของเบย์  เป็นการจำแนกประเภทโดยใช้หลักสถิติใน การพยากรณ์ความน่าจะเป็นของสมาชิก  เรียกว่า ทฤษฎีของเบย์ (Bayesian theorem)  เป็นการเรียนรู้เพิ่มได้ : ตัวอย่างใหม่ที่ได้มาถูก นำมาปรับเปลี่ยนการแจกแจงซึ่งมีผลต่อการเพิ่ม / ลดความน่าจะเป็น ทำให้มีการเรียนรู้ที่เปลี่ยนไป วิธีการนี้ตัวแบบจะถูกปรับเปลี่ยนไปตามตัวอย่าง ใหม่ที่ได้โดยผนวกกับความรู้เดิมที่มี  การทำนายค่าคลาสเป้าหมายของตัวอย่างใช้ ความน่าจะเป็นมากที่สุดของทุกสมมติฐาน

3 3 ทฤษฎีของเบย์ (Bayesian theorem)  ให้ D แทนข้อมูลที่นำมาใช้ในการคำนวณการแจก แจงความน่าจะเป็น posteriori probability ของ สมมติฐาน h คือ P(h|D) ตามทฤษฎี P(h) คือ ความน่าจะเป็นก่อนหน้าของสมมติฐาน h P(D) คือ ความน่าจะเป็นก่อนหน้าของชุดข้อมูล ตัวอย่าง D P(h|D) คือ ความน่าจะเป็นของ h ขึ้นต่อ D P(D|h) คือ ความน่าจะเป็นของ D ขึ้นต่อ h

4 4 ตัวอย่าง :: การพยากรณ์อากาศ  การพยากรณ์อากาศ (Weather forecast)  ความน่าจะเป็นที่เกิดเฮอร์ริเคนในชิคาโก้ คือ  ทอมมีทักษะในการพยากรณ์ถูกต้องประมาณ 98% ของการ ทำนายทั้งหมด (Predict-hur)  แต่ทอมก็มีการทำนายถูกว่าไม่เกิดเฮอร์ริเคนถูกต้อง 97% เช่นกัน (Predict-nohur) P(hurricane) = P(~hurricane) = 1 – P(hurricane) = P(~h) P(h) P(~h) = 1- P(h) P(h) + P(~h) = 1

5 5 ตัวอย่าง :: การพยากรณ์อากาศ  การพยากรณ์อากาศ (Weather forecast)  ความน่าจะเป็นที่เกิดเฮอร์ริเคนในชิคาโก้ คือ  ทอมมีทักษะในการพยากรณ์ถูกต้องประมาณ 98% ของการ ทำนายทั้งหมด (Predict-hur)  แต่ทอมก็มีการทำนายถูกว่าไม่เกิดเฮอร์ริเคนถูกต้อง 97% เช่นกัน (Predict-nh) P(hurricane) = P(predict-hur | hurricane) = 0.98 P(predict-nohur | hurricane) = 0.02 P(~hurricane) = P(hurricane) P(predict-h) = 0.98 P(predict-nh) = 0.02

6 6 ตัวอย่าง :: การพยากรณ์อากาศ  การพยากรณ์อากาศ (Weather forecast)  ความน่าจะเป็นที่เกิดเฮอร์ริเคนในชิคาโก้ คือ  ทอมมีทักษะในการพยากรณ์ถูกต้องประมาณ 98% ของการ ทำนายทั้งหมด (Predict-hur)  แต่ทอมก็มีการทำนายถูกว่าไม่เกิดเฮอร์ริเคนถูกต้อง 97% (Predict-nohur) P(hurricane) = P(predict-hur|hurricane) = 0.98 P(predict-nohur|hurricane) = 0.02 P(~hurricane) = P(predict-hur|~hurricane) = 0.03 P(predict-nohur| ~hurricane) = 0.97 P(~hurricane) P(predict-h) = 0.03 P(predict-nh) = 0.97

7 7 ตัวอย่าง :: การพยากรณ์อากาศ  ถ้าสุ่มวันขึ้นมา จากทักษะที่ทอมทำนายการเกิดเฮอร์ริเคน จะ เชื่อเขาหรือไม่ ??  ความน่าจะเป็นที่เขาทำนายถูกต้อง ?  ความน่าจะเป็นที่เขาทำนายผิด ? P(predict-hur|hurricane)P(hurricane)‏ P(predict-hur)‏ P(hurricane|predict-hur) = 0.98* = = P(hurricane) = P(predict-hur|hurricane) = 0.98 P(predict-nohur|hurricane) = 0.02 P(~hurricane) = P(predict-hur|~hurricane) = 0.03 P(predict-nohur| ~hurricane) = 0.97 P(predict-hur|~hurricane)P(~hurricane)‏ P(predict-hur)‏ P(~hurricane|predict-hur) = 0.03* = = 

8 8 ตัวอย่าง :: มะเร็ง (Cancer)  คนไข้คนหนึ่งไปตรวจหามะเร็ง ผลการตรวจเป็นบวก (+) อยากทราบว่า เราควรวินิจฉัยโรคคนไขคนนี้ว่าเป็นมะเร็ง จริงหรือไม่ ? ความเป็นจริง คือ  ผลการตรวจเมื่อเป็นบวกจะให้ความถูกต้อง 98% กรณีที่มี โรคนั้นอยู่จริง  ผลการตรวจเมื่อเป็นลบจะให้ความถูกต้อง 97% กรณีที่ไม่มี โรคนั้น  ของประชากรทั้งหมดเป็นโรคมะเร็ง  จากความน่าจะเป็นข้างต้น เราจะทราบว่าความน่าจะเป็น ต่อไปนี้ P(cancer) = P(~cancer) = P(+ | cancer) = P(- | cancer) = P(+ |~ cancer) = P(- |~ cancer) =

9 9 ตัวอย่าง :: มะเร็ง (Cancer)  เราสามารถคำนวณค่าความน่าจะเป็นของสมมติฐาน ว่าคนไข้เป็น / ไม่เป็นโรคมะเร็ง เมื่อทราบผลตรวจ เป็นบวก โดยใช้กฎของเบย์ ดังนี้ ความน่าจะเป็นที่คนไข้คนนี้จะเป็นโรคมะเร็งเมื่อผลตรวจเป็น บวก เท่ากับ P(cancer |+) = ความน่าจะเป็นที่คนไข้คนนี้จะไม่เป็นโรคมะเร็งเมื่อผลตรวจเป็น บวก เท่ากับ P(~cancer |+) = P(+|cancer)P(cancer)‏ = P(+|~cancer)P(~cancer)‏ =

10 10 วิธีการเรียนรู้เบย์อย่างง่าย (Naïve Bayesian Learning)  วิธีการของ Naïve Bayesian คือการใช้วิธีการของเบย์ พร้อมสมมติฐานของการเป็นอิสระต่อกันของตัวแปร อิสระทุกตัว  โดยแต่ละ instance x มี n แอททริบิวต์ หรือ x= {A1, …, An} และมี Ci เป็น class label Naïve Bayes Classifier = Max (P(C i )  P(A j |C i ) ) P(A 1,…, A n ) C = Max P’(C i )  P’(A j |C i ) n i=1 m j=1

11 11 ตัวอย่าง : ผิวไหม้ (sunburn) Sample ID Hair colorEye ColorWeightApply lotionSun burn S1blackDarkoverweightNo- S2redDarknormalNo+ S3BlondelightOverweightNo+ S4RedlightunderweightNo+ S5BlackDarkOverweightYes- S6BlondeDarkOverweightNo+ S7RedlightunderweightYes- S8BlackDarkNormalNo- S9BlondeDarkNormalYes+ S10RedlightNormalYes+ S11BlacklightNormalYes+ S12BlondelightUnderweightNo+ S13RedDarkNormalYes- S14blacklightunderweightno+

12 12 ตัวอย่าง : ผิวไหม้ (sunburn)  Instance x = เพราะฉะนั้น เมื่อ instance ใหม่เข้ามาถามว่า ผิวจะไหม้ หรือไม่  C 1 : sun burn is + : P(+).P(red|+).P(dark|+).P(overweight|+).P(apply lotion|+)  C 2 : sun burn is - : P(-).P(red|-).P(dark|-).P(overweight|-).P(apply lotion|-)  X belongs to class (“sunburn = -”)

13 13 ตัวอย่าง : เล่นเทนนิส (Play tennis)

14 14 ตัวอย่าง : เล่นเทนนิส (Play tennis)  ออกไปเล่นเทนนิสได้หรือไม่  New instance x =  P(yes)P(sunny|yes)P(cool|yes)P(high|yes)P(strong|yes)‏ P(yes) = 9/14 = 0.64 P(sunny|yes) = 2/9 = 0.22 P(cool|yes) = 3/9 = 0.33 P(high|yes) = 3/9 = 0.33 P(strong|yes) = 3/9 = 0.33  = C = Max P’(C i )  P’(A j |C i ) n i=1 m j=1

15 15 ตัวอย่าง : เล่นเทนนิส (Play tennis)  ออกไปเล่นเทนนิสได้หรือไม่  New instance x = P(no)P(sunny|no)P(cool|no)P(high|no)P(strong|no)‏ P(no) = 5/14 = 0.36 P(sunny|no) = 3/5 = 0.6 P(cool|no) = 1/5 = 0.2 P(high|no) = 4/5 = 0.8 P(strong|no) = 3/5 = 0.6 = C = Max P’(C i )  P’(A j |C i ) n i=1 m j=1  New instance is “play tennis = no”

16 16 จุดอ่อนของ Naïve Bayses New Instance : P(no)P(overcast|no)P(cool|no)P(low|no)P(strong|no)‏  So, P(no| ) = 0 ?  Solve: m-estimate of probability  n is number of training examples with C = C i  n c number of example with C= C i and a = a j  p prior estimate for P(a j |C i ) -> 1/(number-of-attribute-values)  m number of virtual example (weight) -> |values|  P(overcast|no) = = *1/

17 17 วิธีการเรียนรู้เบย์อย่างง่าย (Naïve Bayesian Learning)  ข้อดี  ง่ายต่อการนำไปใช้ เพราะใช้การคำนวณที่ ง่าย  ได้ผลลัพธ์ที่สามารถนำไปประยุกต์ใช้ได้ดี  ข้อเสีย  ใช้ได้กับ attribute ที่เป็นอิสระกันเท่านั้น

18 18 วิธีการเรียนรู้เครือข่ายความเชื่อเบย์ (Baysian Belief Network Learning) เป็นแบบจำลองที่แสดงความสัมพันธ์ระหว่างแอตทริ บิวส์แบบขึ้นต่อกันได้ นิยาม P(X|Y, Z) = P(X|Z) ตัวอย่าง : P( ฟ้าผ่า | ฝนตก, ฟ้าแลป ) = P( ฟ้าผ่า | ฝนตก ) การทำแบบจำลอง 1. Directed Acyclic Graph (DAG) 2. Conditional Probability Tables (CPT)

19 19 Example: DAG Lightning (L) ฟ้าแลป Storm (S) พายุ ForestFire (F) ไฟป่า Thunder(T) ฟ้าร้อง

20 20 ข้อมูลตัวอย่าง Thunder(T)ForestFire(F)Lightning(L)Strom(S)instances TTTT54 TTTF1 TFTT7 TFTF27 FTTT3 FFTF2 FFFT4 FFFF2 SUM100

21 21 Calculation of CPT P(Vi = vi |Parent (Vi) = pi) = number of example Vi = vi number of example Parent (Vi) = pi  P(L=T) = ( )/100 = 0.94  P(~ L= F) = =0.06 Lightning (L) ฟ้าแลป Storm (S) พายุ ForestFire (F) ไฟป่า Thunder(T) ฟ้าร้อง Lightning T 0.94 F 0.06

22 22 Calculation of CPT Lightning (L) ฟ้าแลป Storm (S) พายุ ForestFire (F) ไฟป่า Thunder(T) ฟ้าร้อง Lightning T 0.94 F 0.06 Strom T 0.68 F 0.32 P(T| L) = ( )/( ) = 0.95 P(~T|L) = (3+2)/( ) = 0.05 L ~L T F P(T| ~L) = (0)/(0) = 0.0 P(~T| ~L) = (4+2)/(4+2) = 1.0

23 23 Calculation of CPT Lightning (L) ฟ้าแลป Storm (S) พายุ ForestFire (F) ไฟป่า Thunder(T) ฟ้าร้อง Lightning T 0.94 F 0.06 Strom T 0.68 F 0.32 L,S L,~S ~L,S ~L,~S T F P(F| L, S) = (54+3)/ (54+7+3) = 0.89 P(F| L,~S) = 1/(1+27+2) = 0.03 P(~F| ~L, S) = 4/4 = 1 P(~F| ~L,~S) = 2/2 = 1 L ~L T F

24 24 Example:  X = จะเกิดไฟป่า (ForestFire) หรือไม่ (True หรือ False)  P(ForestFire = True| Lightning = False, Strom = true ) = P(F|~L,S) = 0.00  P(ForestFire = False| Lightning = False, Strom = true ) = P(~F|~L,S) = 1.00  เพราะฉะนั้นก็จะไม่เกิดไฟป่า


ดาวน์โหลด ppt 1 Dr. Wararat Rungworawut 322475 การทำเหมืองข้อมูล (Data Mining) สอนโดย ผศ. ดร. วรารัตน์ สงฆ์แป้น ภาควิชาวิทยาการคอมพิวเตอร์ คณะวิทยาศาสตร์ มหาวิทยาลัยขอนแก่น.

งานนำเสนอที่คล้ายกัน


Ads by Google