งานนำเสนอกำลังจะดาวน์โหลด โปรดรอ

งานนำเสนอกำลังจะดาวน์โหลด โปรดรอ

บทที่ 2 Quick Review about Probability and Introduction to Decision Theory (ML & MAP)

งานนำเสนอที่คล้ายกัน


งานนำเสนอเรื่อง: "บทที่ 2 Quick Review about Probability and Introduction to Decision Theory (ML & MAP)"— ใบสำเนางานนำเสนอ:

1 บทที่ 2 Quick Review about Probability and Introduction to Decision Theory (ML & MAP)

2 Quick Review about Probabilty Joint Probability Conditional Probability

3 Bayes Rule : Mutually Exclusive Event : A  B=  Statistical Independent :

4 “Probability” Measure numerically the outcome of random experiment” “Random Variables” Assign the rule or mapping by means of which a real number is given to each outcome “CDF” : Cumulative Distribution Function “Pdf” : Probability Density Function

5

6 Marginal pdf:

7

8

9 จำนวนวันทั้งหมด 365x 10 วัน 10 ปี = N จำนวนวันที่มีฝนตก 1650 วัน = N R จำนวนวันที่เกิดอุบัติเหตุ 360 วัน = N A จำนวนวันที่เกิดอุบัติเหตุและฝนตก 240 วัน = N AR จำนวนวันที่เกิดอุบัติเหตุและฝนไม่ตก ? วัน = N AR’ จำนวนวันที่เกิดไม่เกิดอุบัติเหตุและฝนตก ? วัน = N A’R จำนวนวันที่ไม่เกิดอุบัติเหตุและฝนไม่ตก ? N A’R’ คำถามจงหา Joint Prob Marginal Prob Conditional Prob

10 จำนวนวันทั้งหมด 365x10 วัน 10 ปี = N จำนวนวันที่มีฝนตก 1650 วัน = N R จำนวนวันที่เกิดอุบัติเหตุ 360 วัน = N A จำนวนวันที่เกิดอุบัติเหตุและฝนตก 240 วัน = N AR จำนวนวันที่เกิดอุบัติเหตุและฝนไม่ตก ( ) วัน = N AR’ จำนวนวันที่เกิดไม่เกิดอุบัติเหตุและฝนตก ( ) วัน = N A’R จำนวนวันที่ไม่เกิดอุบัติเหตุและฝนไม่ตก ( ) – ( ) N A’R’ คำถามจงหา Joint Prob Marginal Prob Conditional Prob

11 A=(x  3.5)Find P(A) B=( x  0)Find P(B) Find P(A  B) Example 1.

12 S R P(S=0) =0.6 P(S=1) =0.4 Example 2. P(R=0|S=0)=0.9 P(R=1|S=0)=0.1 Find P(S=0|R=0)

13 SR Example 3. P(S=0)=0.4 P(S=1)=0.2 P(S=2)=0.4 Find P(R=0) Example 4. f(x,y) = 6exp(-2x-3y); x  0, y  0 = 0 ; otherwise Find P(x  1,y  1)

14 Joint Moment Uncorrelateiff cov =0 OrthogonaliffE(xy) = 0 Statistical Independent Implies Uncorrelate Reverse is not true Uncorrelate does not implies Statistical Independent

15 Joint Gaussian Random Variables Random Variables X 1,X 2,X 3,..,X n are jointly gaussian if their joint PDF is  ij = cofactor for the elememt  ij |K| = determinant of matrix K

16 Gaussian Bivariate Distribution Bivariate Gaussian PDF

17 Importance of Gaussian PDF 1. Central Limit Theorem 2. Simplify Math Property I. Completely specfied by first and second moment Property II Uncorrelate implied Statistical Independent Others PDF not implied

18 Property III If Joint PDF is Gaussian  Marginal PDF, p(x i ) is Gaussian Conditional PDF is Gaussian Property IV Linear combinations of joint Gaussian RV’s  are also Gaussian Property V The Input Signal into a linear system is Gaussian  the output signal will also be Gaussian

19 Gaussian Distribution Let  = x-m  d  = dx if X=m+a   = a

20 x m m+a  a 0 0

21 EXAMPLE 5. ส่งสัญญาณ x ขนาด 5 V. ผ่าน ช่อง สัญญาณ AWGN ที่มี  =3 จงหา P(x >7) x = 5+n

22 Properties :

23 Functional Transformation of Random Variables If PDF f x (x) of random variable x : is known Transformation Random variable y = h(x) Find PDF f y (y) Warning : input x(t) through a linear system h(t) or H(f) Output y(t) has power spectrum density (PSD) S yy (f) = |H(f)| 2 S xx (f)

24 Example 6. y = x 2

25 y P x (x) P y (y)

26 Example 7.

27

28 Maximum Likelihood Detection Ex 8. a  {0,1} P(a=0) =1/2 P(a=1)=1/2 n  {0,1} P(n=0) =1/2 P(n=1) =1/2 a y=a+nGiven a= 0; P(y=0|a=0) = 1/2 nP(y=0|a=1) = 0 a y P(y=2|a=1) = 1/2 = P(n=1) 00 P(y=2|a=0) = P(y=1|a=0) = 1/2 = P(n=1) 2 P(y=1|a=1) = 1/2 = P(n=0) n=0 n=1

29 Ex 9. a  {0,1} P(a=0) =3/4 P(a=1)=1/4 n  {0,1} P(n=0) =1/2 P(n=1) =1/2 Only y is observable P(y=0,a=0) = P(y=0|a=0)P(a=0) = 3/8 = P(a=0|y=0)P(y=0) P(y=0,a=1) = P(y=0|a=1)P(a=1) = 0 = P(a=1|y=0)P(y=0) if observe y =0 what can you guess about a ? P(y=1,a=0) = P(y=1|a=0)P(a=0) = 3/8 = P(a=0|y=1)P(y=1) P(y=1,a=1) = P(y=1|a=1)P(a=1) = 1/8 = P(a=1|y=1)P(y=1) if observe y =1 what can you guess about a ? P(y=2,a=0) = P(y=2|a=0)P(a=0) = 0 = P(a=0|y=2)P(y=2) P(y=2,a=1) = P(y=2|a=1)P(a=1) = 1/8= P(a=1|y=2)P(y=2)

30 ในตัวอย่างที่ 8 ถ้ารับ y ได้เท่ากับ 1 นักศึกษาคิด ว่า a ที่ส่งเท่ากับเท่าไร ในตัวอย่างที่ 9 ถ้ารับ y ได้เท่ากับ 1 นักศึกษาคิดว่า a ที่ส่งเท่ากับเท่าไร P(y=1,a=0) = 3/8 = P(a=0|y=1)P(y=1) P(y=1,a=1) = 1/8 = P(a=1|y=1)P(y=1) เนื่องจาก P(y=1) เท่ากันทั้งสองบรรทัด ดังนั้น การเปรียบเทียบ เมื่อรับ y เข้ามาแล้วมาคำนวณ P(y=1|a=0), P(y=1|a=1), P(y=1|a=2)….. ค่า a ตัวใดที่ค่า Prob สูงสุด เราก็จะคิดว่า ด้านส่ง ส่ง a ตัวนั้น เมื่อรับ y เข้ามาแล้วมาคำนวณ P(a=0| y=1), P(a=1| y=1), P(a=2|y=1)….. ค่า a ตัวใดที่ค่า Prob สูงสุด เราก็จะคิดว่า ด้านส่ง ส่ง a ตัวนั้น P(y,a) จึงเหมือนกับการเปรียบเทียบ P(a|y) Maximum Likelihood (ML) Maximum Posterior Probability (MAP)

31 Ex 10. a  {0,1} P(a=0) =1/2 P(a=1)=1/2 n ~ N(0,  2 ) y = a+n  f(y|a=0) = ?  f(y|a=1) = ? y Decision Region : y < 0.5  a = 0 y > 0.5  a = 1 P(error)=P(error|a=0)P(a=0)+P(error|a=1)P(a=1) P(y>0.5|a=0) = P(error|a=0) P(y<0.5|a=1) = P(error|a=1)

32 Homework : 1. พิสูจน์ว่า MAP = ML เมื่อ P(a i ) มีลักษณะ equally likely 2. พิสูจน์ว่า MAP เป็น Optimal detector ที่ให้ P(error) น้อยที่สุด


ดาวน์โหลด ppt บทที่ 2 Quick Review about Probability and Introduction to Decision Theory (ML & MAP)

งานนำเสนอที่คล้ายกัน


Ads by Google