Quick Review about Probability and

งานนำเสนอเรื่อง: "Quick Review about Probability and"— ใบสำเนางานนำเสนอ:

1 Quick Review about Probability and
บทที่ 2 Quick Review about Probability and Introduction to Decision Theory (ML & MAP)

2 Quick Review about Probabilty
Joint Probability Conditional Probability

3 Mutually Exclusive Event : AB=
Bayes Rule : Mutually Exclusive Event : AB= Statistical Independent :

4 “Probability” Measure numerically the outcome of random experiment” “Random Variables” Assign the rule or mapping by means of which a real number is given to each outcome “CDF” : Cumulative Distribution Function “Pdf” : Probability Density Function

5

6 Marginal pdf:

7

8

9 จำนวนวันทั้งหมด 365x10 วัน 10ปี = N
จำนวนวันที่มีฝนตก 1650 วัน = NR จำนวนวันที่เกิดอุบัติเหตุ 360 วัน = NA จำนวนวันที่เกิดอุบัติเหตุและฝนตก 240 วัน = NAR จำนวนวันที่เกิดอุบัติเหตุและฝนไม่ตก ? วัน = NAR’ จำนวนวันที่เกิดไม่เกิดอุบัติเหตุและฝนตก ? วัน = NA’R จำนวนวันที่ไม่เกิดอุบัติเหตุและฝนไม่ตก ? NA’R’ คำถามจงหา Joint Prob Marginal Prob Conditional Prob

10 จำนวนวันทั้งหมด 365x10 วัน 10ปี = N
จำนวนวันที่มีฝนตก 1650 วัน = NR จำนวนวันที่เกิดอุบัติเหตุ 360 วัน = NA จำนวนวันที่เกิดอุบัติเหตุและฝนตก 240 วัน = NAR จำนวนวันที่เกิดอุบัติเหตุและฝนไม่ตก ( ) วัน = NAR’ จำนวนวันที่เกิดไม่เกิดอุบัติเหตุและฝนตก ( ) วัน = NA’R จำนวนวันที่ไม่เกิดอุบัติเหตุและฝนไม่ตก ( ) – ( ) NA’R’ คำถามจงหา Joint Prob Marginal Prob Conditional Prob

11 Example 1. A=(x  3.5) Find P(A) B=( x 0) Find P(B) Find P(AB)

12 Example 2. S R 0.9 P(S=0) =0.6 0.1 0.1 0.9 1 1 P(S=1) =0.4 P(R=0|S=0)=0.9 P(R=1|S=0)=0.1 Find P(S=0|R=0)

13 f(x,y) = 6exp(-2x-3y); x  0, y  0
Example 3. S R 0.8 0.1 P(S=0)=0.4 P(S=1)=0.2 P(S=2)=0.4 1 0.1 2 Find P(R=0) Example 4. f(x,y) = 6exp(-2x-3y); x  0, y  0 = ; otherwise Find P(x 1,y 1)

14 Statistical Independent Implies Uncorrelate
Joint Moment Uncorrelate iff cov =0 Orthogonal iff E(xy) = 0 Statistical Independent Implies Uncorrelate Reverse is not true Uncorrelate does not implies Statistical Independent

15 ij = cofactor for the elememt ij |K| = determinant of matrix K
Joint Gaussian Random Variables Random Variables X1,X2,X3,..,Xn are jointly gaussian if their joint PDF is  ij = cofactor for the elememt ij |K| = determinant of matrix K

16 Gaussian Bivariate Distribution
Gaussian PDF

17 Importance of Gaussian PDF 1.  Central Limit Theorem 2  Simplify Math Property I. Completely specfied by first and second moment Property II Uncorrelate implied Statistical Independent Others PDF not implied

18  Marginal PDF, p(xi) is Gaussian
Property III If Joint PDF is Gaussian        Marginal PDF, p(xi) is Gaussian Conditional PDF is Gaussian Property IV Linear combinations of joint Gaussian RV’s  are also Gaussian Property V The Input Signal into a linear system is Gaussian  the output signal will also be Gaussian

19 Gaussian Distribution
Let  = x-m  d = dx if X=m+a   = a

20 m+a x m  a 

21 ที่มี =3 จงหา P(x >7) ส่งสัญญาณ x ขนาด 5 V. ผ่าน ช่องสัญญาณ AWGN
EXAMPLE 5. ส่งสัญญาณ x ขนาด 5 V. ผ่าน ช่องสัญญาณ AWGN ที่มี =3 จงหา P(x >7) x = 5+n

22 Properties :

23 Functional Transformation of Random Variables
If PDF fx(x) of random variable x : is known Transformation Random variable y = h(x) Find PDF fy(y) Warning : input x(t) through a linear system h(t) or H(f) Output y(t) has power spectrum density (PSD) Syy(f) = |H(f)|2Sxx(f)

24 Example 6. y = x2

25 Py(y) Px(x) y

26 Example 7.

27

28 Maximum Likelihood Detection
Ex 8. a  {0,1} P(a=0) =1/ P(a=1)=1/2 n  {0,1} P(n=0) =1/2 P(n=1) =1/2 a y=a+n Given a= 0; P(y=0|a=0) = 1/2 n P(y=0|a=1) = 0 a y P(y=2|a=1) = 1/2 = P(n=1) P(y=2|a=0) = 0 1 P(y=1|a=0) = 1/2 = P(n=1) 2 P(y=1|a=1) = 1/2 = P(n=0) n=0 n=1 n=0 n=1

29 Ex 9. a  {0,1} P(a=0) =3/4 P(a=1)=1/4
n  {0,1} P(n=0) =1/2 P(n=1) =1/2 Only y is observable P(y=0,a=0) = P(y=0|a=0)P(a=0) = 3/8 = P(a=0|y=0)P(y=0) P(y=0,a=1) = P(y=0|a=1)P(a=1) = = P(a=1|y=0)P(y=0) if observe y =0 what can you guess about a ? P(y=1,a=0) = P(y=1|a=0)P(a=0) = 3/8 = P(a=0|y=1)P(y=1) P(y=1,a=1) = P(y=1|a=1)P(a=1) = 1/8 = P(a=1|y=1)P(y=1) if observe y =1 what can you guess about a ? P(y=2,a=0) = P(y=2|a=0)P(a=0) = 0 = P(a=0|y=2)P(y=2) P(y=2,a=1) = P(y=2|a=1)P(a=1) = 1/8= P(a=1|y=2)P(y=2)

30 เนื่องจาก P(y=1) เท่ากันทั้งสองบรรทัด ดังนั้นการเปรียบเทียบ
ในตัวอย่างที่ 8 ถ้ารับ y ได้เท่ากับ 1 นักศึกษาคิดว่า a ที่ส่งเท่ากับเท่าไร ในตัวอย่างที่ 9 ถ้ารับ y ได้เท่ากับ 1 นักศึกษาคิดว่า a ที่ส่งเท่ากับเท่าไร P(y=1,a=0) = 3/8 = P(a=0|y=1)P(y=1) P(y=1,a=1) = 1/8 = P(a=1|y=1)P(y=1) เนื่องจาก P(y=1) เท่ากันทั้งสองบรรทัด ดังนั้นการเปรียบเทียบ P(y,a) จึงเหมือนกับการเปรียบเทียบ P(a|y) Maximum Likelihood (ML) เมื่อรับ y เข้ามาแล้วมาคำนวณ P(y=1|a=0), P(y=1|a=1), P(y=1|a=2)….. ค่า a ตัวใดที่ค่า Prob สูงสุด เราก็จะคิดว่า ด้านส่ง ส่ง a ตัวนั้น Maximum Posterior Probability (MAP) เมื่อรับ y เข้ามาแล้วมาคำนวณ P(a=0| y=1), P(a=1| y=1), P(a=2|y=1)….. ค่า a ตัวใดที่ค่า Prob สูงสุด เราก็จะคิดว่า ด้านส่ง ส่ง a ตัวนั้น

31 0 0.5 1 y Ex 10. a  {0,1} P(a=0) =1/2 P(a=1)=1/2
n ~ N(0,2) y = a+n  f(y|a=0) = ?  f(y|a=1) = ? P(y<0.5|a=1) = P(error|a=1) P(y>0.5|a=0) = P(error|a=0) y Decision Region : y <  a = 0 y >  a = 1 P(error)=P(error|a=0)P(a=0)+P(error|a=1)P(a=1)

32 พิสูจน์ว่า MAP = ML เมื่อ P(ai) มีลักษณะ equally likely
Homework : พิสูจน์ว่า MAP = ML เมื่อ P(ai) มีลักษณะ equally likely พิสูจน์ว่า MAP เป็น Optimal detector ที่ให้P(error) น้อยที่สุด