Quick Review about Probability and บทที่ 2 Quick Review about Probability and Introduction to Decision Theory (ML & MAP)

Quick Review about Probabilty Joint Probability Conditional Probability

Mutually Exclusive Event : AB= Bayes Rule :   Mutually Exclusive Event : AB= Statistical Independent :

“Probability” Measure numerically the outcome of random experiment” “Random Variables” Assign the rule or mapping by means of which a real number is given to each outcome “CDF” : Cumulative Distribution Function “Pdf” : Probability Density Function

Marginal pdf:

จำนวนวันทั้งหมด 365x10 วัน 10ปี = N จำนวนวันที่มีฝนตก 1650 วัน = NR จำนวนวันที่เกิดอุบัติเหตุ 360 วัน = NA จำนวนวันที่เกิดอุบัติเหตุและฝนตก 240 วัน = NAR --------------------------------------------------------------------------- จำนวนวันที่เกิดอุบัติเหตุและฝนไม่ตก ? วัน = NAR’ จำนวนวันที่เกิดไม่เกิดอุบัติเหตุและฝนตก ? วัน = NA’R จำนวนวันที่ไม่เกิดอุบัติเหตุและฝนไม่ตก ? NA’R’ คำถามจงหา Joint Prob Marginal Prob Conditional Prob

จำนวนวันทั้งหมด 365x10 วัน 10ปี = N จำนวนวันที่มีฝนตก 1650 วัน = NR จำนวนวันที่เกิดอุบัติเหตุ 360 วัน = NA จำนวนวันที่เกิดอุบัติเหตุและฝนตก 240 วัน = NAR ------------------------------------------------------------------------------------------------------- จำนวนวันที่เกิดอุบัติเหตุและฝนไม่ตก (360-240) วัน = NAR’ จำนวนวันที่เกิดไม่เกิดอุบัติเหตุและฝนตก (1650-240) วัน = NA’R จำนวนวันที่ไม่เกิดอุบัติเหตุและฝนไม่ตก (3650-360) – (1650-240) NA’R’ คำถามจงหา Joint Prob Marginal Prob Conditional Prob

Example 1. 0.3 0.2 0.3 0.1 0.1 -6 -3 0 3 6 A=(x  3.5) Find P(A) B=( x 0) Find P(B) Find P(AB)

Example 2. S R 0.9 P(S=0) =0.6 0.1 0.1 0.9 1 1 P(S=1) =0.4 P(R=0|S=0)=0.9 P(R=1|S=0)=0.1 Find P(S=0|R=0)

f(x,y) = 6exp(-2x-3y); x  0, y  0 Example 3. S R 0.8 0.1 P(S=0)=0.4 P(S=1)=0.2 P(S=2)=0.4 1 0.1 2 Find P(R=0) Example 4. f(x,y) = 6exp(-2x-3y); x  0, y  0 = 0 ; otherwise Find P(x 1,y 1)

Statistical Independent Implies Uncorrelate Joint Moment     Uncorrelate iff cov =0 Orthogonal iff E(xy) = 0   Statistical Independent Implies Uncorrelate Reverse is not true Uncorrelate does not implies Statistical Independent

ij = cofactor for the elememt ij |K| = determinant of matrix K Joint Gaussian Random Variables Random Variables X1,X2,X3,..,Xn are jointly gaussian if their joint PDF is  ij = cofactor for the elememt ij |K| = determinant of matrix K

Gaussian Bivariate Distribution Gaussian PDF

  Importance of Gaussian PDF 1.  Central Limit Theorem 2 . Simplify Math   Property I. Completely specfied by first and second moment Property II Uncorrelate implied Statistical Independent Others PDF not implied    

 Marginal PDF, p(xi) is Gaussian Property III If Joint PDF is Gaussian        Marginal PDF, p(xi) is Gaussian Conditional PDF is Gaussian Property IV Linear combinations of joint Gaussian RV’s  are also Gaussian Property V The Input Signal into a linear system is Gaussian  the output signal will also be Gaussian

Gaussian Distribution   Let  = x-m  d = dx if X=m+a   = a  

m+a x m  a 

ที่มี =3 จงหา P(x >7) ส่งสัญญาณ x ขนาด 5 V. ผ่าน ช่องสัญญาณ AWGN EXAMPLE 5. ส่งสัญญาณ x ขนาด 5 V. ผ่าน ช่องสัญญาณ AWGN ที่มี =3 จงหา P(x >7) x = 5+n

Properties :

Functional Transformation of Random Variables If PDF fx(x) of random variable x : is known Transformation Random variable y = h(x) Find PDF fy(y) Warning : input x(t) through a linear system h(t) or H(f) Output y(t) has power spectrum density (PSD) Syy(f) = |H(f)|2Sxx(f)

Example 6. y = x2

Py(y) Px(x) y

Example 7.

Maximum Likelihood Detection Ex 8. a  {0,1} P(a=0) =1/2 P(a=1)=1/2 n  {0,1} P(n=0) =1/2 P(n=1) =1/2 a y=a+n Given a= 0; P(y=0|a=0) = 1/2 n P(y=0|a=1) = 0 a y P(y=2|a=1) = 1/2 = P(n=1) 0 0 P(y=2|a=0) = 0 1 P(y=1|a=0) = 1/2 = P(n=1) 2 P(y=1|a=1) = 1/2 = P(n=0) n=0 n=1 n=0 n=1

Ex 9. a  {0,1} P(a=0) =3/4 P(a=1)=1/4 n  {0,1} P(n=0) =1/2 P(n=1) =1/2 Only y is observable P(y=0,a=0) = P(y=0|a=0)P(a=0) = 3/8 = P(a=0|y=0)P(y=0) P(y=0,a=1) = P(y=0|a=1)P(a=1) = 0 = P(a=1|y=0)P(y=0) if observe y =0 what can you guess about a ? P(y=1,a=0) = P(y=1|a=0)P(a=0) = 3/8 = P(a=0|y=1)P(y=1) P(y=1,a=1) = P(y=1|a=1)P(a=1) = 1/8 = P(a=1|y=1)P(y=1) if observe y =1 what can you guess about a ? P(y=2,a=0) = P(y=2|a=0)P(a=0) = 0 = P(a=0|y=2)P(y=2) P(y=2,a=1) = P(y=2|a=1)P(a=1) = 1/8= P(a=1|y=2)P(y=2)

เนื่องจาก P(y=1) เท่ากันทั้งสองบรรทัด ดังนั้นการเปรียบเทียบ ในตัวอย่างที่ 8 ถ้ารับ y ได้เท่ากับ 1 นักศึกษาคิดว่า a ที่ส่งเท่ากับเท่าไร ในตัวอย่างที่ 9 ถ้ารับ y ได้เท่ากับ 1 นักศึกษาคิดว่า a ที่ส่งเท่ากับเท่าไร P(y=1,a=0) = 3/8 = P(a=0|y=1)P(y=1) P(y=1,a=1) = 1/8 = P(a=1|y=1)P(y=1) เนื่องจาก P(y=1) เท่ากันทั้งสองบรรทัด ดังนั้นการเปรียบเทียบ P(y,a) จึงเหมือนกับการเปรียบเทียบ P(a|y) Maximum Likelihood (ML) เมื่อรับ y เข้ามาแล้วมาคำนวณ P(y=1|a=0), P(y=1|a=1), P(y=1|a=2)….. ค่า a ตัวใดที่ค่า Prob สูงสุด เราก็จะคิดว่า ด้านส่ง ส่ง a ตัวนั้น Maximum Posterior Probability (MAP) เมื่อรับ y เข้ามาแล้วมาคำนวณ P(a=0| y=1), P(a=1| y=1), P(a=2|y=1)….. ค่า a ตัวใดที่ค่า Prob สูงสุด เราก็จะคิดว่า ด้านส่ง ส่ง a ตัวนั้น

0 0.5 1 y Ex 10. a  {0,1} P(a=0) =1/2 P(a=1)=1/2 n ~ N(0,2) y = a+n  f(y|a=0) = ?  f(y|a=1) = ? P(y<0.5|a=1) = P(error|a=1) P(y>0.5|a=0) = P(error|a=0) 0 0.5 1 y Decision Region : y < 0.5  a = 0 y > 0.5  a = 1 P(error)=P(error|a=0)P(a=0)+P(error|a=1)P(a=1)

พิสูจน์ว่า MAP = ML เมื่อ P(ai) มีลักษณะ equally likely Homework : พิสูจน์ว่า MAP = ML เมื่อ P(ai) มีลักษณะ equally likely พิสูจน์ว่า MAP เป็น Optimal detector ที่ให้P(error) น้อยที่สุด