งานนำเสนอกำลังจะดาวน์โหลด โปรดรอ

งานนำเสนอกำลังจะดาวน์โหลด โปรดรอ

9 Maximum Likelihood Estimator I

งานนำเสนอที่คล้ายกัน


งานนำเสนอเรื่อง: "9 Maximum Likelihood Estimator I"— ใบสำเนางานนำเสนอ:

1 9 Maximum Likelihood Estimator I
Asst. Prof. Dr. Peerapol Yuvapoositanon, PhD, DIC Department of Electronic Engineering and Graduate School of Electrical Engineering Mahanakorn University of Technology Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

2 PDF v.s. Likelihood function
สิ่งหนึ่งที่ต้องเปลี่ยนความเข้าใจก็คือ ที่ผ่านมาเรามองว่า ฟังก์ชัน pdf นั้นเป็นฟังก์ชันของข้อมูล x แต่หากเราใช้มุมมองใหม่ว่านั้นเป็นฟังก์ชันของตัวประมาณค่า (เช่น A ใน x=A+w ) เราเรียกว่าฟังก์ชันควรจะเป็น (Likelihood function) Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

3 PDF Advanced Digital Signal Processing
Asst. Prof. Dr. P.Yuvapoositanon

4 Likelihood Advanced Digital Signal Processing
Asst. Prof. Dr. P.Yuvapoositanon

5 Likelihood function Advanced Digital Signal Processing
Asst. Prof. Dr. P.Yuvapoositanon

6 ในตอนนี้ เราจะมาพิจารณาตัวประมาณค่าที่ให้ค่าควรจะเป็นสูงสุด
ในตอนนี้ เราจะมาพิจารณาตัวประมาณค่าที่ให้ค่าควรจะเป็นสูงสุด Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

7 สมมติว่าเราต้องการการประมาณค่าจริง จากชุดข้อมูล โดยมีค่า Joint pdf ของเซตของข้อมูลคือ
Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

8 PDF และ Advanced Digital Signal Processing
Asst. Prof. Dr. P.Yuvapoositanon

9 อองซามเบิ้ล Advanced Digital Signal Processing
Asst. Prof. Dr. P.Yuvapoositanon

10 Q ค่าประมาณค่าไหนจึงจะถูกต้องเหมาะสมกับลักษณะสัญญาณ
A ขึ้นกับว่าสัญญาณสังเกตการณ์(Observation data) นั้น มีค่าอยู่ในย่านบวกหรือลบ ถ้าพิจารณา x(1) ใช้ ถ้าพิจารณา x(8) ใช้ Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

11 การเลือกตัวประมาณค่า
Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

12 ตัวอย่างที่ 6.1 ลองพิจารณาถึงปัญหาในการหาค่าคงที่ ที่ฝังอยู่ในสัญญาณรบกวน ซึ่งเป็นตัวอย่างที่เคยผ่านมาในบทก่อนๆ โดยมีข้อมูลจากการสังเกตการณ์เป็น Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

13 ตัวแปร ในสมการ (6.4) นี้เป็นสมาชิกหนึ่งของข้อมูลจากการสังเกตการณ์เฉพาะ
ตัวแปร ในสมการ (6.4) นี้เป็นสมาชิกหนึ่งของข้อมูลจากการสังเกตการณ์เฉพาะ Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

14 จึงกลายเป็นฟังก์ชันค่าควรจะเป็น
ดังนั้น จึงกลายเป็นฟังก์ชันค่าควรจะเป็น Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

15 Likelihood function เนื่องจากแต่ละ pdf แต่ละตัวเป็นอิสระซึ่งกันและกัน ดังนั้นเขียนได้เป็น Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

16 Log -Likelihood function
แปลงล็อก Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

17 Advanced Digital Signal Processing http://embedsigproc.wordpress.com
Asst. Prof. Dr. P.Yuvapoositanon

18 นั้นเป็นสมการควอดราติกที่เป็นฟังก์ชันของ A
Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

19 Advanced Digital Signal Processing http://embedsigproc.wordpress.com
Asst. Prof. Dr. P.Yuvapoositanon

20 Maximum Likelihood Estimator
Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

21 ตัวอย่างที่ 6.2 ยังคงปัญหาในการหาค่าคงที่ ที่ฝังอยู่ในสัญญาณรบกวน ซึ่งมีข้อมูลจากการสังเกตการณ์
ในตัวอย่างที่ 6.2 นี้ มีสิ่งที่ต่างออกไปก็ตรงที่ว่า นั้นเป็น WGN ที่มีความแปรปรวนเป็นค่าของระดับ DC (A) ที่ฝังอยู่ใน หรือ x(n) Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

22 ความแปรปรวนเป็นค่าคงที่
Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

23 Likelihood function Advanced Digital Signal Processing
Asst. Prof. Dr. P.Yuvapoositanon

24 Log-Likelihood function
Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

25 Advanced Digital Signal Processing http://embedsigproc.wordpress.com
Asst. Prof. Dr. P.Yuvapoositanon

26 สรุปว่าเราไม่สามารถหาตัวประมาณค่าแบบ MVUE ของกรณีที่กำลังพิจารณานี้ได้
Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

27 สังเกตว่าในตัวอย่างที่ 6
สังเกตว่าในตัวอย่างที่ 6.2 นี้ ชี้ให้เห็นความยากในการคำนวณตัวประมาณค่าไร้ไบแอสแบบความแปรปรวนต่ำสุด สิ่งที่เป็นคำถามก็คือ แล้วเราจะใช้วิธีใดในการหาตัวประมาณค่าแบบนี้เพื่อหาค่า ตามสมการ (6.4) โดยที่ความแปรปรวนเป็นค่าคงที่ ได้ Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

28 คุณสมบัติของตัวประมาณค่าควรจะเป็นสูงสุด
MLE คือ การเลือกตัวประมาณค่าที่ทำให้ฟังก์ชันควรจะเป็นมีค่ามากที่สุดสำหรับค่าคงที่ค่าหนึ่ง Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

29 ตัวประมาณค่าแบบมีไบแอส (Biased Estimator)
Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

30 แต่หากใช้ความสัมพันธ์ของกฏจำนวนข้อมูลขนาดใหญ่ (Law of Large Number)
Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

31 ค่าเฉลี่ยแซมเปิ้ล (Sample mean) จะเข้าสู่ค่าเฉลี่ยกลาง (Mean value)
Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

32 การมีประสิทธิผลแบบเชิงเส้นกำกับ (Asymptotically Efficient)
Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

33 Log-Likelihood Function
Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

34 เทียบเท่ากับศูนย์ Advanced Digital Signal Processing
Asst. Prof. Dr. P.Yuvapoositanon

35 สมการควอดราติก รูปแบบ Advanced Digital Signal Processing
Asst. Prof. Dr. P.Yuvapoositanon

36 เทียบสัมประสิทธิ์ Advanced Digital Signal Processing
Asst. Prof. Dr. P.Yuvapoositanon

37 จาก (เลือกค่าบวก) Advanced Digital Signal Processing
จาก (เลือกค่าบวก) Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

38 ทดสอบการมีไบแอส ไม่ มีไบแอสเมื่อ Advanced Digital Signal Processing
Asst. Prof. Dr. P.Yuvapoositanon

39 เราต้องการ Advanced Digital Signal Processing
Asst. Prof. Dr. P.Yuvapoositanon

40 แต่ Advanced Digital Signal Processing
Asst. Prof. Dr. P.Yuvapoositanon

41 ดังนั้น Advanced Digital Signal Processing
Asst. Prof. Dr. P.Yuvapoositanon

42 หรือมีความหมายว่าตัวประมาณค่า ซึ่งเป็น MLE นั้นเป็นตัวประมาณค่าแบบมีไบแอส (Biased Estimator)
Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

43 แต่หากข้อมูล มีจำนวนมาก
ค่าเฉลี่ยแซมเปิ้ล (Sample mean) จะเข้าสู่ค่าเฉลี่ยกลาง (Mean value) Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

44 อนุกรมเทย์เลอร์ (Taylor Series)
หากเราทำการแปลงเชิงเส้นด้วยวิธีการแตก อนุกรมเทย์เลอร์ (Taylor Series) โดยสำหรับตัวแปร ของฟังก์ชัน ใดๆ แล้ว จะได้ว่าอนุกรมเทย์เลอร์อันดับที่หนึ่ง (First-order Taylor Series) สามารถแสดงได้เป็น Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

45 หาก u เป็น Advanced Digital Signal Processing
Asst. Prof. Dr. P.Yuvapoositanon

46 ตัวประมาณค่า ตัวประมาณค่าเป็นฟังก์ชันของ u
Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

47 แทน Advanced Digital Signal Processing
Asst. Prof. Dr. P.Yuvapoositanon

48 Advanced Digital Signal Processing http://embedsigproc.wordpress.com
Asst. Prof. Dr. P.Yuvapoositanon

49 ซึ่งหาค่าเฉลี่ยกลางได้เป็น
Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

50 เป็นตัวประมาณค่าแบบไร้ไบแอสแบบเชิงเส้นกำกับ (Asymptotically unbiased estimator)
Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

51 ความแปรปรวนแบบเชิงเส้นกำกับ (Asymptotic variance)
Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

52 Advanced Digital Signal Processing http://embedsigproc.wordpress.com
Asst. Prof. Dr. P.Yuvapoositanon

53 Advanced Digital Signal Processing http://embedsigproc.wordpress.com
Asst. Prof. Dr. P.Yuvapoositanon

54 Advanced Digital Signal Processing http://embedsigproc.wordpress.com
Asst. Prof. Dr. P.Yuvapoositanon

55 CRLB จาก การหา CRLB เราได้ Advanced Digital Signal Processing
Asst. Prof. Dr. P.Yuvapoositanon

56 จาก Log-Likelihood Advanced Digital Signal Processing
Asst. Prof. Dr. P.Yuvapoositanon

57 Advanced Digital Signal Processing http://embedsigproc.wordpress.com
Asst. Prof. Dr. P.Yuvapoositanon

58 Advanced Digital Signal Processing http://embedsigproc.wordpress.com
Asst. Prof. Dr. P.Yuvapoositanon

59 Advanced Digital Signal Processing http://embedsigproc.wordpress.com
Asst. Prof. Dr. P.Yuvapoositanon

60 ตัวประมาณค่าควรจะเป็น มีประสิทธิผลแบบเชิงเส้นกำกับ (Asymptotically Efficient)
และเข้าใกล้ MVUE Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon

61 สรุป ตัวประมาณค่าควรจะเป็นสูงสุด ใช้กับชุดข้อมูลที่กำลังพิจารณาเฉพาะ
ประสิทธิภาพเข้าใกล้ MVUE เมื่อจำนวนข้อมูลมีขนาดใหญ่ คือ ไร้ไบแอสเชิงเส้นกำกับ Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon


ดาวน์โหลด ppt 9 Maximum Likelihood Estimator I

งานนำเสนอที่คล้ายกัน


Ads by Google