งานนำเสนอกำลังจะดาวน์โหลด โปรดรอ

งานนำเสนอกำลังจะดาวน์โหลด โปรดรอ

Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 1 9 Maximum Likelihood Estimator I Asst. Prof. Dr.

งานนำเสนอที่คล้ายกัน


งานนำเสนอเรื่อง: "Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 1 9 Maximum Likelihood Estimator I Asst. Prof. Dr."— ใบสำเนางานนำเสนอ:

1 Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 1 9 Maximum Likelihood Estimator I Asst. Prof. Dr. Peerapol Yuvapoositanon, PhD, DIC Department of Electronic Engineering and Graduate School of Electrical Engineering Mahanakorn University of Technology

2 PDF v.s. Likelihood function สิ่งหนึ่งที่ต้องเปลี่ยนความเข้าใจก็คือ ที่ผ่านมา เรามองว่า ฟังก์ชัน pdf นั้นเป็นฟังก์ชันของ ข้อมูล x แต่หากเราใช้มุมมองใหม่ว่านั้นเป็นฟังก์ชันของ ตัวประมาณค่า ( เช่น A ใน x=A+w ) เราเรียกว่าฟังก์ชันควรจะเป็น (Likelihood function) Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 2

3 PDF Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 3

4 Likelihood Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 4

5 Likelihood function Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 5

6 ในตอนนี้ เราจะมาพิจารณาตัวประมาณค่าที่ให้ ค่าควรจะเป็นสูงสุด Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 6

7 สมมติว่าเราต้องการการประมาณค่าจริง จากชุด ข้อมูล โดยมีค่า Joint pdf ของเซตของข้อมูลคือ Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 7

8 PDF และ Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 8

9 อองซามเบิ้ล Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 9

10 Q ค่าประมาณค่าไหนจึงจะถูกต้องเหมาะสมกับ ลักษณะสัญญาณ A ขึ้นกับว่าสัญญาณสังเกตการณ์ (Observation data) นั้น มีค่าอยู่ในย่านบวกหรือลบ ถ้าพิจารณา x(1) ใช้ ถ้าพิจารณา x(8) ใช้ Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 10

11 การเลือกตัวประมาณค่า Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 11

12 ตัวอย่างที่ 6.1 ลองพิจารณาถึงปัญหาในการหา ค่าคงที่ ที่ฝังอยู่ในสัญญาณรบกวน ซึ่งเป็น ตัวอย่างที่เคยผ่านมาในบทก่อนๆ โดยมีข้อมูล จากการสังเกตการณ์เป็น Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 12

13 ตัวแปร ในสมการ (6.4) นี้เป็นสมาชิกหนึ่งของ ข้อมูลจากการสังเกตการณ์เฉพาะ Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 13

14 ดังนั้น จึงกลายเป็นฟังก์ชันค่าควรจะเป็น Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 14

15 Likelihood function เนื่องจากแต่ละ pdf แต่ละตัวเป็นอิสระซึ่งกัน และกัน ดังนั้นเขียนได้เป็น Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 15

16 Log -Likelihood function แปลงล็อก Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 16

17 Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 17

18 นั้นเป็นสมการควอดราติกที่เป็นฟังก์ชันของ A Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 18

19 Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 19

20 Maximum Likelihood Estimator ตัวประมาณค่าควรจะเป็นสูงสุด (Maximum Likelihood Estimator) ที่ได้คือ Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 20

21 ตัวอย่างที่ 6.2 ยังคงปัญหาในการหาค่าคงที่ ที่ฝังอยู่ในสัญญาณรบกวน ซึ่งมีข้อมูลจากการ สังเกตการณ์ ในตัวอย่างที่ 6.2 นี้ มีสิ่งที่ต่างออกไปก็ตรงที่ว่า นั้นเป็น WGN ที่มีความแปรปรวนเป็นค่าของ ระดับ DC (A) ที่ฝังอยู่ใน หรือ x(n) Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 21

22 ความแปรปรวนเป็นค่าคงที่ Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 22

23 Likelihood function Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 23

24 Log-Likelihood function Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 24

25 Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 25

26 ซึ่งในบรรทัดสุดท้ายของ แสดงให้ดูเทียบกับ วิธีการหาตัวประมาณค่า MVUE ซึ่งจะพบว่าเรา จะใช้วิธีเทียบตัวแปรไม่ได้ สรุปว่าเราไม่สามารถหาตัวประมาณค่าแบบ MVUE ของกรณีที่กำลังพิจารณานี้ได้ Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 26

27 สังเกตว่าในตัวอย่างที่ 6.2 นี้ ชี้ให้เห็นความยาก ในการคำนวณตัวประมาณค่าไร้ไบแอสแบบ ความแปรปรวนต่ำสุด สิ่งที่เป็นคำถามก็คือ แล้ว เราจะใช้วิธีใดในการหาตัวประมาณค่าแบบนี้ เพื่อหาค่า ตามสมการ (6.4) โดยที่ความ แปรปรวนเป็นค่าคงที่ ได้ Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 27

28 คุณสมบัติของตัวประมาณค่าควรจะ เป็นสูงสุด MLE คือ การเลือกตัวประมาณค่าที่ทำให้ ฟังก์ชันควรจะเป็นมีค่ามากที่สุดสำหรับค่าคงที่ ค่าหนึ่ง Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 28

29 ตัวประมาณค่าแบบมีไบแอส (Biased Estimator) Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 29

30 แต่หากใช้ความสัมพันธ์ของกฏจำนวนข้อมูล ขนาดใหญ่ (Law of Large Number) Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 30

31 ค่าเฉลี่ยแซมเปิ้ล (Sample mean) จะเข้าสู่ ค่าเฉลี่ยกลาง (Mean value) Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 31

32 การมีประสิทธิผลแบบเชิงเส้นกำกับ (Asymptotically Efficient) การมีประสิทธิผลแบบเชิงเส้นกำกับ (Asymptotically Efficient) คือ Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 32

33 Log-Likelihood Function Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 33

34 เทียบเท่ากับศูนย์ Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 34

35 สมการควอดราติก รูปแบบ Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 35

36 เทียบสัมประสิทธิ์ Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 36

37 จาก ( เลือกค่าบวก ) Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 37

38 ทดสอบการมีไบแอส ไม่ มีไบแอสเมื่อ Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 38

39 เราต้องการ Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 39

40 แต่ Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 40

41 ดังนั้น Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 41

42 หรือมีความหมายว่าตัวประมาณค่า ซึ่งเป็น MLE นั้นเป็นตัวประมาณค่าแบบมีไบแอส (Biased Estimator) Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 42

43 แต่หากข้อมูล มีจำนวนมาก ค่าเฉลี่ยแซมเปิ้ล (Sample mean) จะเข้าสู่ ค่าเฉลี่ยกลาง (Mean value) Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 43

44 อนุกรมเทย์เลอร์ (Taylor Series) หากเราทำการแปลงเชิงเส้นด้วยวิธีการแตก อนุกรมเทย์เลอร์ (Taylor Series) โดยสำหรับตัว แปร ของฟังก์ชัน ใดๆ แล้ว จะได้ว่าอนุกรม เทย์เลอร์อันดับที่หนึ่ง (First-order Taylor Series) สามารถแสดงได้เป็น Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 44

45 หาก u เป็น Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 45

46 ตัวประมาณค่า ตัวประมาณค่าเป็นฟังก์ชันของ u Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 46

47 แทน Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 47

48 Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 48

49 ซึ่งหาค่าเฉลี่ยกลางได้เป็น Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 49

50 เป็นตัวประมาณค่าแบบไร้ไบแอสแบบเชิงเส้น กำกับ (Asymptotically unbiased estimator) Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 50

51 ความแปรปรวนแบบเชิงเส้นกำกับ (Asymptotic variance) เราจะมาหาความแปรปรวนแบบเชิงเส้นกำกับ (Asymptotic variance) Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 51

52 Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 52

53 Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 53

54 Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 54

55 CRLB จาก การหา CRLB เราได้ Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 55

56 จาก Log-Likelihood Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 56

57 Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 57

58 Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 58

59 Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 59

60 ตัวประมาณค่าควรจะเป็น มีประสิทธิผลแบบเชิง เส้นกำกับ (Asymptotically Efficient) และเข้าใกล้ MVUE Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 60

61 สรุป ตัวประมาณค่าควรจะเป็นสูงสุด ใช้กับชุดข้อมูล ที่กำลังพิจารณาเฉพาะ ประสิทธิภาพเข้าใกล้ MVUE เมื่อจำนวนข้อมูลมี ขนาดใหญ่ คือ ไร้ไบแอสเชิงเส้นกำกับ Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 61


ดาวน์โหลด ppt Advanced Digital Signal Processing Asst. Prof. Dr. P.Yuvapoositanon 1 9 Maximum Likelihood Estimator I Asst. Prof. Dr.

งานนำเสนอที่คล้ายกัน


Ads by Google