Chapter 7: Point Estimation

7.1 Introduction “Estimation” = การใช้ค่า statistic (ซึ่งคำนวณจาก sample) มาประมาณค่าของ parameter ของ population - “Estimator” = ตัว statistic ที่เราใช้ในการประมาณค่า - “Estimate” = ค่า (ที่เป็นตัวเลข) ของ statistic Estimation 2 แบบ 1. Point Estimation: 2. Interval Estimation:

คุณสมบัติของ Estimator ที่ดี 1. Unbiasedness 2. Efficiency 3. Consistency 4. Sufficiency 5. Robustness

7.2 Unbiasedness โดยนิยาม ค่า Estimator เป็น r.v. - ไม่คงที่, ขึ้นกับกลุ่มตัวอย่าง - อาจมีค่า สูงกว่า/ต่ำกว่า ค่า parameter จริงของ population โดยเฉลี่ย ค่า estimate ที่ได้จาก estimator ที่ดี ควรจะมีค่าตรงกับค่า parameter ที่แท้จริง --> Unbiased Estimator

7.2 Unbiasedness Def 1: เป็น unbiased estimator ของ พารามิเตอร์ iff Th’m 1: ถ้า เป็น variance ของ random sample จาก infinite population ซึ่งมี finite variance จะได้ว่า

NOTE: 1. S2 ไม่ใช่ unbiased estimator of ในกรณี finite pop. 2. S ไม่ใช่ unbiased estimator of ทั้งในกรณี finite & infinite pop. 3. สมมติ เป็น unbiased est. of , อาจเป็น biased หรือ unbiased est. of ก็ได้ 4. ถ้า เป็น biased estimator, “the extent of the bias” (ขนาดของการ bias) จะเป็น: 5. จะเป็น asymptotically unbiased เมื่อ หรือ

7.3 Efficiency For any unbiased est. of , เราพบว่า เสมอ “Cramer-Rao Lower Bound” “Cramer-Rao Inequality” Th’m 2: ถ้า เป็น unbiased estimator ของ และ มี จะได้ว่า เป็น minimum variance unbiased estimator ของ

7.4 Consistency Def 2: เป็น consistent estimator ของ พารามิเตอร์ iff for each “ converges in probability to ” Th’m 3: ถ้า เป็น (asymptotically) unbiased estimator ของ และ จะได้ว่า เป็น consistent estimator ของ (NOTE: Th’m 3 เป็น sufficient cond แต่ไม่ใช่ necessary cond -- estimator ซึ่ง (asymp) biased อาจเป็น consistent est. ได้)

7.5 Sufficiency Def 3: จะเป็น sufficient estimator of ก็ต่อเมื่อ สำหรับทุกๆค่าของ ค่า conditional pdf of X1, X2,…, Xn given มีค่าไม่ขึ้นกับค่า

Th’m 4: เป็น sufficient estimator ของ พารามิเตอร์ iff joint pdf หรือ density of the random sample สามารถแยกตัวประกอบได้เป็น โดยที่ ขึ้นอยู่กับ และ เท่านั้น และ ไม่ขึ้นอยู่กับ

7.6 Robustness Def 4: Estimator จะ robust ถ้า sampling distribution ของ ไม่มีปัญหาความบิดเบือนที่รุนแรง อันเนื่องมาจากปัญหา violation of assumptions

วิธีการในการหา Point Estimator 1. Method of Moments 2. Method of Maximum Likelihood 3. Bayesian Estimation 4. Method of Least Squares

“Moments of Sample = Moments of Population” 7.7 Method of Moments “Moments of Sample = Moments of Population” Def 5: Sample moment ลำดับที่ k ของ random sample จะแทนด้วยสัญลักษณ์ และมีค่าเท่ากับค่า mean ของ ในกรณีที่ population มีค่า parameters r ตัว, เราจะคำนวณ method of moments estimators ของ parameter ทั้ง r ตัว จากการแก้ simultaneous equations r สมการ ดังนี้ for k = 1, 2, …, r

7.8 Method of Maximum Likelihood Def 6: ถ้า เป็น ค่าของ random sample จากประชากรที่มี พารามิเตอร์ , Likelihood Function ของ sample ชุดนี้จะเป็น สำหรับค่า ซึ่งอยู่ในโดเมนที่กำหนด Method of Max Likelihood --> เลือก ซึ่ง maximize Likelihood fn

คุณสมบัติของ MLE 1. MLE เป็น sufficient estimator 2. MLE เป็น asymptotically minimum variance unbiased est. 3. ถ้า เป็น MLE ของ , จะได้ว่า จะเป็น MLE ของ ด้วย <-- Invariance Principle

7.9 Bayesian estimation Th’m 5: ถ้า X เป็น ตัวแปรสุ่มแบบ binomial และ prior distribution ของ เป็น beta distribution โดยมีพารามิเตอร์ และ จะได้ว่า posterior distribution ของ given จะเป็น beta distribution ที่มีพารามิเตอร์ และ

Th’m 6: ถ้า เป็นค่าเฉลี่ยของตัวแปรสุ่มขนาด n จาก normal population ที่รู้ค่า variance และ prior distribution ของ M เป็น normal distribution ที่มีค่าเฉลี่ย และ variance จะได้ว่า posterior distribution ของ M given จะเป็น normal distribution ที่มีค่าเฉลี่ย และ variance และ