통계적 추정과 표본 분포

점추정

모수 : 모수$(\theta)$는 통계적 추론에서 미지의 확률분포의 특성이라고 말할 수 있음. 예로, 모수는 평균이나 분산이 될 수 있고, 확률분포의 특정한 분위수가 될 수도 있음. 모수는 알려져 있지 않는 경우가 대부분이며, 통계적 추론의 목표 중의 하나는 그러한 모수들을 통해 추정하는 것임.

통계량 : 통계적 추론에서 통계량은 표본의 특성을 양으로 표현한 것임. 통계량의 예로 표본평균, 표본 분산 및 표본의 특정 분위수가 있음.통계량은 확률변수로서 실제 관측된 자료 집합으로부터 계산되며, 알려지지 않은 모수를 추정하는 데 주로 사용됨.

모수의 점추정치 : 알려지지 않은 모수$(\theta)$에 대한 점추정치는 모수의 값을 ‘가장 잘 예측’ 하는 통계량으로서, 이러한 모수의 점추정치는 하나 이상이 될 수 있음.

불편(Unbiased) 및 편의(Biased) 추정치 : $E(\hat{\theta})=\theta$인 경우, 점추정치 $\hat{\theta}$는 불편추정치라고 함. 불편성은 점추정치가 지녀야 할 좋은 특성 중 하나임. 만약 점추정치가 biased 되었다면 편의는 $bias=E(\hat{\theta})-\theta$와 같이 표현될 수 있음. 모든 다른 조건들이 일정하다면, 점추정치의 편의 절대값이 작을수록 더 좋은 추정치라 할 수 있음.
성공확률의 점추정치 : $X\sim B(n, p)$인 확률변수 $X$를 고려할 때, $\hat{p}=\frac{X}{n}$은 성공확률 $p$의 불편추정치임. 즉, 일정한 성공확률 $p$를 가지는 일련의 베르누이 시행에서 관측된 성공의 비율이 성공확률의 불편추정치가 됨.
모집단 평균에 대한 점추정 : 만약 $X_1, X_2,...,X_n$의 평균이 $\mu$인 확률분포로부터 얻은 확률표본이라고 할 때, 표본평균 $\hat{\mu}=\bar{X}$는 모평균 $\mu$에 대한 불편추정치임.\
모집단 분산에 대한 점추정 : 만약 $X_1, X_2,...,X_n$가 분산 $\sigma^2$를 가지는 확률분포로부터 추출된 확률표본이라고 하면, 표본분산

$$ \hat{\sigma}^2=S^2=\frac{\sum^n_{i=1}(X_i-\bar{X})^2}{n-1} $$

는 모분산 $\sigma^2$에 대한 불편 점추정치임.

상대효율 : 불편추정치 $\hat{\theta_2}$에 대한 불편추정치 $\hat{\theta_1}$의 상대효율은 $\frac{Var(\hat{\theta_2)}}{Var(\hat{\theta_1)}}$로 정의할 수 있음.

$$ \hat{p}\sim N(p,\frac{p(1-p)}{n}) $$