가설 검정 (Hypothesis-testing)

가설 검정 체계

---

어떤 의료 연구 결과에서 여성의 심장질환 발병률은 10%이고, 남성은 12.5% 라는 결과가 나왔다. 여기서 우리는 남성이 여성보다 심장질환에 걸릴 가능성이 더 높다고 할 수 있을까? 연구 대상이 20명이라면 결과가 우연히 발생했다고 할 수 있지만 연구 대상이 20,000명이라면 남성이 심장질환에 걸릴 가능성이 더 높다고 할 수 있을 것이다. 이러한 직관을 더 정확하게 만드는 것이 가설검정이다.

Null hypothesis(영 가설, 귀무 가설)는 우리의 추측이 틀렸다는 가설을 의미하며 $H_{0}$로 표시한다. 반면, 우리의 추측이 참이라는 가설은 Alternative hypothesis(대립 가설)이며 $H_{1}$으로 표시한다. Test(검정)는 데이터를 기반으로 영 가설을 reject할지 여부를 결정하는 것이다. 영 가설을 reject한다는 것은 그것이 발생 불가능할 것으로 여기며, 대립 가설을 지지한다는 증거이다. 즉, 영 가설은 발생하지 않을 것으로 예상되는 것이며, 대립 가설은 실제로 입증하고 싶은 가설이 된다. 위의 예에서 영 가설을 설정해보자.

$H_{0}$ : 심장 질환은 적어도 남성과 여성 사이에 동등하게 발생한다.

$H_{1}$ : 심장 질환은 남성이 더 많이 발생한다.

영 가설, $H_{0}$가 참이라면 남성의 심장 질환이 많이 발생한 것은 그저 우연에 불과하다는 의미가 된다.

 

기각 영역

---

그렇다면 영 가설을 reject할 지 말지 어떻게 결정해야 할까? 검정 통계량(Test Statistic)을 기준으로 결정을 내리는데, 검정 통계량이 기각 영역 $R$에 속한다면 영 가설을 기각하는 것이다.

$R:=\left\{t|t\ge \eta \right\}$

여기서 $t$는 데이터에서 계산된 검정 통계량이고, $\eta$는 미리 정의된 임계값이다. 아래 그림에서 유의수준 $\alpha$일

때, $\eta$가 151.974가 된다.

가설 검정의 오류

---

가설 검정에는 두 가지 오류가 있다.

• 1종 오류 : 영 가설이 참이지만 reject, 틀렸다고 판단하는 경우
• 2종 오류 : 대립 가설이 참 → 영 가설이 거짓이지만 채택하는 경우

가설 검정에서 우리의 우선 순위는 1종 오류를 통제하는 것이다.

 

주요 개념

---

1. Significance level and size (유의 수준과 크기) : 검정의 크기는 1종 오류를 범할 확률이고, 검정의 유의 수준은 크기의 upper bound이다. 즉, 1종 오류 확률이 size라면 그 size의 최대값이 유의수준이 된다.
2. P-value : 영 가설을 reject하는 가장 작은 유의수준이다.
3. Power : 검정의 power는 영 가설이 참이 아닐 때, 영 가설을 기각할 확률이다.

 

참고

[1] 도서 : Carlos Fernandez-Granda(2017), “probability and statistics for data science”

[2] 블로그 : https://m.blog.naver.com/mykepzzang/220884858347