가설검정과 유의성 판단

가설검정은 데이터를 이용하여 어떤 주장(가설)이 타당한지를 통계적으로 판단하는 절차입니다. 검정에는 두 가지 가설을 세웁니다. 귀무가설(H₀)은 "효과가 없다" 또는 "차이가 없다"는 현재 상태를 지지하는 가설이고, 대립가설(H₁)은 "효과가 있다" 또는 "차이가 있다"는 새로운 주장입니다. p-value(유의확률)는 귀무가설이 참이라고 가정했을 때, 현재 관측된 결과 이상으로 극단적인 결과가 나올 확률입니다. p-value가 작을수록 귀무가설이 참일 가능성이 낮으므로, 대립가설을 지지하는 증거가 됩니다. p-value가 유의수준(α, 보통 0.05)보다 작으면 귀무가설을 기각하고 대립가설을 채택합니다. 시험에서 "p-value가 유의수준보다 작으면 대립가설을 기각한다"는 보기가 나오면 반대이므로 틀린 것입니다. 제1종 오류(α 오류)는 귀무가설이 실제로 참인데도 기각하는 오류입니다. 즉 효과가 없는데 있다고 잘못 판단하는 것입니다. 유의수준(α)은 이 오류의 최대 허용 한계입니다. 시험에서 "유의수준은 제1종 오류의 최소 허용 한계"라고 하면 틀린 것입니다. 최소가 아니라 최대입니다. 제2종 오류(β 오류)는 대립가설이 실제로 참인데 귀무가설을 기각하지 못하는 오류입니다. 유의수준을 너무 작게 설정하면 제2종 오류를 범할 확률이 높아지는 트레이드오프 관계가 있습니다. 검정력(Power) = 1 - β로, 대립가설이 참일 때 귀무가설을 올바르게 기각하는 확률입니다. 검정력이 높을수록 실제 효과를 놓치지 않고 잡아낼 수 있으며, 표본 크기가 클수록 검정력이 높아집니다. 비모수 검정은 데이터가 특정 분포를 따른다는 가정 없이 수행하는 검정으로, 윌콕슨 순위합 검정, 만-휘트니 검정, run 검정 등이 있습니다. t-검정은 정규분포를 가정하는 모수 검정이므로 비모수 검정에 해당하지 않습니다. 신뢰구간(Confidence Interval)은 모수를 특정 확률로 포함하는 구간을 추정하는 방법입니다. 95% 신뢰구간이란 "동일한 방법으로 표본 추출을 100번 반복하면 그 중 약 95번은 모수를 포함하는 구간이 만들어진다"는 의미입니다. "모수가 95% 확률로 신뢰구간 안에 있다"는 표현은 엄밀하게 틀린 해석입니다. 신뢰수준을 높이면 신뢰구간의 폭이 넓어지고, 표본 크기를 늘리면 신뢰구간의 폭이 좁아집니다. 분산분석(ANOVA, Analysis of Variance) 3개 이상 집단의 평균 차이를 검정하는 방법입니다. t-검정은 두 집단만 비교 가능하지만 ANOVA는 다집단 비교가 가능합니다. 종류 요인 수 예시 일원분산분석(One-way) 1개 학원별 점수 차이 이원분산분석(Two-way) 2개 학원×성별 점수 차이 반복측정 ANOVA 동일 대상 반복 약물 투여 전후 F 통계량 F = 집단 간 분산(MSB) / 집단 내 분산(MSW) - F가 클수록 집단 간 차이가 큼 → 귀무가설(평균 동일) 기각 - 귀무가설 H₀: μ₁ = μ₂ = ... = μk - 대립가설 H₁: 적어도 하나의 평균은 다름 사후검정(Post-hoc Test) ANOVA로 "차이가 있다"는 결론이 나면, 어느 집단끼리 다른지 추가 검정. - Tukey HSD: 가장 일반적, 모든 쌍을 비교 - Bonferroni: 다중비교 보정, 보수적 - Scheffé: 가장 보수적 카이제곱 검정(Chi-Square Test) 범주형 변수의 빈도 분석에 사용하는 비모수 검정입니다. 종류 용도 적합도 검정 관측 빈도가 기대 분포에 맞는가? (예: 주사위 공정성) 독립성 검정 두 범주형 변수가 독립인가? (예: 성별과 흡연) 동질성 검정 여러 모집단의 분포가 같은가? (예: 지역별 선호도) χ² 통계량 χ² = Σ (관측빈도 - 기대빈도)² / 기대빈도 - 분할표(Contingency Table) 기반 - 자유도: (행수-1) × (열수-1) - p-value < α → 독립이 아님(연관 있음) 시험 포인트: 3개 이상 집단 평균 비교 = ANOVA. 두 범주형 변수 연관성 = 카이제곱 독립성 검정. t-검정의 3가지 종류 종류 비교 대상 가정 예시 단일표본 t검정 한 집단 평균 vs 기준값 정규성 우리 반 평균 점수 vs 전국 평균 독립표본 t검정 (Independent) 서로 다른 두 집단 평균 정규성, 등분산성 남학생 vs 여학생 점수 대응표본 t검정 (Paired) 동일 대상의 두 시점 측정 차이의 정규성 약물 투여 전·후 등분산성 위반 시 - Welch t검정: 등분산 가정 없이 사용 가능 - 등분산 검정: F검정 또는 Levene 검정 비모수 대안 모수 검정 비모수 대안 독립표본 t Mann-Whitney U (윌콕슨 순위합) 대응표본 t Wilcoxon 부호순위 일원 ANOVA Kruskal-Wallis 시험 포인트: 독립=서로 다른 집단, 대응=같은 대상의 전후. 정규성 가정 위반 시 비모수 검정으로 전환. 추가 핵심 개념 — 비모수 검정과 시계열 잔차 진단 - 모수 vs 비모수 검정: - 모수(Parametric): 정규성·분산 등 모집단 분포 가정 — t검정·ANOVA·Z검정·F검정·Pearson - 비모수(Non-parametric): 분포 가정 불필요, 순위 기반 — Wilcoxon·Mann-Whitney·Kruskal-Wallis·Friedman·Chi-square·Spearman - 모수 ↔ 비모수 대응 매핑: - 독립 표본 t-검정 → 만-휘트니 U(Mann-Whitney U) 또는 윌콕슨 순위합 - 대응 표본 t-검정 → 윌콕슨 부호순위(Wilcoxon Signed-Rank) - 일원 ANOVA → 크루스칼-월리스(Kruskal-Wallis) - 반복측정 ANOVA → 프리드만(Friedman) - 피어슨 상관 → 스피어만 ρ·켄달 τ - Ljung-Box 검정: 시계열 잔차의 자기상관 0 검정. ARIMA·SARIMA 잔차가 백색잡음인지 확인하는 진단 도구. - Cohen's Kappa: 두 평가자(또는 두 분류 모델) 일치도 지표. 우연 일치를 보정. -11, 0.6 이상 양호. 시험 핵심: 모수↔비모수 대응 매핑은 시험 단골입니다. 표본이 작거나 정규성 위반이면 비모수를 선택하세요. 가설검정 핵심 용어 - 검정통계량(Test statistic): 표본으로부터 계산한 값(t, F, χ² 등). 귀무가설 하 분포와 비교 - 임계값(Critical value): 기각역의 경계점. 유의수준 α에 따라 결정 - 기각역(Rejection region): 검정통계량이 이 영역에 들어가면 H₀ 기각. 양측·단측 검정에 따라 달라짐 모수적 검정 (분포 가정) - t검정(t-test): 평균 비교 — 일표본·독립표본·대응표본 - F검정(F-test): 분산비 비교, ANOVA의 핵심 통계량 - 카이제곱(χ²) 검정: 적합도·독립성·동질성 - 일원분산분석(One-way ANOVA): 1개 요인의 ≥3개 그룹 평균 비교 - 이원분산분석(Two-way ANOVA): 2개 요인의 주효과와 교호작용 비모수 검정 (분포 가정 없음) - Wilcoxon 부호순위 검정: 대응표본 t-검정의 비모수 대체 - Mann-Whitney U 검정: 독립표본 t-검정의 비모수 대체 - Kruskal-Wallis 검정: 일원분산분석의 비모수 대체 정규성 검정 - Shapiro-Wilk: 표본 ≤ 5000에 권장, 가장 검정력 높음 - Kolmogorov-Smirnov(K-S): 경험적 분포와 기준 분포의 최대 차이로 검정 - QQ-Plot: 분위수 비교 그래프, 직선에 가까울수록 정규 검정력과 오류 종류 - 1종 오류(Type I, α): 귀무가설이 참인데 기각하는 오류 — 유의수준 - 2종 오류(Type II, β): 귀무가설이 거짓인데 기각하지 못하는 오류 - 검정력(Power, 1−β): 거짓 귀무가설을 정확히 기각할 확률 — 표본 크기·효과 크기와 비례 다중비교 사후검정 - Bonferroni 보정: α / k (k = 비교 횟수) — 가장 보수적 - Tukey HSD: ANOVA 사후 짝비교에 흔히 사용 — 모든 쌍의 평균 차이 동시 비교 - Scheffé 검정: 어떤 선형결합 비교에도 사용 가능하나 보수적 - 다중비교 문제: 동시에 여러 검정을 수행하면 α 인플레이션 발생 → 보정 필요 가설 표기와 검정 방향 - 귀무가설(H₀, Null Hypothesis) / 영가설: 기각하고자 하는 가설, 동일성·무효 가정 - 대립가설(H₁, Alternative Hypothesis): 입증하려는 가설 - 단측검정(One-tailed): 방향이 정해진 검정 (H₁: μ μ₀ 또는 μ < μ₀) - 양측검정(Two-tailed): 방향 없이 다름만 검증 (H₁: μ ≠ μ₀) - p-value(유의확률): 귀무가설이 참일 때 관측된 결과 또는 더 극단적 결과가 나올 확률. p < α이면 H₀ 기각 표본분포 - 표본평균의 분포: 모집단이 정규이면 표본평균도 정규. 모집단이 어떻든 n이 크면 CLT에 의해 정규 근사 - 표본비율의 분포: np ≥ 5, n(1−p) ≥ 5이면 정규 근사 표본 크기·효과 크기 - 표본 크기(Sample Size): 검정력·유의수준·효과 크기로부터 사전 결정 - 효과 크기(Effect Size): 그룹 간 차이의 크기 (Cohen's d, η², r) — 통계적 유의성과 별개의 실질적 의미 - 통계적 유의성 vs 실용적 유의성(Practical Significance): 표본이 크면 작은 차이도 유의해지므로 효과 크기로 실질 의미 평가 t-검정 종류 - 일표본 t-검정: 표본평균이 특정 값과 같은지 - 독립표본 t-검정(Independent samples): 두 그룹의 평균 비교 - 대응표본 t-검정(Paired Sample): 사전·사후 등 짝지어진 자료의 평균 차이 검정 추가 검정 - ESD 검정(Extreme Studentized Deviate): 정규분포 자료의 다중 이상치 식별 - F 검정량: ANOVA에서 그룹 간 변동 / 그룹 내 변동 - MSB(Mean Square Between, 그룹 간 평균제곱) / MSW(그룹 내 평균제곱): ANOVA의 분산 분해 실험계획법 기본 - 일원배치(One-way ANOVA): 요인 1개의 수준별 평균 비교 - 이원배치(Two-way ANOVA): 요인 2개의 주효과와 교호작용 분석 - 반복측정 분산분석(Repeated Measures ANOVA): 같은 대상의 시점별 측정 비교 - 블록 설계 / 라틴 사각형: 잡음을 통제하는 설계 기법 등분산성 검정 - Levene 검정: 분산 동질성 검정 — 정규성 위배에도 강건 - Bartlett 검정: 분산 동질성 검정 — 정규분포 가정 필요 - Welch's t-test: 등분산을 가정하지 않는 t-검정 — Levene이 유의할 때 사용 표준정규 임계값 표 - 양측 검정 임계값(z{α/2}): - α = 0.10 → ±1.645 - α = 0.05 → ±1.96 (가장 일반적) - α = 0.02 → ±2.326 - α = 0.01 → ±2.576 - 단측 검정 임계값(zα): - α = 0.10 → ±1.282 - α = 0.05 → ±1.645 - α = 0.025 → ±1.96 - α = 0.01 → ±2.326 - t 분포 임계값: 자유도(df = n−1)에 따라 다름, 표본이 크면 정규에 수렴 비모수 검정 추가 - 부호 검정(Sign Test): 대응 표본의 차이 부호(+/−)만으로 검정 — 분포 가정 없음 - 런 검정(Runs Test): 무작위성(Randomness) 검정 — 1-0 또는 +/− 수열에서 연속된 같은 값의 묶음(run) 수를 통계량으로 검정 절차 표준 6단계 1. 귀무가설(H₀)·대립가설(H₁) 설정 2. 유의수준(α) 결정 — 보통 0.05 3. 검정통계량 선택 — t·z·F·χ² 등 가설과 분포에 따라 4. 임계값(기각값) 결정 — α와 검정 종류로 결정 5. 검정통계량 계산 후 임계값과 비교 (또는 p-value < α 확인) 6. 결론 도출 — H₀ 기각 또는 기각 실패 검정통계량의 분포 - 표본평균 → 정규분포 또는 t-분포 - 표본분산 → (n−1)s²/σ² χ²(n−1) - 두 표본 분산비 → F(n₁−1, n₂−1) - 표본비율 → 큰 표본에서 정규 근사 - 검정통계량의 분포를 알아야 임계값 결정과 p-value 계산 가능 Fisher's Exact Test - Fisher's Exact Test(피셔 정확검정): 2×2 분할표에서 두 그룹의 비율 차이 검정 - 표본이 작거나 기대빈도가 5 미만이어서 카이제곱 근사가 부적절할 때 사용 - 모든 가능한 분할표를 정확히 계산 → "정확검정(Exact Test)" McNemar 검정 - McNemar 검정: 짝지어진 이진 자료의 비율 차이 검정 (사전-사후·두 분류기 비교) - 2×2 분할표에서 b·c(불일치 쌍)만 사용 - 머신러닝 모델 비교에 활용 Cochran's Q 검정 - Cochran's Q: 3개 이상의 짝지어진 이진 변수 비교 — McNemar의 일반화 검정 영역 용어 - 임계영역(Critical Region) / 기각 영역(Rejection Region): 검정통계량이 들어가면 H₀ 기각하는 영역 - 수용 영역(Acceptance Region) / 비기각 영역: H₀를 기각하지 못하는 영역 (참고: '수용'은 부적절한 용어, '기각 실패'가 정확) - 임계값(Critical Value): 기각 영역의 경계점 신뢰구간 추가 용어 - 신뢰계수(Confidence Coefficient): 1 − α — 신뢰수준 - 신뢰한계(Confidence Limit): 신뢰구간의 상한·하한 - 신뢰구간의 폭: 표본 크기 ↑·신뢰수준 ↓ → 폭이 줄어듦 카이제곱(χ²) 검정 3종 - 카이제곱 통계량(Chi-square Statistic): χ² = Σ(O − E)² / E - O: 관측 빈도(Observed) - E: 기대 빈도(Expected) - 값이 클수록 관측과 기대의 차이가 큼 1. 적합도 검정(Goodness-of-Fit Test): 한 변수의 관측 분포가 기대 분포(예: 정규·균일)와 일치하는가 2. 독립성 검정(Independence Test): 두 범주형 변수가 서로 독립인가 (교차표·분할표 분석) 3. 동질성 검정(Homogeneity Test): 여러 그룹의 분포가 동일한가 카이제곱 분포의 특성 - 자유도(df, Degrees of Freedom): 카이제곱 분포의 모양을 결정 - df 작으면 오른쪽 꼬리 길고, df 크면 정규 근사 - 적합도: df = k − 1 (k는 범주 수) - 독립성·동질성: df = (r−1)(c−1) (행·열 수) 정확 검정·보정 - Fisher 정확 검정(Fisher's Exact Test): 표본이 작을 때(기대빈도 < 5) 카이제곱 대신 사용 — 초기하분포 기반 - Yates 연속 보정(Yates' Continuity Correction): 2×2 표에서 카이제곱 검정의 연속성 보정 t-검정 종류 추가 - 일표본 t-test: 표본평균 vs 특정 값 - 독립표본 t-test: 두 독립 집단의 평균 비교 - 대응표본 t-test(Paired Sample t-Test): 같은 대상의 두 시점·두 조건 비교 (사전·사후) 📝 이 주제 관련 문제 학습 노트의 보강 개념을 직접 문제로 풀어보세요. - 기각역 — 검정통계량이 이 영역에 들어가면 H₀ 기각. 양측·단측 검정에 따라 달라짐 - F검정 — 분산비 비교, ANOVA의 핵심 통계량 - Shapiro-Wilk — 표본 ≤ 5000에 권장, 가장 검정력 높음 - Kolmogorov-Smirnov — 경험적 분포와 기준 분포의 최대 차이로 검정 - QQ-Plot — 분위수 비교 그래프, 직선에 가까울수록 정규 - Bonferroni 보정 — α / k (k = 비교 횟수) — 가장 보수적 - Tukey HSD — ANOVA 사후 짝비교에 흔히 사용 — 모든 쌍의 평균 차이 동시 비교 - Scheffé 검정 — 어떤 선형결합 비교에도 사용 가능하나 보수적 - 표본비율의 분포 — np ≥ 5, n(1−p) ≥ 5이면 정규 근사 - F 검정량 — ANOVA에서 그룹 간 변동 / 그룹 내 변동 - Bartlett 검정 — 분산 동질성 검정 — 정규분포 가정 필요 - t 분포 임계값 — 자유도(df = n−1)에 따라 다름, 표본이 크면 정규에 수렴 - … 보강 신규 문항 더 보기 페이지 하단 "이 주제 문제 풀기" 버튼으로 전체 문제를 풀 수 있습니다.

핵심 Q&A (10개)

귀무가설(H₀)과 대립가설(H₁)의 차이는?

귀무가설: "효과 없다", "차이 없다" (현재 상태 지지)
대립가설: "효과 있다", "차이 있다" (새로운 주장)

p-value의 의미는?

귀무가설이 참이라 가정할 때 현재 결과 이상으로 극단적인 결과가 나올 확률
p < α(유의수준) → 귀무가설 기각

제1종 오류 vs 제2종 오류는?

제1종 오류(α): 귀무가설이 참인데 기각 (있다고 잘못 판단)
제2종 오류(β): 대립가설이 참인데 기각 못함 (없다고 잘못 판단)
검정력 = 1 - β

95% 신뢰구간의 올바른 해석은?

"같은 방법으로 100번 반복하면 약 95번은 모수를 포함하는 구간이 만들어진다"
(모수가 95% 확률로 구간 안에 있다는 뜻이 아님!)

유의수준을 낮추면 어떤 오류가 증가하나?

제2종 오류(β)가 증가한다.
α↓ → 귀무가설 기각 어려워짐 → 실제 효과를 놓칠 가능성↑

ANOVA(분산분석)을 언제 사용하나? t-검정과 차이는?

t-검정: 두 집단의 평균 비교
ANOVA: 3개 이상 집단의 평균 비교
F = 집단 간 분산 / 집단 내 분산
사후검정(Tukey HSD)으로 어느 집단이 다른지 확인

카이제곱 검정의 3가지 종류는?

① 적합도 검정: 관측 빈도가 기대 분포와 일치하는가
② 독립성 검정: 두 범주형 변수가 독립인가
③ 동질성 검정: 여러 모집단의 분포가 같은가
χ² = Σ (O-E)²/E

ANOVA 사후검정(Post-hoc)을 하는 이유는?

ANOVA는 "평균이 다르다"만 알려줄 뿐, 어느 집단이 다른지는 모름
Tukey HSD, Bonferroni, Scheffé 등으로 쌍별 비교
Bonferroni는 보수적(α/k로 보정)

독립표본 t검정 vs 대응표본 t검정 차이는?

독립표본(Independent): 서로 다른 두 집단 (예: 남/여 점수)
대응표본(Paired): 동일 대상의 두 시점 (예: 약물 전/후)
등분산 위반 시 Welch t, 정규성 위반 시 비모수 검정

t검정의 비모수 대안은?

독립표본 t → Mann-Whitney U (윌콕슨 순위합)
대응표본 t → Wilcoxon 부호순위
일원 ANOVA → Kruskal-Wallis