두 Group의 Mean을 비교할 때는 Two-Sample t-Test가 매우 자연스러운 방법입니다.

그렇다면 Group이 세 개가 되면 어떻게 해야 할까요?

예를 들어 다음 세 Treatment Group이 있다고 가정해보겠습니다.

• Placebo
• Treatment 1
• Treatment 2

가장 단순한 방법은 각각의 Pair를 t-Test로 비교하는 것입니다.

즉:

Placebo vs Treatment 1

Placebo vs Treatment 2

Treatment 1 vs Treatment 2

를 각각 검정할 수 있습니다.

계산 자체는 가능합니다.

하지만 Group 수가 늘어날수록 이러한 Pairwise t-Test를 반복하는 방식에는 중요한 문제가 생깁니다.

바로 Type I Error가 누적될 수 있다는 점입니다.

ANOVA는 세 개 이상의 Group Mean을 하나의 Overall Hypothesis 안에서 동시에 비교하여, 여러 개의 개별 t-Test를 무분별하게 반복하는 문제를 줄이는 방법입니다.

첨부 교재에서도 Grouping Variable이 세 개 이상의 Level을 가질 때 모든 Pair에 대해 일련의 t-Test를 수행할 수는 있지만, 모든 Data를 동시에 분석하는 더 강력한 접근이 One-Way ANOVA라고 설명합니다. 이때 Student’s t Statistic 대신 F Ratio를 사용합니다.

두 Group에서는 t-Test가 자연스럽다

먼저 두 Group만 있다고 생각해보겠습니다.

예:

Treatment A

vs.

Treatment B

입니다.

Population Means를:

μA

μB

라고 하면:

H₀: μA = μB

입니다.

비교해야 할 Pair가 하나뿐이므로 Two-Sample t-Test를 사용하면 매우 자연스럽습니다.

이 경우 α=.05라면 하나의 Mean Comparison에 대한 Type I Error를 .05 수준으로 관리합니다.

세 Group이 되면 비교 수가 늘어난다

이번에는 다음 세 Group이 있다고 가정하겠습니다.

A

B

C

모든 Pair를 비교하려면:

A vs B

A vs C

B vs C

가 필요합니다.

즉 3개의 Pairwise Comparison이 생깁니다.

각각 독립적으로 α=.05 t-Test를 실행한다면 하나의 Comparison만 수행할 때와는 Statistical Error Structure가 달라집니다.

네 Group이면 몇 번 비교해야 할까?

A

B

C

D

가 있다면:

A-B

A-C

A-D

B-C

B-D

C-D

총 6개의 Pair가 생깁니다.

다섯 Group이면?

모든 Pairwise Comparison 수는 더 빠르게 증가합니다.

개념적으로 Group 수가 k개라면 가능한 Pair 수는:

k(k-1) / 2

입니다.

따라서:

3 Groups

↓

3 Comparisons

4 Groups

↓

6 Comparisons

5 Groups

↓

10 Comparisons

입니다.

Group 수가 조금만 늘어나도 Statistical Tests 수가 빠르게 증가합니다.

문제는 Test 횟수 자체가 아니다

여러 Test를 실행하는 것이 계산적으로 어려워서 ANOVA를 사용하는 것은 아닙니다.

SAS는 수십 개의 t-Test도 매우 빠르게 계산할 수 있습니다.

진짜 문제는:

각 Comparison마다 False Positive 가능성이 존재한다는 것

입니다.

즉 Multiple Testing Problem입니다.

Type I Error를 다시 정리하면

Type I Error는 실제 Null Hypothesis가 True인데 이를 잘못 Reject하는 오류입니다.

쉽게 표현하면:

실제로 Difference 없음

↓

Statistical Test

↓

Difference 있다고 결론

입니다.

개별 Test에서 α=.05를 사용하면 Null Hypothesis가 True일 때 False Positive를 허용하는 Error Rate와 연결됩니다.

한 번의 Test에서 α=.05라는 의미

예를 들어:

A vs B

하나만 Test한다고 가정하겠습니다.

실제로 두 Population Mean이 같다면:

H₀ True

입니다.

그런데 Random Sampling 때문에 드물게 p<.05가 나올 수 있습니다.

이것이 Type I Error입니다.

하나의 Comparison에 대해 α=.05를 관리하는 것을 첨부 교재에서는 Comparisonwise Error Rate, CER와 연결해서 설명합니다.

Comparisonwise Error Rate란 무엇인가?

하나의 개별 Comparison에서 사용하는 Error Rate입니다.

예를 들어 Pairwise t-Test마다:

α=.05

를 사용한다면:

각각의 Comparison

↓

CER = .05

입니다.

문제는 여러 Comparison을 동시에 수행할 때입니다.

첨부 교재에서는 CER를 Control한다는 것은 전체 Pairwise Comparison 수를 고려하지 않고 하나의 Comparison에 대해 Alpha를 고정하는 것이라고 설명합니다.

여러 번 Test하면 어떤 문제가 생길까?

실제로 모든 Group Means가 같다고 가정해보겠습니다.

즉 모든 Pairwise Null Hypothesis가 True입니다.

그런데 여러 Test를 반복하면 그중 적어도 하나에서 우연히 p<.05가 나올 기회가 증가합니다.

첨부 교재에서도 실제 Difference가 전혀 없다고 가정할 때 모든 가능한 Comparison을 고려하면 최소 하나의 False Difference를 결론낼 Chance가 훨씬 높아진다고 설명합니다.

Experimentwise Error Rate란 무엇인가?

여러 Comparison 전체를 하나의 Experiment 또는 Family로 보았을 때:

실제로 Difference가 없는데 그중 적어도 하나를 잘못 Significant하다고 판단할 확률

과 연결되는 개념입니다.

첨부 교재에서는 이를 Experimentwise Error Rate, EER라고 부릅니다.

즉:

Comparisonwise Error Rate

각 개별 Comparison의 Error

Experimentwise Error Rate

전체 Comparison Set에서 적어도 하나의 False Positive가 발생할 Error

입니다.

교재의 숫자로 보면 얼마나 증가할까?

첨부 교재에서는 각 Comparison에서:

α=.05

를 사용할 때 Comparison 수가 증가하면 Experimentwise Error Rate가 다음처럼 증가하는 Example을 제공합니다.

• 1 Comparison → EER .05
• 3 Comparisons → EER 약 .14
• 6 Comparisons → EER 약 .26
• 10 Comparisons → EER 약 .40

즉 Comparison 하나만 수행할 때는 .05 수준이지만 10개의 Comparison을 수행하면 전체 Experiment에서 적어도 하나의 False Positive가 발생할 Error가 훨씬 커질 수 있습니다.

세 Group에서 왜 약 14%가 될까?

세 Group이면 모든 Pair는 3개입니다.

각 Pair를 α=.05로 개별 검정하면 교재 Example에서는 전체 Comparison Set에서 적어도 하나의 False Positive가 발생할 Experimentwise Error Rate가 약:

.14

로 제시됩니다.

즉 개별 Test는 5%인데 전체 분석 수준에서는 약 14%까지 올라갈 수 있습니다.

이 차이가 매우 중요합니다.

네 Group에서는?

네 Group이면:

6개의 Pairwise Comparison

이 가능합니다.

교재 표에서는:

6 Comparisons

↓

Experimentwise Error Rate 약 .26

으로 제시됩니다.

즉 모든 Population Mean이 실제로 같더라도 여러 t-Test를 반복하면 적어도 하나를 Significant하다고 잘못 판단할 위험이 약 26% 수준까지 증가할 수 있는 Example입니다.

다섯 Group에서는?

다섯 Group이면:

10 Comparisons

이 가능합니다.

교재에서는 이 경우 EER을 약:

.40

으로 제시합니다.

즉 개별 α가 .05인데도 전체 Comparison Family에서는 False Positive Probability가 상당히 커질 수 있습니다.

“각 Test가 5%니까 전체 Error도 5%다”라는 생각이 틀린 이유입니다.

왜 Error가 누적될까?

각 Test마다 False Positive가 발생할 새로운 기회가 생기기 때문입니다.

동전 Example을 생각하면 이해하기 쉽습니다.

한 번 Coin을 던져 Head가 나올 Probability가 0.5라고 해서 두 번 던졌을 때 적어도 한 번 Head가 나올 Probability도 0.5인 것은 아닙니다.

첨부 교재도 Multiple Comparison Section을 시작하기 전에 이 Coin Example을 이용해 반복 기회가 증가하면 적어도 한 번 Event가 발생할 Probability도 증가한다는 개념을 설명합니다.

“각각 5%인데 왜 더 커지는가?”의 직관

다음처럼 생각할 수 있습니다.

Test 1

False Positive 기회

Test 2

또 다른 False Positive 기회

Test 3

또 다른 False Positive 기회

…

따라서:

Comparison 수 증가

↓

False Positive Opportunity 증가

↓

적어도 하나의 False Positive Probability 증가

입니다.

교재에서 제시하는 Error Rate 관계

첨부 교재에서는 Comparison 수가 nc일 때 Experimentwise Error Rate와 관련하여 다음 표현을 제시합니다.

EER ≤ 1 – (1 – α)^nc

여기서 핵심은 Formula 자체를 암기하는 것보다:

Comparison 수가 증가할수록 전체 Error Rate가 커질 수 있다.

라는 구조를 이해하는 것입니다.

ANOVA는 무엇을 다르게 할까?

여러 Pair를 각각 따로 Test하는 대신 모든 Group을 하나의 Overall Model에서 동시에 비교합니다.

예를 들어 세 Population Means가:

μ₁

μ₂

μ₃

이라면 One-Way ANOVA의 Null Hypothesis는:

H₀: μ₁ = μ₂ = μ₃

입니다.

Alternative는:

모든 Population Mean이 동일한 것은 아니다.

입니다.

즉 하나의 Overall Hypothesis를 먼저 검정합니다.

ANOVA는 Pairwise Difference를 하나씩 보는 Test가 아니다

예를 들어:

A vs B

A vs C

B vs C

를 세 번 따로 Test하는 대신:

A + B + C Data 전체

↓

하나의 Model

↓

Overall F Test

를 수행합니다.

첨부 교재도 세 개 이상의 Group Level이 있을 때 모든 Data를 동시에 분석하는 방법을 One-Way Analysis of Variance라고 설명합니다.

왜 이름은 Mean Comparison인데 “Variance” Analysis일까?

ANOVA의 목적은 Population Means를 비교하는 것입니다.

하지만 Mean Difference를 평가하기 위해 Variation을 분해하고 비교합니다.

기본 개념은:

Between-Group Variation

vs.

Within-Group Variation

입니다.

즉 Group Means가 서로 멀리 떨어져 있다면 Between-Group Variation이 커질 수 있습니다.

반면 같은 Group 안에서 Individual Data가 매우 넓게 퍼져 있다면 Within-Group Variation이 큽니다.

ANOVA는 이 둘을 비교합니다.

t-Test에서는 t, ANOVA에서는 F를 사용한다

첨부 교재에서는 One-Way ANOVA가 Student’s t Value 대신 F Ratio를 Test Statistic으로 사용한다고 설명합니다.

즉:

Two-Sample t-Test

t Statistic

One-Way ANOVA

F Statistic

입니다.

F Statistic의 구체적인 원리는 이후 별도 글에서 자세히 다룹니다.

ANOVA가 “더 강력한 접근”이라고 교재에서 설명하는 이유

첨부 교재에서는 세 개 이상의 Group이 있을 때 Pairwise t-Test를 일련으로 수행하는 것보다 모든 Data를 동시에 분석하는 ANOVA를 more powerful approach라고 표현합니다.

핵심은 여러 Group의 정보를 하나의 Model 안에서 동시에 활용하여 Overall Mean Difference Question을 평가한다는 것입니다.

다만 “ANOVA를 쓰면 이후 모든 Pairwise Error 문제가 자동으로 사라진다”는 뜻으로 확대해서 해석하면 안 됩니다.

ANOVA가 Significant하면 어떤 결론을 내릴까?

예를 들어:

H₀:

μA = μB = μC

를 검정하고:

p < .05

가 나왔다고 하겠습니다.

그러면:

모든 Population Mean이 동일하다는 H₀를 Reject할 Evidence가 있다.

라고 할 수 있습니다.

즉 적어도 하나의 Mean이 다를 가능성을 지지합니다.

ANOVA가 Significant하면 어떤 Group이 다른지 알 수 있을까?

아닙니다.

이것이 매우 중요합니다.

ANOVA Overall Test는:

모든 Means가 같은가?

를 평가합니다.

하지만 Significant하더라도:

A vs B가 다른지,

A vs C가 다른지,

B vs C가 다른지

를 직접 알려주지는 않습니다.

이때 Post Hoc Pairwise Comparison이 필요합니다.

첨부 교재도 ANOVA에서 Significant Effect를 발견한 후 Group 간 Pairwise Difference를 평가하기 위해 Post Hoc Comparison을 수행하도록 구성합니다.

“그러면 결국 Pairwise Test를 하는데 뭐가 다른가?”

좋은 질문입니다.

차이는 Pairwise Comparison 단계에서 Multiple Comparison Error를 고려한 Adjustment Method를 사용할 수 있다는 점입니다.

첨부 교재에서는 대표적으로 다음을 제시합니다.

All Pairwise Comparisons

↓

Tukey

Control Group과 비교

↓

Dunnett

입니다.

Tukey Method는 무엇을 할까?

모든 Pairwise Comparison을 수행하면서 전체 Experimentwise Type I Error를 관리하기 위한 Multiple Comparison Method입니다.

첨부 교재에서는 Tukey Method가 모든 Pairwise Comparison을 고려하는 경우 Experimentwise Error Rate를 Alpha와 동일하게 보장한다고 설명합니다.

즉 각 Pair를 아무 Adjustment 없이 t-Test하는 방식과 다릅니다.

Pairwise t-Test와 Tukey의 차이

첨부 교재는 Multiple Comparison Methods를 다음처럼 구분합니다.

Pairwise t-tests

Comparisonwise Error Rate Control

Tukey

Experimentwise Error Rate Control

입니다.

즉 Individual Comparison에서 α=.05를 각각 적용하는 것과 전체 Family의 Error를 .05 수준으로 관리하는 것은 다른 문제입니다.

Dunnett Method는 언제 사용할까?

Control Group이 명확하게 존재하는 경우입니다.

예를 들어 Drug Trial에서:

Placebo

vs.

Treatment 1

Placebo

vs.

Treatment 2

처럼 Control과 각 Treatment만 비교하고 Treatment끼리는 비교할 필요가 없을 수 있습니다.

첨부 교재에서는 이 경우 Dunnett Method를 권장하며 Experimentwise Error Rate가 설정한 α보다 크지 않도록 Control하는 구조를 설명합니다.

왜 모든 Pair를 비교하지 않을 수도 있을까?

Research Question에 따라 관심 있는 Comparison이 다르기 때문입니다.

예를 들어:

Placebo

Treatment 1

Treatment 2

Treatment 3

이 있다고 하겠습니다.

질문이:

각 Treatment가 Placebo와 다른가?

라면 필요한 비교는:

T1 vs Placebo

T2 vs Placebo

T3 vs Placebo

입니다.

Treatment끼리의 모든 Pair는 불필요할 수 있습니다.

이 경우 Control Comparison 구조가 더 자연스럽습니다.

비교 목적이 Method 선택을 결정한다

정리하면:

모든 Pair를 비교하고 싶다

↓

Tukey

Control과 다른 Group만 비교하고 싶다

↓

Dunnett

Adjustment 없이 Pairwise t-Test

↓

Comparisonwise Error만 각각 관리

입니다.

첨부 교재는 이러한 Multiple Comparison Method의 차이를 명확하게 구분합니다.

ANOVA와 Post Hoc은 같은 Test가 아니다

분석 흐름을 구분해야 합니다.

1단계

Overall ANOVA

↓

모든 Means가 같은가?

2단계

Overall Effect가 확인된 뒤 필요하면:

Post Hoc Test

↓

어떤 Pair가 다른가?

입니다.

첨부 교재도 Post Hoc Section의 Objective를 ANOVA에서 Independent Variable의 Significant Effect를 발견한 후 Group Pairwise Comparisons를 수행하는 것으로 설명합니다.

ANOVA p-value와 Post Hoc p-value는 다른 Hypothesis다

예를 들어:

ANOVA

H₀:

μA = μB = μC

입니다.

하지만 Pairwise Comparison:

A vs B

에서는:

H₀:

μA – μB = 0

입니다.

따라서 같은 Dataset에서 나온 p-value라도 Hypothesis가 다릅니다.

Overall ANOVA가 Significant하면 모든 Pair가 Significant할까?

아닙니다.

예를 들어:

μA = 10

μB = 10

μC = 30

이라면 Overall ANOVA는 Significant할 수 있습니다.

하지만:

A vs B

는 Difference가 없을 수 있습니다.

즉 Overall Significant는:

적어도 하나의 Difference가 존재

한다는 의미이지:

모든 Pair가 다름

을 의미하지 않습니다.

Overall ANOVA가 Non-Significant하면 모든 Group이 같은가?

그렇게 증명한 것은 아닙니다.

H₀를 Reject할 충분한 Evidence가 없다는 의미입니다.

가능한 이유는:

• 실제 Difference가 작음
• Sample Size 부족
• Within-Group Variability 큼

등이 있을 수 있습니다.

Confidence Interval과 Group Summary를 함께 보는 것이 중요합니다.

ANOVA는 Type I Error를 없애는가?

아닙니다.

ANOVA도 Statistical Hypothesis Test입니다.

α=.05를 사용하면 Type I Error 가능성이 존재합니다.

차이는 여러 개의 개별 Mean Comparison을 아무 조정 없이 반복하는 대신 전체 Group에 대한 하나의 Overall Hypothesis를 먼저 평가한다는 것입니다.

따라서:

ANOVA = Error 0

이 아닙니다.

ANOVA를 사용하면 Post Hoc Adjustment가 필요 없을까?

아닙니다.

Overall ANOVA 이후 실제로 여러 Pair를 비교한다면 Multiple Comparison 문제가 다시 등장합니다.

그래서 Tukey, Dunnett 같은 Post Hoc Adjustment를 사용할 수 있습니다.

첨부 교재에서도 ANOVA Chapter 안에 별도로 ANOVA Post Hoc Tests Section을 두고 Experimentwise Error Control을 설명합니다.

“ANOVA가 Significant한 경우에만 Pairwise Test를 하면 Error가 완전히 해결된다”라고 말해도 될까?

너무 단순한 해석입니다.

첨부 교재에서 핵심적으로 제시하는 방식은:

• Overall ANOVA로 Group Effect 확인
• Pairwise Comparison이 필요하면 적절한 Multiple Comparison Adjustment 사용

입니다.

즉 Pairwise 단계 자체의 Experimentwise Error Control을 별도로 고려합니다.

Comparisonwise Error와 Experimentwise Error를 다시 비교하면

Comparisonwise Error Rate

하나의 Pair에 집중

예:

A vs B

↓

α=.05

Experimentwise Error Rate

전체 Comparison Set에 집중

예:

A-B

A-C

B-C

전체

↓

적어도 하나의 False Positive Probability

입니다.

첨부 교재는 Pairwise t-Test가 CER를 Control하고 Tukey나 Dunnett 같은 Methods가 EER를 Control하는 구조로 설명합니다.

다중 비교에서 왜 “적어도 하나”가 중요할까?

연구자가 여러 Comparison 중 하나라도 Significant하면:

“Group Difference가 발견되었다.”

라고 보고할 수 있기 때문입니다.

따라서 전체 연구 수준에서는:

실제 Difference가 전혀 없는데 하나라도 False Significant가 발생할 Probability

가 중요할 수 있습니다.

이것이 Experimentwise Error의 핵심입니다.

Pairwise Comparison 수가 늘어나는 구조

Group 수가 늘어날수록 Pair 수는 빠르게 증가합니다.

예를 들어:

3 Groups

3 Comparisons

4 Groups

6 Comparisons

5 Groups

10 Comparisons

따라서 다섯 Group에 각 Pair별 α=.05 t-Test를 단순 반복하는 것은 한 번의 t-Test와 같은 Error Structure가 아닙니다.

첨부 교재는 10 Comparisons에서 EER Example을 약 .40으로 제시합니다.

모든 Pairwise Comparison이 Independent한가?

실제 Pairwise Tests는 같은 Group Data를 공유할 수 있어 서로 완전히 독립적이지 않을 수 있습니다.

첨부 교재도 EER 관계를 단순한 상한 형태로 제시하며 Multiple Comparison Adjustment Methods가 전체 Comparison Structure를 고려하도록 설명합니다.

따라서 단순 Probability Formula만 외우는 것보다 Error Family의 개념을 이해하는 것이 더 중요합니다.

“3번 t-Test니까 α=.15다”라고 단순히 더하면 될까?

정확한 EER를 단순히:

.05 + .05 + .05 = .15

로 계산한다고 생각하면 안 됩니다.

교재 Example에서도 3 Comparisons의 EER은:

.14

로 제시됩니다.

중요한 것은 정확한 산술보다:

Comparison 수가 증가하면 전체 False Positive Risk가 증가한다.

는 원리입니다.

ANOVA는 왜 모든 Data를 동시에 사용하는가?

각 Pair를 따로 분석하면 Comparison마다 일부 Group Data만 사용합니다.

예를 들어 A vs B Test에서는 C Data를 사용하지 않습니다.

ANOVA는:

A

B

C

모든 Group Data를 동시에 Model에 포함합니다.

그리고 전체 Variability를:

Group에 의해 설명되는 Variation

과:

Group 내부 Variation

으로 나누어 평가합니다.

이것이 ANOVA의 기본 구조입니다.

Example: 세 Drug Group

첨부 교재는 다음 Research Question을 제시합니다.

두 개의 새로운 Drug 중 하나를 투여한 사람들의 평균 T-cell Count가 Control Group보다 높은가?

Group은:

Placebo

Treatment 1

Treatment 2

입니다.

Pairwise t-Test를 사용하면 세 Comparison이 필요할 수 있습니다.

하지만 One-Way ANOVA는 세 Group Data를 한 번에 분석합니다.

Credit Card Example

교재에서는 또 다른 One-Way ANOVA 질문으로:

Credit Card Type에 따라 사람들이 지출하는 평균 Amount가 다른가?

를 제시합니다.

Credit Card Type이 여러 Category라면 각 Category를 Pairwise t-Test로 모두 비교하는 것보다 Overall ANOVA로 먼저 Group Effect를 평가할 수 있습니다.

ANOVA에서 Predictor와 Response 구조

One-Way ANOVA의 기본 구조는:

Categorical Predictor

↓

3개 이상 Level 가능

Continuous Response

입니다.

예:

Predictor

Treatment

• Placebo
• Drug 1
• Drug 2

Response

T-cell Count

입니다.

이는 Two-Sample t-Test의 구조를 더 많은 Levels로 확장한 것으로 이해할 수 있습니다.

왜 One-Way라고 부를까?

Factor가 하나이기 때문입니다.

예를 들어:

Treatment

라는 하나의 Categorical Factor만 사용합니다.

Treatment 안에는:

3개

4개

또는 그 이상의 Levels가 있을 수 있습니다.

따라서:

One-Way

≠

Group이 하나

입니다.

Factor가 하나라는 의미입니다.

ANOVA가 필요한 최소 Group 수는 반드시 3개일까?

두 Group에서도 One-Way ANOVA를 사용할 수 있습니다.

앞선 교재 Poll에서도 두 Group Mean Comparison에 Two-Sample t-Test와 One-Way ANOVA 모두 사용할 수 있음을 보여줍니다.

다만 두 Group만 있다면 t-Test가 직접적인 방식이고, ANOVA의 다중 Group 장점은 세 개 이상에서 더 명확해집니다.

세 Group 이상이라고 무조건 ANOVA인가?

Response와 Research Design을 확인해야 합니다.

일반적인 One-Way ANOVA는 Continuous Response와 Categorical Factor의 Mean Comparison 구조입니다.

Response가 Binary라면 Logistic Regression이나 Categorical Method가 필요할 수 있습니다.

Repeated Measures나 Paired Structure라면 다른 Design이 필요할 수 있습니다.

따라서:

Group 수만으로 Method를 결정하는 것은 아닙니다.

ANOVA의 Null Hypothesis를 정확히 이해해야 한다

세 Group에서:

H₀

μ1 = μ2 = μ3

입니다.

Alternative는:

적어도 하나의 Mean이 다르다.

입니다.

다음 표현은 정확하지 않습니다.

H₁: μ1 ≠ μ2 ≠ μ3

왜냐하면 모든 Pair가 다를 필요는 없기 때문입니다.

예를 들어 두 Mean만 같아도 ANOVA H₀는 거짓이다

Population Means가:

μ1 = 10

μ2 = 10

μ3 = 20

이라면:

μ1 = μ2

이지만:

μ3가 다릅니다.

따라서:

H₀: μ1 = μ2 = μ3

는 False입니다.

Overall ANOVA는 이러한 Structure를 Detect할 수 있습니다.

ANOVA 결과가 유의하면 다음 질문이 자연스럽게 나온다

“어느 Group이 다른가?”

이 질문에는 Overall F Test만으로 답할 수 없습니다.

따라서 Post Hoc Analysis로 이동합니다.

전체 흐름은:

ANOVA

↓

Difference 존재 Evidence

↓

Post Hoc

↓

Difference 위치 확인

입니다.

Tukey는 언제 적절할까?

첨부 교재는 모든 Pairwise Comparisons을 고려하는 경우 Tukey Method가 적절하다고 설명합니다.

예:

A-B

A-C

B-C

모두 관심

↓

Tukey

입니다.

Dunnett는 언제 적절할까?

Control Group이 Natural Reference인 경우입니다.

예:

Placebo

vs.

Drug 1

Placebo

vs.

Drug 2

Placebo

vs.

Drug 3

만 관심

↓

Dunnett

입니다.

첨부 교재는 이런 상황에서 Dunnett Method가 모든 가능한 Comparison을 Control하는 Method보다 더 Powerful할 수 있다고 설명합니다.

왜 필요한 Comparison만 하는 것이 좋을까?

불필요한 Hypothesis를 추가하면 Multiple Testing 부담도 증가할 수 있기 때문입니다.

예를 들어 연구 질문이:

각 Drug이 Placebo보다 다른가?

인데 Drug 1 vs Drug 2까지 모두 비교할 필요가 없다면 Control Comparison이 더 직접적입니다.

즉 Multiple Comparison Method도 Research Question에 따라 선택해야 합니다.

Post Hoc Test를 무조건 많이 수행하면 좋은가?

아닙니다.

가능한 모든 Pair를 출력한다고 분석 품질이 좋아지는 것은 아닙니다.

필요한 Comparison을 사전에 생각하는 것이 중요합니다.

• 모든 Pair가 중요한가?
• Control Comparison만 중요한가?
• 특정 Contrast가 중요한가?

에 따라 Method가 달라질 수 있습니다.

“Adjustment 없음”도 가능할까?

SAS에서는 Adjustment 없이 Pairwise Comparison을 생성할 수 있습니다.

첨부 교재의 Post Hoc Demonstration에서도 Unadjusted를 선택하면 Experimentwise Error Rate를 Control하지 않는 Multiple Tests가 된다고 명확하게 설명합니다.

즉 Software가 제공하는 Option이라고 해서 모두 같은 Statistical Protection을 제공하는 것은 아닙니다.

Adjustment 없이 Pairwise Test를 할 때 무엇을 알아야 할까?

각 Pair의 개별 p-value는 확인할 수 있습니다.

하지만 전체 Comparison Family에 대한 False Positive Risk는 높아질 수 있습니다.

따라서 Result를 해석할 때:

Unadjusted p-value

인지:

Multiplicity-adjusted p-value

인지 확인해야 합니다.

SAS Output에서 p-value만 보면 안 되는 또 다른 이유

예를 들어 다음 두 값이 있을 수 있습니다.

Unadjusted p = .03

Tukey-adjusted p = .08

입니다.

Individual Comparison만 보면 Significant해 보이지만 전체 Pairwise Family를 고려하면 유의하지 않을 수 있습니다.

따라서 어떤 Multiple Comparison Method가 적용되었는지 반드시 확인해야 합니다.

Adjusted p-value가 더 큰 경우가 많은 이유

Multiple Testing에 따른 False Positive Risk를 관리하기 위해 더 엄격한 기준을 적용하기 때문입니다.

즉:

Unadjusted

↓

각 Comparison만 평가

반면:

Adjusted

↓

전체 Comparison Set 고려

입니다.

따라서 Adjusted Result가 더 Conservative해질 수 있습니다.

Conservative하다는 것은 무엇일까?

False Positive를 줄이기 위해 H₀ Reject 기준이 더 엄격해지는 것을 의미할 수 있습니다.

하지만 너무 Conservative하면 실제 Difference를 놓칠 가능성도 증가할 수 있습니다.

즉 Multiple Comparison에서도:

Type I Error Control

과:

Power

사이의 균형이 중요합니다.

Tukey가 항상 최고의 방법일까?

아닙니다.

Research Question에 따라 달라집니다.

첨부 교재에서도:

모든 Pair

Tukey

Control Comparison

Dunnett

를 구분합니다.

즉 하나의 Adjustment Method가 모든 상황에 최적이라고 생각하면 안 됩니다.

“ANOVA 먼저, 무조건 Tukey”도 지나친 단순화다

Group Structure와 Research Objective가 중요합니다.

예를 들어 Control Group과의 비교만 관심이라면 Dunnett가 더 적절할 수 있습니다.

또 특정 Planned Comparison이 있다면 분석 전략이 달라질 수 있습니다.

따라서:

Research Question

↓

Overall Model

↓

필요한 Comparison 유형

↓

적절한 Adjustment

순서로 생각해야 합니다.

ANOVA가 Significant하지 않으면 Pairwise Test를 절대 하면 안 될까?

첨부 교재의 학습 흐름에서는 ANOVA에서 Significant Effect를 발견한 후 Post Hoc Pairwise Comparison을 수행하도록 구성합니다.

실제 분석에서는 Planned Comparison 여부나 Analysis Plan에 따라 전략이 달라질 수 있습니다.

따라서 일반 원칙을 모든 Research Design에 기계적으로 확대하기보다 사전에 정의된 Analysis Strategy를 따르는 것이 중요합니다.

Planned Comparison과 Post Hoc Comparison은 다른 개념이다

Post Hoc은 Overall Result를 본 뒤 어떤 Group이 다른지 탐색하는 의미로 자주 사용됩니다.

반면 특정 Treatment와 Control Comparison이 연구 목적상 사전에 정의되어 있다면 Planned Contrast의 성격을 가질 수 있습니다.

이 글에서는 첨부 교재에서 다루는 ANOVA 후 Multiple Pairwise Comparison 구조에 초점을 맞추고 있습니다.

ANOVA는 Mean Difference의 크기를 알려줄까?

Overall F Test만으로는 어떤 Mean Difference가 얼마나 큰지 충분히 알 수 없습니다.

따라서 다음도 확인해야 합니다.

• Group Means
• Standard Deviations
• Confidence Intervals
• Pairwise Differences

즉 p-value만으로 분석을 끝내지 않습니다.

Group별 Descriptive Statistics가 먼저 필요한 이유

예를 들어 ANOVA p<.001이라고 해도:

Group A Mean = 10

Group B Mean = 10.1

Group C Mean = 30

일 수 있습니다.

또:

10

20

30

일 수도 있습니다.

Overall p-value는 비슷할 수 있지만 실제 Group Pattern은 다릅니다.

따라서 Group Means를 먼저 확인해야 합니다.

Statistical Significance와 Practical Significance도 그대로 적용된다

Large Sample에서는 아주 작은 Group Mean Difference도 Overall ANOVA에서 Significant할 수 있습니다.

따라서:

ANOVA p-value

뿐 아니라:

Effect Magnitude

를 확인해야 합니다.

또 Post Hoc Pairwise Comparison에서도 Difference와 CI를 함께 보는 것이 좋습니다.

Multiple Testing 문제는 p-value만의 문제가 아니다

여러 Confidence Interval을 동시에 해석할 때도 Family Coverage를 고려할 수 있습니다.

Multiple Comparison Adjustment는 p-value와 Confidence Limits 모두에 영향을 줄 수 있습니다.

첨부 교재의 Diffogram 역시 Pairwise Difference Confidence Interval을 이용해 Statistical Significance를 시각적으로 표현합니다.

Diffogram은 무엇을 보여줄까?

첨부 교재에서는 Diffogram에서 Group Mean Pair의 Difference Confidence Interval이 Equality Reference Line과 교차하는지에 따라 Statistical Significance를 확인할 수 있다고 설명합니다.

즉 Pairwise Comparison 결과를 Graphically 확인할 수 있습니다.

다만 Diffogram의 자세한 해석은 Post Hoc Test 글에서 다루는 것이 적절합니다.

Control Plot은 무엇과 연결될까?

Dunnett Comparison처럼 Control Group을 기준으로 다른 Group을 비교할 때 Control Plot을 사용할 수 있습니다.

첨부 교재에서는 Control Group Mean이 Horizontal Reference로 표시되고 다른 Group의 Interval이 Decision Boundary를 벗어나면 Control과 Significant Difference가 있음을 나타내는 구조를 설명합니다.

이 역시 Control Comparison의 시각적 표현입니다.

ANOVA가 여러 번의 t-Test보다 적절한 핵심 이유를 다시 정리하면

첫 번째:

세 Group 이상을 하나의 Overall Model에서 동시에 분석

합니다.

두 번째:

각 Pair마다 무조정 t-Test를 반복하면서 발생할 수 있는 Experimentwise Type I Error 증가 문제를 피하는 분석 구조를 제공합니다.

세 번째:

Overall Effect 이후 필요하면 Tukey·Dunnett 같은 Multiple Comparison Method로 Pairwise Difference를 체계적으로 평가할 수 있습니다.

흔한 오해 정리

“세 Group이면 t-Test를 세 번 하면 ANOVA와 완전히 같다”

아닙니다.

각 t-Test를 개별 α=.05로 수행하면 전체 Comparison Set의 Type I Error 구조가 달라집니다.

“각 t-Test의 α가 .05이므로 전체 Error도 .05다”

아닙니다.

첨부 교재에서는 Comparison 수가 증가하면서 Experimentwise Error Rate가 .14, .26, .40 등으로 증가하는 Example을 제시합니다.

“ANOVA는 Type I Error가 없다”

아닙니다.

ANOVA도 α 수준의 Statistical Test입니다.

“ANOVA가 Significant하면 모든 Group이 서로 다르다”

아닙니다.

적어도 하나의 Population Mean이 다르다는 Evidence입니다.

“ANOVA가 Significant하면 어느 Group이 다른지도 바로 알 수 있다”

아닙니다.

Pairwise Difference를 확인하려면 Post Hoc Comparison이 필요합니다.

“ANOVA를 했으면 Pairwise Comparison에서는 Multiple Testing을 신경 쓰지 않아도 된다”

아닙니다.

여러 Pair를 비교하면 Tukey 등 Experimentwise Error를 관리하는 방법을 고려할 수 있습니다.

“Tukey와 Unadjusted Pairwise t-Test는 같은 결과다”

아닙니다.

교재에서는 Pairwise t-Test를 Comparisonwise Error Control, Tukey를 Experimentwise Error Control로 구분합니다.

“Tukey는 Control Group 비교에 가장 좋은 방법이다”

반드시 그렇지 않습니다.

Natural Control이 존재할 때 교재는 Dunnett Method를 제시합니다.

“Comparison이 많으면 α를 단순히 모두 더하면 된다”

정확하지 않습니다.

교재의 EER Example에서도 3×.05=.15가 아니라 약 .14로 제시됩니다.

“ANOVA는 세 Group 이상에서만 사용할 수 있다”

아닙니다.

두 Group에서도 One-Way ANOVA를 사용할 수 있으며 교재에서도 Two-Sample t-Test와 One-Way ANOVA를 모두 가능한 방법으로 제시합니다.

“Group 수가 세 개 이상이면 무조건 ANOVA다”

아닙니다.

Response Type과 Data Design을 확인해야 합니다.

“ANOVA p<.05면 Effect가 Practical하게 중요하다”

아닙니다.

Statistical Significance와 Practical Significance는 별개입니다.

세 Group 분석의 잘못된 흐름

예를 들어:

A

B

C

가 있다고 하겠습니다.

다음처럼 바로 시작하는 것은 위험할 수 있습니다.

A vs B t-Test

↓

p=.03

A vs C t-Test

↓

p=.04

B vs C t-Test

↓

p=.60

↓

“두 개가 Significant하므로 결론 완료”

이 방식은 전체 Multiple Testing Structure를 고려하지 않습니다.

더 체계적인 흐름

다음과 같이 접근할 수 있습니다.

Group별 Descriptive Statistics

↓

Mean / SD / N / Distribution 확인

↓

One-Way ANOVA

↓

H₀: μA=μB=μC

↓

Overall F Test

↓

Significant Group Effect?

↓

필요 시:

Post Hoc Multiple Comparison

↓

Tukey / Dunnett 등

↓

Pairwise Effect + CI 확인

↓

Practical Interpretation

입니다.

SAS에서의 분석 흐름도 같은 구조다

첨부 교재 Chapter 3은 다음과 같은 순서로 구성되어 있습니다.

Two-Sample t-Test

↓

One-Way ANOVA

↓

Randomized Block Design

↓

ANOVA Post Hoc Tests

↓

Two-Way ANOVA with Interactions

즉 두 Group Mean Comparison에서 시작해 Multiple Group Comparison과 Multiple Comparison Control로 확장되는 구조입니다.

왜 이 순서로 배우는 것이 좋을까?

Two-Sample t-Test에서 이미 다음을 배웠습니다.

Observed Mean Difference

vs.

Within-Group Variability

ANOVA에서는 이를 더 많은 Group으로 확장합니다.

그리고 Group이 많아지면서 새롭게 등장하는 문제가:

Multiple Comparisons

입니다.

따라서:

t-Test

↓

ANOVA

↓

Post Hoc Adjustment

는 서로 분리된 개념이 아니라 하나의 연속된 Statistical Logic입니다.

Comparisonwise Error를 유지하면 어떤 결과가 생길 수 있을까?

예를 들어 실제로 모든 Means가 같다고 가정합니다.

각 Pair에서 α=.05를 그대로 사용하면 각각은 “5% Error”로 보입니다.

하지만 전체 Research Question이:

여러 Group 중 어디든 Difference가 있는가?

라면 적어도 하나의 False Positive를 보는 Probability가 더 중요합니다.

첨부 교재는 이를 Comparisonwise와 Experimentwise Error의 차이로 설명합니다.

Experimentwise Error Control의 목적

전체 Analysis Family에서 False Positive Risk를 사전에 정한 수준으로 관리하는 것입니다.

예:

전체 Pairwise Comparison Family

↓

EER = .05

를 목표로 합니다.

Tukey Method는 모든 Pairwise Comparison을 수행할 때 이 Experimentwise Error Rate를 Alpha와 동일하게 Control하도록 설명됩니다.

모든 Multiple Comparison Adjustment가 같은 것은 아니다

Tukey와 Dunnett은 목적이 다릅니다.

Tukey

모든 Pair 비교

Dunnett

Control과 나머지 Group 비교

입니다.

따라서 “Adjusted p-value”라는 이름만 보는 것이 아니라 어떤 Comparison Family를 보호하도록 설계된 Method인지 확인해야 합니다.

Research Question이 Comparison Family를 정의한다

예를 들어:

질문 A

모든 Drug끼리 서로 다른가?

↓

All Pairwise Family

질문 B

각 Drug이 Placebo보다 다른가?

↓

Control Comparison Family

입니다.

즉 Multiple Comparison Correction은 단순 Software Option이 아니라 연구 질문과 연결됩니다.

ANOVA를 사용한다고 Research Question이 자동으로 정의되지는 않는다

SAS는 Group Variable을 넣으면 F Test를 계산할 수 있습니다.

하지만 Analyst는 다음을 결정해야 합니다.

• Overall Effect가 관심인가?
• 어떤 Pair가 관심인가?
• Control은 무엇인가?
• 모든 Pair가 필요한가?

Statistical Software가 이 연구 목적을 대신 정해주지는 않습니다.

SAS Output에서 가장 먼저 p-value를 찾지 말아야 하는 이유

ANOVA에서도 다음 순서가 좋습니다.

1. Group별 N

↓

Balance 확인

2. Group Means

↓

Pattern 확인

3. Group Variability

↓

Within-Group Noise 확인

4. Distribution / Outlier

↓

Assumption 확인

5. Overall F Test

↓

Group Effect 확인

6. Post Hoc 필요 여부

↓

Pairwise Question 확인

7. Adjustment Method

↓

Tukey / Dunnett 등 확인

8. Adjusted p-value / CI

↓

Individual Difference 해석

입니다.

Group Mean Plot도 도움이 될까?

그렇습니다.

Mean Plot이나 Box Plot을 보면:

• 어느 Group이 높은지
• Difference가 어느 정도인지
• Variability가 어떤지

를 Overall p-value보다 직관적으로 확인할 수 있습니다.

다만 Graph만으로 Statistical Significance를 확정하면 안 되고 ANOVA와 Pairwise Comparison Result를 함께 사용합니다.

ANOVA의 F Statistic은 다음 글에서 왜 중요할까?

ANOVA가 여러 Group을 동시에 비교한다는 것은 이해했지만 실제로 “어떻게” Difference를 판단하는지는 아직 남아 있습니다.

핵심은:

Between-Group Variability

를:

Within-Group Variability

와 비교하는 것입니다.

이 Ratio가 F Statistic의 핵심이 됩니다.

따라서 다음 단계인 One-Way ANOVA와 F Statistic에서 이 구조를 더 자세히 이해할 수 있습니다.

ANOVA로 넘어가는 전체 사고 과정

다음처럼 기억하면 좋습니다.

2 Groups

↓

t-Test

↓

Group 수 증가

↓

Pairwise t-Test 수 증가

↓

Multiple Testing

↓

Type I Error 누적 가능

↓

One Overall Hypothesis 필요

↓

ANOVA

↓

F Test

↓

Overall Difference Evidence

↓

어떤 Group이 다른지 필요?

↓

Post Hoc Comparison

↓

Multiple Comparison Adjustment

입니다.

핵심 정리

세 개 이상의 Group Mean을 비교할 때 각 Pair마다 Two-Sample t-Test를 반복하는 것은 계산상 가능하지만 Statistical Error Control 측면에서 문제가 생길 수 있습니다.

첨부 교재도 Grouping Variable이 세 개 이상의 Level을 가질 때 모든 Pair에 일련의 t-Test를 수행할 수 있지만, 모든 Data를 동시에 분석하는 One-Way ANOVA가 더 강력한 접근이라고 설명합니다. 이때 Student’s t Statistic 대신 F Ratio를 사용합니다.

Pairwise t-Test 반복의 핵심 문제는 Multiple Comparison에 따른 Type I Error 증가입니다.

교재에서는 개별 Comparison의 Error를:

Comparisonwise Error Rate

전체 Comparison Set에서 적어도 하나의 False Positive가 발생할 Error를:

Experimentwise Error Rate

로 구분합니다.

각 Pair를 α=.05로 검정할 때 교재 Example은 다음과 같은 EER 증가를 보여줍니다.

1 Comparison

↓

.05

3 Comparisons

↓

.14

6 Comparisons

↓

.26

10 Comparisons

↓

.40

즉:

개별 Test가 모두 α=.05라고 해서 전체 Experiment의 False Positive Risk도 .05라는 의미는 아닙니다.

One-Way ANOVA는 여러 Group Data를 하나의 Model에 동시에 포함하고:

H₀: μ₁ = μ₂ = … = μk

라는 Overall Hypothesis를 F Statistic으로 평가합니다.

하지만 ANOVA가 Significant하다고 어느 Group이 다른지 자동으로 알 수 있는 것은 아닙니다.

이후 Pairwise Comparison이 필요할 경우 Multiple Comparison Error를 고려해야 합니다.

첨부 교재는:

모든 Pairwise Comparison

↓

Tukey

Control Group과의 Comparison

↓

Dunnett

을 대표적인 Experimentwise Error Control Method로 제시합니다.
반면 Adjustment 없는 Pairwise Comparison은 Experimentwise Error Rate를 Control하지 않는다고 명시합니다.

따라서 좋은 Multiple Group Analysis의 흐름은:

Descriptive Statistics

↓

Overall ANOVA

↓

Group Effect 확인

↓

필요한 Pairwise Question 정의

↓

적절한 Multiple Comparison Method

↓

Effect Size + CI + Adjusted p-value 해석

입니다.

ANOVA가 여러 번의 t-Test보다 중요한 이유는 단순히 여러 평균을 한 번에 계산해서가 아니라, 여러 Group을 하나의 Overall Statistical Model로 분석하고 이후 Multiple Comparison에서 발생하는 제1종 오류 문제를 체계적으로 관리할 수 있는 구조를 제공하기 때문입니다.

함께 읽으면 좋은 글

• One-Way ANOVA의 구조: 하나의 범주형 변수가 연속형 결과에 미치는 영향 분석
• F Statistic의 원리: 집단 간 변동과 집단 내 변동을 비교하는 방식
• ANOVA의 p-value가 알려주지 않는 것: 어떤 집단이 다른지는 바로 알 수 없는 이유
• Post Hoc Test의 역할: ANOVA 이후 집단 간 차이를 추가로 확인하는 방법
• Two-Sample t-Test의 구조: 두 독립 집단 평균의 차이를 검정하는 방식

참고한 자료

• SAS Enterprise Guide: ANOVA, Regression, and Logistic Regression Course Notes
• Chapter 3 Analysis of Variance
• One-Way ANOVA
• Research Questions for One-Way ANOVA
• ANOVA Post Hoc Tests
• Multiple Comparison Methods
• Comparisonwise Error Rate
• Experimentwise Error Rate
• Tukey’s Multiple Comparison Method
• Dunnett Comparison to a Control