ANOVA에서 p-value가 Statistical Significance를 보였다고 가정해보겠습니다.

예를 들어 네 개의 Fertilizer Group을 비교한 결과:

Overall ANOVA p < 0.05

가 나왔다면 다음과 같은 결론을 내릴 수 있습니다.

모든 Population Mean이 동일하다는 Null Hypothesis를 Reject할 Statistical Evidence가 있다.

하지만 여기서 분석은 끝나지 않습니다.

왜냐하면 ANOVA의 Overall Test만으로는 다음 질문에 답할 수 없기 때문입니다.

“정확히 어떤 Group과 어떤 Group이 다른가?”

예를 들어 네 Group이 있다면:

• Group 1 vs Group 2
• Group 1 vs Group 3
• Group 1 vs Group 4
• Group 2 vs Group 3
• Group 2 vs Group 4
• Group 3 vs Group 4

처럼 여러 Pair가 존재합니다.

ANOVA는 이 중 적어도 하나의 Difference가 존재할 가능성을 알려주지만 Difference의 위치를 자동으로 알려주지는 않습니다.

이때 사용하는 것이 Post Hoc Test입니다.

Post Hoc Test는 ANOVA에서 Overall Group Effect를 확인한 뒤, 어느 Group Pair 사이에 Difference가 존재하는지를 추가로 평가하는 Multiple Comparison Procedure입니다.

첨부 교재에서도 ANOVA Post Hoc Tests의 학습 목표를 ANOVA에서 Independent Variable의 Significant Effect를 찾은 이후 Group 간 Pairwise Comparisons를 수행하는 것으로 설명합니다. 또한 Linear Models Task를 이용한 Post Hoc Test와 Diffogram, Control Plot의 해석을 다룹니다.

ANOVA와 Post Hoc Test는 어떤 역할 차이가 있을까?

가장 먼저 두 단계의 질문을 구분해야 합니다.

ANOVA

“여러 Population Means가 모두 같은가?”

를 묻습니다.

반면:

Post Hoc Test

“전체적으로 Difference가 있다면 어느 Group Pair가 다른가?”

를 묻습니다.

즉:

ANOVA

↓

Overall Difference 존재 여부

그리고:

Post Hoc

↓

Difference가 존재하는 구체적인 위치

입니다.

세 Group Example로 이해해보자

다음 세 Group이 있다고 가정하겠습니다.

Group A

Mean = 10

Group B

Mean = 10

Group C

Mean = 30

ANOVA의 Null Hypothesis는:

H₀: μA = μB = μC

입니다.

C Mean이 크게 다르기 때문에 Overall ANOVA가 Significant할 수 있습니다.

하지만 Pairwise Difference를 보면:

A vs B

Difference = 0

A vs C

Difference = -20

B vs C

Difference = -20

입니다.

즉 Overall Result만 보면:

Difference가 존재한다.

는 것은 알 수 있지만:

A와 B는 같고 C가 다르다.

는 Pattern까지 바로 알 수는 없습니다.

Post Hoc Test가 이 정보를 제공합니다.

왜 그냥 모든 Pair를 t-Test하면 안 될까?

계산은 가능합니다.

하지만 이전 글에서 살펴봤듯 Comparison 수가 증가하면 Multiple Testing에 따른 Type I Error 증가 문제가 발생할 수 있습니다.

예를 들어 Group이 네 개라면 가능한 Pair는:

6개

입니다.

각 Pair를 α=.05로 개별 t-Test하면 각 Test의 False Positive Risk는 5% 수준이지만 전체 Comparison Family에서 적어도 하나의 False Positive가 나올 위험은 더 커질 수 있습니다.

첨부 교재에서는 이를 Comparisonwise Error Rate와 Experimentwise Error Rate의 차이로 설명합니다.

Comparisonwise Error Rate란 무엇인가?

각 개별 Comparison에 적용되는 Type I Error Rate입니다.

예를 들어:

A vs B

를 α=.05로 검정하면:

CER = .05

입니다.

그리고:

A vs C

도 별도로 α=.05

B vs C

도 별도로 α=.05

를 적용할 수 있습니다.

하지만 이 방식은 여러 Pair를 동시에 수행한다는 전체 구조를 고려하지 않습니다.

교재에서는 Comparisonwise Error Rate를 Control한다는 것은 모든 Pairwise Comparison의 수를 고려하지 않고 Single Comparison에 대해 Alpha를 고정하는 것이라고 설명합니다.

Experimentwise Error Rate란 무엇인가?

여러 Pairwise Comparison 전체를 하나의 Family로 보았을 때:

실제로 Difference가 전혀 없는데 적어도 하나의 Comparison을 False Positive라고 판단할 Probability

와 연결되는 개념입니다.

첨부 교재에서는 모든 Mean이 실제로 같다고 가정했을 때 Pairwise Comparison 수가 증가하면 적어도 하나의 Difference를 잘못 발견할 가능성이 증가한다고 설명합니다.

Comparison 수가 늘어나면 얼마나 달라질까?

교재는 α=.05를 각 Comparison에 사용하는 Example에서 다음과 같은 Experimentwise Error Rate를 제시합니다.

1 Comparison

EER = .05

3 Comparisons

EER ≈ .14

6 Comparisons

EER ≈ .26

10 Comparisons

EER ≈ .40

즉 개별 Test는 모두 5% 수준인데 Comparison이 많아질수록 전체 분석에서 적어도 하나의 False Positive가 나타날 가능성은 상당히 커질 수 있습니다.

이것이 Post Hoc Adjustment가 필요한 핵심 이유다

Post Hoc Test의 목적은 단순히 Pair를 많이 비교하는 것이 아닙니다.

중요한 목적 중 하나는:

여러 Comparison을 수행하면서 발생하는 Type I Error 문제를 관리하는 것

입니다.

따라서 Pairwise Comparison을 할 때는:

• 어떤 Pair를 비교할 것인지
• 전체 Comparison Family가 무엇인지
• 어떤 Error Rate를 관리할 것인지

를 고려해야 합니다.

Post Hoc Test는 하나의 Method 이름이 아니다

Post Hoc Test는 여러 방법을 포함하는 개념입니다.

첨부 교재에서는 대표적으로 다음 Method를 구분합니다.

Pairwise t-tests

Comparisonwise Error Rate Control

Tukey

모든 Pairwise Comparison에서 Experimentwise Error Rate Control

Dunnett

Control Group과 다른 Group을 비교하면서 Experimentwise Error Rate Control

입니다.

즉 어떤 Post Hoc Method를 사용할지는 Research Question에 따라 달라집니다.

Tukey Method란 무엇인가?

모든 가능한 Pairwise Comparison이 관심 대상일 때 대표적으로 사용하는 Method입니다.

예를 들어 네 Group:

A

B

C

D

가 있다면:

A-B

A-C

A-D

B-C

B-D

C-D

모든 Pair를 비교합니다.

첨부 교재에서는 Tukey’s Multiple Comparison Method가 모든 Pairwise Comparison을 고려할 때 적절한 방법이라고 설명합니다.

Tukey는 Error Rate를 어떻게 관리할까?

교재에서는 Tukey Method의 Experimentwise Error Rate가:

• 모든 Pairwise Comparisons를 고려할 때 α와 같고
• 전체 Pair보다 적은 Comparison만 고려할 때 α보다 작다

고 설명합니다.

즉 모든 Pair를 한 Family로 고려하여 Type I Error를 관리하는 구조입니다.

“All Pairwise Comparisons”란 무엇일까?

모든 가능한 두 Group의 조합을 의미합니다.

Group 수가 k라면 Pair 수는:

k(k-1)/2

입니다.

예:

3 Groups

3 Pairs

4 Groups

6 Pairs

5 Groups

10 Pairs

입니다.

따라서 Group 수가 늘어날수록 Tukey 같은 Multiple Comparison Method의 중요성이 커집니다.

Dunnett Method란 무엇인가?

모든 Pair를 비교하는 대신 하나의 Control Group을 기준으로 나머지 Group만 비교하는 Method입니다.

예를 들어:

• Placebo
• Drug A
• Drug B
• Drug C

가 있다고 하겠습니다.

Research Question이:

각 Drug가 Placebo와 다른가?

라면 필요한 Comparisons는:

Drug A vs Placebo

Drug B vs Placebo

Drug C vs Placebo

입니다.

Drug A vs Drug B

Drug A vs Drug C

Drug B vs Drug C

는 Primary Interest가 아닐 수 있습니다.

이런 경우 Dunnett Comparison이 자연스럽습니다.

왜 Control Comparison만 하면 좋을 수 있을까?

불필요한 Comparison을 하지 않기 때문입니다.

모든 Pair를 포함하면 Comparison Family가 커집니다.

하지만 연구 목적이 Control과의 비교뿐이라면 필요한 Comparison만 정의하는 것이 더 직접적입니다.

즉:

Research Question

↓

Comparison Family 정의

↓

적절한 Multiple Comparison Method 선택

입니다.

Tukey와 Dunnett의 가장 중요한 차이

간단히 정리하면 다음과 같습니다.

Tukey

모든 Group Pair 비교

Dunnett

하나의 Control과 나머지 Group 비교

입니다.

따라서 Method 이름을 외우기보다:

“나는 실제로 어떤 Pair를 비교하고 싶은가?”

를 먼저 물어야 합니다.

Post Hoc Test를 Software Option처럼 고르면 안 되는 이유

SAS에서 Tukey와 Dunnett을 Menu에서 선택할 수 있다고 해서 Statistical Purpose가 같은 것은 아닙니다.

예를 들어 Control Group이 분명한데 모든 Pair를 Tukey로 비교하면 불필요한 Comparisons까지 포함할 수 있습니다.

반대로 모든 Pair가 중요한 Study에서 Dunnett만 사용하면 Treatment끼리의 Difference를 확인할 수 없습니다.

따라서 Statistical Method 선택은 GUI Option이 아니라 Research Question의 번역 과정입니다.

첨부 교재의 Fertilizer Example

교재에서는 Fertilizer Groups에 대해 Post Hoc Pairwise Comparisons를 수행합니다.

SAS Enterprise Guide의 Linear Models Task에서:

Least Squares Means

를 사용하고:

All Pairwise Differences

를 선택한 뒤:

Tukey

Adjustment를 적용합니다.

즉 Fertilizer의 모든 가능한 Pair를 비교하는 구조입니다.

같은 Task에서 Dunnett Comparison도 생성한다

교재에서는 Fertilizer를 다시 Effect로 추가하고:

Control using first level

Comparison을 설정합니다.

이때 Default Adjustment Method는:

Dunnett

입니다.

그리고 후속 단계에서는 Control Group을 변경하기 위해 Generated Code 일부를 수정합니다.

Fertilizer Example에서 Control은 무엇인가?

교재에서는:

Fertilizer Level 4

를 Control Group으로 지정합니다.

그 이유는 Level 4가:

Chemical Fertilizer

이고 나머지는 Organic Fertilizer이기 때문입니다.

즉 비교 목적은 개념적으로:

Organic Fertilizer

vs.

Chemical Control

과 연결됩니다.

SAS의 Default Control Group은 무엇이었을까?

첨부 교재에서는 Classification Variable의:

First Level

이 Default Control이라고 설명합니다.

하지만 연구상 Control이 Level 4였기 때문에 Generated Code에서 Control Level을 변경하도록 안내합니다.

이 Example은 매우 중요한 원리를 보여줍니다.

Software의 Default가 Research Design의 올바른 Control을 의미하지는 않습니다.

Control Group을 반드시 직접 확인해야 하는 이유

예를 들어 SAS가 Alphabetical Order나 Formatted Level Order에 따라 첫 Level을 Control로 선택했다고 가정하겠습니다.

실제 연구의 Control은 다른 Group일 수 있습니다.

그 상태로 Dunnett Test를 실행하면 Statistical Calculation은 정상적으로 나오지만 완전히 다른 Research Question을 검정하게 됩니다.

따라서 Output을 보기 전에 Control Definition을 반드시 확인해야 합니다.

SAS가 Error를 내지 않아도 분석은 틀릴 수 있다

예를 들어 실제 Control이 Placebo인데 Dose 1이 Control로 지정되어도 SAS는 Dunnett Test를 계산할 수 있습니다.

Software 관점에서는 Valid한 Comparison이기 때문입니다.

하지만 Sponsor 또는 연구자가 원한 질문은:

Drug vs Placebo

였는데 실제 계산은:

Drug vs Dose 1

이 될 수 있습니다.

즉:

Software Execution Success

≠

Statistical Question Correctness

입니다.

교재에서는 Unadjusted Comparison도 함께 만든다

첨부 교재의 Demonstration에서는 Fertilizer Effect를 세 번째로 추가하여:

All Pairwise Differences

를 선택한 뒤 Comparison Adjustment를:

Unadjusted

로 설정합니다.

교재는 이 경우:

Experimentwise Error Rate를 Control하지 않으며 Multiple Tests Adjustment가 없다.

고 명시합니다.

왜 Unadjusted Result를 보여줄까?

교육적으로 Adjusted Result와 비교하기 위해서입니다.

즉 같은 Pairwise Comparison에서도:

Unadjusted p-value

와:

Tukey-adjusted p-value

가 다를 수 있음을 확인할 수 있습니다.

이 차이를 통해 Multiple Comparison Adjustment가 실제 결과에 어떻게 영향을 주는지 이해할 수 있습니다.

Adjustment를 적용하면 p-value가 커질 수 있는 이유

개별 Comparison 하나만 보면 p=.03일 수 있습니다.

하지만 여러 Pair 중 하나였다는 사실을 고려하면 더 강한 Evidence가 필요할 수 있습니다.

따라서 Adjusted p-value가:

.03

에서:

.07

처럼 커질 수 있습니다.

이는 Data가 달라진 것이 아닙니다.

Statistical Error 기준이 달라진 것입니다.

“Adjusted p-value가 원래 p-value보다 나쁘다”라고 생각하면 안 된다

Adjusted p-value는 Result를 불리하게 만드는 벌점이 아닙니다.

여러 Hypothesis를 동시에 검정한다는 구조를 반영한 값입니다.

즉 더 넓은 Statistical Question에 맞게 Error Control을 조정한 것입니다.

Post Hoc Result에서는 Adjusted 여부를 반드시 확인해야 한다

다음 두 문장은 의미가 다릅니다.

p = .03

그리고:

Tukey-adjusted p = .03

입니다.

첫 번째가 Unadjusted라면 Multiple Comparison을 고려하지 않았을 수 있습니다.

따라서 Report에서는 가능하면:

• Adjustment Method
• Adjusted p-value

를 명확하게 표시하는 것이 좋습니다.

Fertilizer Tukey Pairwise Result

교재의 Fertilizer Example에서는 Tukey-adjusted Pairwise Comparisons을 수행합니다.

앞선 글에서 확인했듯 다음 Pair들 가운데:

Fertilizer 1 vs Fertilizer 4

만 α=.05에서 Significant했습니다.

교재에서 제시된 Tukey-adjusted p-value는:

p = .0144

입니다.

다른 Pair들은 α=.05에서 Significant하지 않았습니다.

즉 Overall Fertilizer Effect가 존재하더라도 모든 Fertilizer Pair가 서로 다른 것은 아닙니다.

이것이 Post Hoc Test의 가장 중요한 역할이다

ANOVA는:

“Difference가 있다.”

라고 알려줍니다.

Post Hoc Test는:

“그 Difference는 1과 4 사이에서 확인된다.”

처럼 구체화합니다.

즉 Statistical Interpretation이:

Global

에서:

Specific

으로 이동합니다.

LSMean이란 무엇인가?

Post Hoc Output에서는 흔히 Least Squares Mean, LSMean이 등장합니다.

LSMean은 Statistical Model을 기반으로 계산한 Adjusted Mean입니다.

단순하고 Balanced한 One-Way Model에서는 Raw Arithmetic Mean과 동일하거나 매우 비슷할 수 있습니다.

하지만 Model이 복잡하거나 Group Size가 Unbalanced하면 차이가 생길 수 있습니다.

따라서 Output에서:

Mean

인지:

LSMean

인지 확인하는 것이 중요합니다.

왜 Post Hoc Comparison에서 LSMean을 사용할까?

Model에 여러 Factor나 Covariate가 포함되어 있다면 Raw Group Mean을 단순 비교하는 것보다 다른 Model Terms를 Adjust한 Mean을 비교하는 것이 연구 질문에 더 적절할 수 있기 때문입니다.

특히 이후:

• Randomized Block Design
• Two-Way ANOVA

에서는 LSMean의 의미가 더 중요해집니다.

Raw Mean과 LSMean이 같다고 항상 생각하면 안 된다

예를 들어 Group Sample Size가 모두 같고 Model도 단순하면 둘이 같을 수 있습니다.

하지만:

• Unequal Group Size
• Multiple Factors
• Covariates

가 있으면 LSMean은 Model-adjusted Mean이 됩니다.

따라서 SAS Output에서 Label을 확인해야 합니다.

Pairwise Difference는 어떻게 해석할까?

예를 들어:

LSMean A = 20

LSMean B = 15

이라면:

A – B = 5

입니다.

다만 SAS가 Difference를:

A-B

로 계산하는지:

B-A

로 계산하는지 Table을 확인해야 합니다.

Sign은 Comparison Order에 따라 달라집니다.

Pairwise p-value는 Direction을 알려주지 않는다

예를 들어:

p=.01

이면 Difference Evidence는 강하지만 어느 Group이 더 높은지는 p-value만으로 알 수 없습니다.

다음 정보를 봐야 합니다.

• LSMean A
• LSMean B
• Difference Estimate

즉:

p-value

↓

Statistical Evidence

Difference

↓

Direction + Magnitude

입니다.

Confidence Interval도 함께 봐야 하는 이유

Pairwise Difference의 Confidence Interval은 다음 정보를 제공합니다.

• Difference Direction
• Effect Magnitude
• Precision
• Null Value 0 포함 여부

예를 들어:

A-B = 5

95% adjusted CI:

2 ~ 8

이면:

0을 포함하지 않습니다.

따라서 Statistical Significance와 연결됩니다.

또 실제 Population Difference가 어느 정도 Range인지도 볼 수 있습니다.

다른 Example

A-B:

5

95% adjusted CI:

-4 ~ 14

라면 0을 포함합니다.

따라서 Significant하지 않을 수 있습니다.

하지만:

-4에서 +14

까지 상당히 넓기 때문에:

“A와 B가 같다.”

고 단정하는 것보다:

현재 Data에서 Difference Estimate의 Uncertainty가 크다.

라고 보는 것이 더 정확할 수 있습니다.

Post Hoc p>.05는 Equality 증명이 아니다

매우 중요한 원칙입니다.

Pairwise Test의 H₀는 일반적으로:

μA – μB = 0

입니다.

p>.05라면:

H₀를 Reject할 Evidence가 부족합니다.

하지만:

μA=μB가 증명되었다.

는 뜻이 아닙니다.

정말 Equivalent함을 입증하려면 별도의 Equivalence Testing Framework가 필요할 수 있습니다.

Diffogram이란 무엇인가?

첨부 교재는 Post Hoc Test의 Graphical Tool로 Diffogram을 소개합니다.

Diffogram은 Pairwise Mean Differences와 Confidence Intervals를 시각적으로 보여주는 Graph입니다.

Group이 많아 Pairwise Comparison Table이 복잡해질 때 유용합니다.

Diffogram에서는 무엇을 확인할까?

기본적으로:

Pairwise Difference Confidence Interval

이:

Equality Reference

와 교차하는지 확인합니다.

Equality의 기준은 Mean Difference:

0

입니다.

따라서 CI가 0을 포함하면 해당 Pair Difference를 Statistical하게 Confirm하기 어렵습니다.

Diffogram에서 Reference Line의 의미

Difference=0은:

두 Population Mean이 같다는 Null Value입니다.

따라서 Pairwise CI가 Equality Line과 교차하면:

0 포함

↓

Not Significant

방향입니다.

교차하지 않으면:

0 미포함

↓

Significant

방향입니다.

왜 Graph를 보면 좋은가?

예를 들어 Group이 6개라면:

15개의 Pairwise Comparisons

이 있습니다.

Table만 보면 어떤 Pair가 Significant한지 빠르게 파악하기 어렵습니다.

Diffogram은 Pairwise Difference Pattern을 시각적으로 확인하는 데 도움을 줍니다.

하지만 정확한 Estimate와 p-value는 Table도 함께 확인해야 합니다.

Control Plot은 무엇인가?

교재는 Dunnett Comparison 결과를 해석하기 위한 Graphical Tool로 Control Plot도 다룹니다.

Control Group을 기준으로 다른 Group들이 Statistical하게 다른지를 시각적으로 평가하는 데 사용됩니다.

즉:

Diffogram

모든 Pair Comparison

Control Plot

Control vs Treatments

구조와 자연스럽게 연결됩니다.

Diffogram과 Control Plot의 역할 차이

다음처럼 정리할 수 있습니다.

Tukey

↓

All Pairwise Comparisons

↓

Diffogram

반면:

Dunnett

↓

Comparisons to Control

↓

Control Plot

입니다.

교재가 두 Graph를 Post Hoc Section의 주요 Interpretation Objective로 포함한 이유입니다.

Post Hoc Test에서 Group 수가 중요하다

Group이 세 개면:

3 Comparisons

입니다.

네 개면:

6 Comparisons

다섯 개면:

10 Comparisons

입니다.

즉 Group 수가 늘어나면서 Multiple Comparison Adjustment의 필요성이 더 명확해집니다.

Group이 두 개라면 Post Hoc Test가 필요할까?

일반적으로 두 Group만 있다면 Comparison은 하나뿐입니다.

따라서 ANOVA 이후 “어느 Pair가 다른가?”라는 추가 질문 자체가 없습니다.

Two-Sample t-Test나 Two-Group ANOVA Result가 바로 해당 Pair Comparison입니다.

즉 Post Hoc Test의 핵심 필요성은 여러 Group Levels이 있을 때 나타납니다.

ANOVA가 Significant하지 않아도 Post Hoc을 해도 될까?

첨부 교재의 교육 흐름은 명확합니다.

ANOVA에서 Significant Effect 발견

↓

Post Hoc Pairwise Comparisons 수행

입니다.

실제 Research에서는 사전에 정의된 Planned Comparison이나 Analysis Strategy에 따라 다를 수 있습니다.

따라서:

“Overall ANOVA가 p>.05이면 어떤 Pairwise Analysis도 절대 하면 안 된다.”

라는 Universal Rule로 확대하면 안 됩니다.

하지만 Result를 본 뒤 Significant Pair를 찾기 위해 무계획적으로 많은 Comparisons를 수행하는 것은 주의해야 합니다.

Planned Comparison과 Post Hoc Comparison의 차이

예를 들어 Study를 설계할 때부터:

Drug A vs Placebo

가 Primary Comparison이라고 정해져 있었다고 가정하겠습니다.

이는 Data를 보고 선택한 Comparison이 아닙니다.

반면 Overall ANOVA 이후:

Mean Plot을 보니까 Group 2와 4가 가장 달라 보이니 이것만 Test하자.

라고 선택하면 Post Hoc 성격이 강합니다.

두 Analysis의 Statistical Context는 다릅니다.

왜 사전 정의가 중요한가?

Data를 보고 가장 큰 Difference를 선택하면 Random Variation까지 Selection 과정에 포함될 수 있기 때문입니다.

즉:

Data를 봄

↓

가장 Extreme한 Pair 선택

↓

Test

는 단순히 하나의 Pre-Planned Test를 한 것과 Error Structure가 다릅니다.

따라서 Confirmatory Analysis에서는 사전에 Comparison Strategy를 정의하는 것이 중요합니다.

Post Hoc은 “Significant Pair 찾기 게임”이 아니다

목적은 p<.05인 Pair를 최대한 많이 찾는 것이 아닙니다.

실제 목적은:

Overall Group Effect의 구조를 이해하는 것

입니다.

즉:

• 어떤 Group이 다르고
• Difference Direction은 무엇이며
• Difference Magnitude는 얼마이고
• 얼마나 Precise한가

를 이해해야 합니다.

Pairwise Significant Count를 Effect Size로 쓰면 안 된다

예를 들어 10개 Pair 중 8개가 Significant하다고 해서 Effect가 80% 크다는 의미가 아닙니다.

Significant Pair 수는 다음의 영향을 받습니다.

• Group 수
• Sample Size
• Variability
• Adjustment Method

따라서 Effect Magnitude는 별도의 Difference Estimate로 평가해야 합니다.

p-value가 가장 작은 Pair가 가장 큰 Effect일까?

반드시 그렇지 않습니다.

예를 들어:

Pair A-B

Difference = 2

SE가 매우 작음

↓

p=.001

Pair A-C

Difference = 10

SE가 큼

↓

p=.03

일 수 있습니다.

p-value는 A-B가 작지만 Effect Magnitude는 A-C가 더 큽니다.

따라서 Pairwise Results에서도:

Estimate + CI + p-value

를 함께 봐야 합니다.

Practical Significance도 반드시 확인해야 한다

예를 들어 Tukey Result에서:

A-B Difference = 0.1

p=.001

이라고 하겠습니다.

Statistically Significant합니다.

하지만 0.1 Unit Difference가 실제로 아무 의미가 없을 수 있습니다.

따라서 Post Hoc Test에서도:

Statistical Difference

과:

Practical Difference

를 구분해야 합니다.

반대로 Non-Significant Pair도 중요한 Difference 가능성을 포함할 수 있다

예:

A-B Difference = 8

95% CI:

-5 ~ 21

p>.05

입니다.

8이라는 Point Estimate는 Practical하게 중요할 수 있습니다.

하지만 CI가 넓어 현재 Data에서 확실하게 판단하기 어렵습니다.

따라서:

“A와 B에 차이가 없다.”

가 아니라:

“현재 Data에서는 Difference Estimate의 Uncertainty가 크다.”

고 보는 것이 더 적절할 수 있습니다.

Multiple Comparison Adjustment와 Power의 관계

Error Control을 강화하면 False Positive는 줄일 수 있습니다.

하지만 동시에 실제 Difference를 Detect하기 어려워질 수도 있습니다.

즉 Adjustment에는:

Type I Error Control

vs.

Power

의 Trade-off가 존재합니다.

따라서 모든 상황에서 가장 강한 Adjustment를 선택하는 것이 항상 최선인 것은 아닙니다.

Research Question에 맞는 Family를 정해야 하는 이유

필요하지 않은 Comparisons까지 Family에 포함하면 Test가 불필요하게 Conservative해질 수 있습니다.

예를 들어 실제 Question이:

Treatment 각각이 Control보다 다른가?

인데 Treatment끼리의 Comparisons까지 모두 포함할 이유가 없을 수 있습니다.

이런 경우 Dunnett 같은 Control-focused Method가 적절할 수 있습니다.

Tukey와 Dunnett을 결과가 유리한 쪽으로 선택하면 안 된다

예를 들어:

Tukey p=.07

Dunnett p=.04

가 나왔다고 해서 Significant한 Dunnett Result를 선택하면 안 됩니다.

먼저 Research Question이:

All Pairs

인지:

Control Comparisons

인지 정의되어 있어야 합니다.

Method는 Result가 아니라 Question에 따라 결정해야 합니다.

SAS Enterprise Guide에서 Post Hoc Test를 실행하는 구조

첨부 교재의 Demonstration은 기존 Linear Models Task를 다시 열어 Post Hoc Options를 추가합니다.

개념적으로는 다음 흐름입니다.

기존 ANOVA Model

↓

Post Hoc Tests

↓

Least Squares Means 추가

↓

Factor 선택

↓

Comparison Type 선택

↓

Adjustment Method 선택

↓

Run

입니다.

Tukey 설정 흐름

교재에서는 Fertilizer Effect에 대해:

Display p-values for differences

↓

All pairwise differences

그리고:

Adjustment Method

↓

Tukey

를 사용합니다.

Tukey가 All Pairwise Differences를 선택했을 때 Default Method라는 점도 설명합니다.

Dunnett 설정 흐름

Fertilizer Effect를 다시 추가한 뒤:

Comparison

↓

Control using first level

로 설정하면 Default Adjustment가:

Dunnett

입니다.

하지만 실제 Control이 Level 4였기 때문에 별도로 수정합니다.

Unadjusted 설정 흐름

세 번째 Effect에서는:

All pairwise differences

Unadjusted

를 선택합니다.

교재는 이 Method가 Experimentwise Error Rate를 Control하지 않는다고 설명합니다.

따라서 같은 Data에서 Tukey와 Unadjusted Results를 비교할 수 있습니다.

Generated Code를 확인해야 하는 이유가 다시 등장한다

교재에서는 Default Control Group을 실제 Control Level 4로 변경하기 위해 Code Preview를 열고 Generated Code를 수정합니다.

이는 앞서 작성했던:

자동 생성 SAS Code를 확인해야 하는 이유

와 직접 연결됩니다.

GUI만으로 모든 연구 설계를 완벽하게 표현할 수 없는 경우 Generated Code를 확인해야 할 수 있습니다.

GUI에서 Default가 있다는 사실을 잊으면 안 된다

다음 항목들은 Software Default를 가질 수 있습니다.

• Comparison Type
• Adjustment Method
• Control Level

하지만 Default는 Convenience를 위한 설정일 뿐입니다.

Statistical Correctness는 Analyst가 확인해야 합니다.

Post Hoc Output을 읽는 추천 순서

다음 순서가 좋습니다.

1. Overall ANOVA Result 확인

Group Effect Evidence가 있는가?

2. Research Question 확인

모든 Pair가 필요한가?

Control Comparisons인가?

3. Post Hoc Method 확인

Tukey?

Dunnett?

Unadjusted?

4. Control Group 확인

실제 연구 Control과 일치하는가?

5. LSMeans 확인

각 Group의 Adjusted Mean은?

6. Difference Estimate 확인

어느 방향으로 얼마나 다른가?

7. Adjusted p-value 확인

Multiple Comparison을 고려한 Evidence는?

8. Confidence Interval 확인

Difference Precision은?

9. Visualization 확인

Diffogram / Control Plot

10. Practical Meaning 확인

실제 중요한 Difference인가?

입니다.

Overall ANOVA를 생략하고 Pairwise p-value만 보면 무엇을 놓칠까?

Factor 전체에 대한 Statistical Structure를 잃습니다.

예를 들어 5개 Group에서 10개의 p-value만 보면 전체 Group Effect를 하나의 Model로 이해하기 어렵습니다.

ANOVA는:

이 Factor 전체가 Response Mean과 관계가 있는가?

라는 Global Question을 제공합니다.

Post Hoc은 그 이후 세부 Pattern을 제공합니다.

Post Hoc만 보고 Factor Effect를 설명하면 안 되는 이유

예를 들어 한 Pair만 Significant하다고 하겠습니다.

그것이 Factor 전체의 Effect Structure를 완전히 설명하는 것은 아닐 수 있습니다.

따라서 Report에서는:

Overall ANOVA

와:

Post Hoc Result

를 구분해서 제시하는 것이 좋습니다.

좋은 Reporting 구조

예를 들어:

Overall ANOVA에서 Fertilizer Effect가 유의했으며, Tukey-adjusted pairwise comparisons에서는 Fertilizer 1과 Fertilizer 4 사이에서만 유의한 차이가 확인되었다.

와 같이 작성할 수 있습니다.

이 구조는:

1. Global Result
2. Specific Pairwise Result

를 명확하게 분리합니다.

더 좋은 Reporting에는 Effect Magnitude가 들어간다

가능하다면 다음도 추가합니다.

• 각 LSMean
• Pairwise Difference
• Confidence Interval
• Adjusted p-value

즉:

A가 B보다 유의하게 높았다.

보다:

A-B의 Adjusted Mean Difference는 X였고 95% CI는 Y~Z, Tukey-adjusted p-value는 P였다.

가 더 많은 정보를 제공합니다.

p-value만 Report하면 무엇을 놓칠까?

다음 정보를 잃습니다.

• Difference Magnitude
• Direction
• Precision

따라서 Post Hoc Test도 p-value Hunting으로 끝내면 안 됩니다.

Post Hoc Test의 전체 구조

전체 흐름을 하나로 연결하면 다음과 같습니다.

Multiple Groups

↓

Group별 Descriptive Statistics

↓

Overall ANOVA

↓

H₀:

μ₁ = μ₂ = … = μk

↓

F Statistic

↓

Overall p-value

↓

Significant Effect 확인

↓

어느 Group이 다른가?

↓

Pairwise Comparison 필요

↓

Research Question 정의

모든 Pair

↓

Tukey

Control과 비교

↓

Dunnett

↓

Multiple Comparison Adjustment

↓

LSMean / Mean Difference

↓

Adjusted Confidence Interval

↓

Adjusted p-value

↓

Diffogram / Control Plot

↓

Statistical + Practical Interpretation

입니다.

흔한 오해 정리

“ANOVA가 Significant하면 모든 Pair가 다르다”

아닙니다.

Post Hoc Comparison을 확인해야 합니다.

“Post Hoc Test는 ANOVA와 같은 Test를 한 번 더 하는 것이다”

아닙니다.

Overall Hypothesis와 Pairwise Hypothesis가 다릅니다.

“여러 Pair를 각각 t-Test하면 Post Hoc과 같다”

Adjustment가 없다면 Multiple Comparison Error Structure가 다를 수 있습니다.

“Tukey는 모든 Group을 Control과 비교하는 Method다”

아닙니다.

모든 Pairwise Comparisons에 사용하는 Method입니다.

“Dunnett은 모든 Pair를 비교한다”

아닙니다.

하나의 Control Group과 다른 Group을 비교하는 Method입니다.

“Tukey와 Dunnett 중 p-value가 작은 것을 선택하면 된다”

아닙니다.

Research Question과 Comparison Family에 따라 Method를 선택해야 합니다.

“Adjusted p-value는 Software가 Result를 불리하게 만든 값이다”

아닙니다.

Multiple Testing에 따른 Error Rate를 반영한 값입니다.

“Unadjusted p-value가 가장 진짜 p-value다”

그렇지 않습니다.

여러 Comparison Family를 평가한다면 Adjustment가 Statistical Question에 더 적합할 수 있습니다.

“Post Hoc p>.05이면 두 Population Means가 같다”

아닙니다.

Difference=0을 Reject할 Evidence가 충분하지 않다는 의미입니다.

“Post Hoc p<.05이면 Difference가 Practical하게 크다”

아닙니다.

Effect Magnitude를 별도로 확인해야 합니다.

“가장 작은 p-value Pair가 가장 큰 Effect다”

아닙니다.

Sample Size와 Standard Error가 영향을 줍니다.

“Control은 SAS가 자동으로 올바르게 선택한다”

아닙니다.

교재 Example에서도 Default First Level 대신 실제 Chemical Fertilizer인 Level 4를 Control로 변경합니다.

“Software Default Method를 그대로 쓰면 항상 적절하다”

아닙니다.

Comparison Purpose를 먼저 정의해야 합니다.

“LSMean은 항상 Raw Mean과 같다”

아닙니다.

Model과 Design에 따라 Adjusted Mean이 될 수 있습니다.

“Diffogram에서 Mean 순위만 확인하면 된다”

아닙니다.

Pairwise Difference Confidence Interval과 Equality Reference의 관계를 확인하는 Graph입니다.

Post Hoc Test를 사용할 때 가장 중요한 세 가지 질문

첫 번째:

전체 ANOVA에서 어떤 Factor Effect를 평가했는가?

두 번째:

어떤 Comparison이 실제 Research Question인가?

세 번째:

그 Comparison Set에 적절한 Error Control Method는 무엇인가?

입니다.

이 세 질문이 명확하면 Tukey와 Dunnett 선택도 자연스럽게 연결됩니다.

Post Hoc Test는 Multiple Comparison 문제의 해결 도구다

하지만 모든 문제를 자동으로 해결해주는 것은 아닙니다.

다음은 여전히 Analyst가 확인해야 합니다.

• Study Design
• Model Assumption
• Group Definition
• Control Definition
• Missing Data
• Outlier
• Practical Significance

즉 Post Hoc Adjustment는 Data Quality나 Study Validity를 대신하지 않습니다.

Post Hoc Result도 Study Design을 벗어나 해석하면 안 된다

예를 들어 Observational Study에서 A와 B Group Mean Difference가 Tukey-adjusted p<.01이라고 해도:

A가 B Difference의 Cause

라고 자동으로 말할 수는 없습니다.

Confounding이 존재할 수 있기 때문입니다.

Post Hoc Test는 Statistical Mean Difference를 평가하지 Causality를 자동으로 확립하지 않습니다.

Randomized Experiment에서는 해석이 달라질 수 있다

적절하게 Randomized된 Treatment Groups라면 Treatment Pair Difference에 대한 Causal Interpretation이 더 강해질 수 있습니다.

하지만 Randomization Quality, Missing, Protocol Adherence 등을 함께 고려해야 합니다.

즉 Statistical Significance는 Study Design과 함께 해석합니다.

다음 주제와 연결되는 부분

Post Hoc Test를 이해하면 다음 Randomized Block Design을 이해하기 쉬워집니다.

왜냐하면 Post Hoc Test는 Group Difference의 세부 위치를 찾는 문제이고, Randomized Block Design은 Treatment Difference를 더 정밀하게 Detect하기 위해 불필요한 Variation을 Model에서 분리하는 문제이기 때문입니다.

교재의 Fertilizer Example에서도 Blocking Factor인 Sector를 포함한 뒤 Fertilizer Effect를 확인하고 Tukey Post Hoc Comparison으로 구체적인 Fertilizer Pair Difference를 평가합니다.

즉:

Experimental Design

↓

Noise 감소

↓

ANOVA

↓

Overall Treatment Effect

↓

Post Hoc

↓

Specific Treatment Difference

라는 하나의 흐름으로 연결됩니다.

핵심 정리

Post Hoc Test는 ANOVA 이후 Multiple Group Difference를 구체적으로 해석하기 위한 핵심 단계입니다.

첨부 교재에서는 Post Hoc Section의 목적을:

ANOVA에서 Independent Variable의 Significant Effect를 발견한 뒤 Group 간 Pairwise Comparisons를 수행하는 것

으로 명시합니다.

ANOVA의 Overall Test는:

H₀

μ₁ = μ₂ = … = μk

를 평가합니다.

p<α이면:

적어도 하나의 Population Mean Difference가 있다는 Statistical Evidence가 있다.

고 판단할 수 있습니다.

하지만:

어느 Group이 다른가?

는 알 수 없습니다.

이 질문에 답하기 위해 Pairwise Comparison을 수행합니다.

문제는 Pairwise Tests가 많아지면 Type I Error가 증가할 수 있다는 점입니다.

첨부 교재에서는 α=.05의 개별 Comparison을 반복할 때 Experimentwise Error Rate가:

• 1 Comparison → .05
• 3 Comparisons → .14
• 6 Comparisons → .26
• 10 Comparisons → .40

으로 증가하는 Example을 제시합니다.

따라서 Multiple Comparison Adjustment가 중요합니다.

교재에서는 다음 구조를 제시합니다.

Pairwise t-tests

↓

Comparisonwise Error Rate Control

Tukey

↓

All Pairwise Comparisons

↓

Experimentwise Error Rate Control

Dunnett

↓

Comparison to a Control

↓

Experimentwise Error Rate Control

즉 Method 선택의 핵심은:

어떤 Comparison이 Research Question인가?

입니다.

모든 Pair가 관심이라면 Tukey가 적절할 수 있고, 하나의 Natural Control과 나머지를 비교하는 것이 목적이라면 Dunnett이 적절할 수 있습니다.

첨부 교재의 SAS Enterprise Guide Demonstration에서도 Fertilizer에 대해:

• Tukey-adjusted All Pairwise Differences
• Dunnett Control Comparison
• Unadjusted All Pairwise Differences

를 각각 설정해 비교합니다. Unadjusted Option은 Experimentwise Error Rate를 Control하지 않는다고 명시합니다.

또 Software Default를 그대로 신뢰해서는 안 됩니다.

교재에서는 Dunnett의 Default Control이 Classification Variable의 First Level이지만 실제 연구상 Control은 Chemical Fertilizer인 Level 4였기 때문에 Generated Code를 수정하여 Control을 변경합니다.

이 Example은 Post Hoc Analysis의 중요한 실무 원칙을 보여줍니다.

SAS가 계산을 정상적으로 수행하는 것

과:

Research Question에 맞는 Comparison을 수행하는 것

은 같은 문제가 아닙니다.

Post Hoc Result는 다음 순서로 읽는 것이 좋습니다.

Overall ANOVA 확인

↓

Comparison 목적 정의

↓

Tukey / Dunnett 등 Method 확인

↓

Control Group 확인

↓

LSMean 확인

↓

Pairwise Difference 확인

↓

Adjusted Confidence Interval 확인

↓

Adjusted p-value 확인

↓

Diffogram / Control Plot 확인

↓

Practical Significance 평가

Post Hoc Test의 역할은 ANOVA에서 “전체적으로 차이가 있다”는 결과를 얻은 뒤, Multiple Comparison에 따른 제1종 오류를 고려하면서 “정확히 어느 Group 사이에서 차이가 발생하는가?”를 구체적으로 확인하는 것입니다.

따라서 Post Hoc Analysis의 목적은 Significant p-value를 많이 찾는 것이 아니라 Overall ANOVA에서 발견한 Group Effect의 실제 구조를 정확하게 해석하는 것입니다.

함께 읽으면 좋은 글

• Randomized Block Design의 원리: 불필요한 변동을 통제해 처리 효과를 구분하는 방식
• ANOVA의 p-value가 알려주지 않는 것: 어떤 집단이 다른지는 바로 알 수 없는 이유
• ANOVA가 여러 번의 t-Test보다 적절한 이유: 다중 비교와 제1종 오류의 관계
• One-Way ANOVA의 구조: 하나의 범주형 변수가 연속형 결과에 미치는 영향 분석
• Two-Way ANOVA의 구조: 두 개의 Factor를 동시에 분석하는 방법

참고한 자료

• SAS Enterprise Guide: ANOVA, Regression, and Logistic Regression Course Notes
• Chapter 3 Analysis of Variance
• ANOVA Post Hoc Tests
• Multiple Comparison Methods
• Comparisonwise Error Rate
• Experimentwise Error Rate
• Tukey’s Multiple Comparison Method
• Dunnett Comparison to a Control
• Post Hoc Pairwise Comparisons
• Least Squares Means
• Diffogram
• Control Plot