ANOVA 결과에서 가장 먼저 보는 숫자는 보통 p-value입니다.

예를 들어 SAS Output에서 다음과 같은 결과가 나왔다고 가정해보겠습니다.

F = 8.25

Pr > F = 0.0004

α=.05라면:

p < .05

이므로 Null Hypothesis를 Reject합니다.

여기까지는 어렵지 않습니다.

하지만 여기서 매우 흔한 해석 오류가 시작됩니다.

“ANOVA가 Significant하니까 모든 Group이 서로 다르다.”

이렇게 결론내리면 안 됩니다.

ANOVA의 Overall p-value가 알려주는 것은 모든 Population Means가 동일하다는 Null Hypothesis를 Reject할 Evidence가 있는지입니다.

어느 Group과 어느 Group이 실제로 다른지는 알려주지 않습니다.

ANOVA의 p-value는 “적어도 하나의 Population Mean이 다르다”는 Overall Evidence를 제공하지만, 그 Difference가 어느 Group Pair에서 발생하는지는 직접 알려주지 않습니다.

이 때문에 Significant ANOVA 이후에는 연구 질문에 따라 Post Hoc Test 또는 Planned Comparison이 필요할 수 있습니다.

첨부 교재에서도 ANOVA에서 Significant Effect를 발견한 뒤 Group 간 Individual Difference를 확인하기 위해 Pairwise Post Hoc Comparison을 수행하도록 구성하고 있습니다.

ANOVA의 Null Hypothesis부터 다시 확인해보자

세 Group이 있다고 가정하겠습니다.

A

B

C

Population Means를:

μA

μB

μC

라고 하면 One-Way ANOVA의 Null Hypothesis는:

H₀: μA = μB = μC

입니다.

즉 모든 Population Means가 동일하다는 가정입니다.

Alternative Hypothesis는:

모든 Population Means가 동일한 것은 아니다.

입니다.

이를 더 쉽게 표현하면:

적어도 하나의 Population Mean이 다르다.

입니다.

Alternative Hypothesis를 잘못 쓰기 쉬운 이유

다음처럼 생각하기 쉽습니다.

H₁: μA ≠ μB ≠ μC

하지만 이 표현은 모든 Group Mean이 서로 다르다는 의미처럼 해석될 수 있습니다.

ANOVA의 Alternative는 그런 의미가 아닙니다.

예를 들어:

μA = 10

μB = 10

μC = 30

이어도:

H₀: μA=μB=μC

는 False입니다.

즉 ANOVA는 Significant할 수 있습니다.

하지만 A와 B는 전혀 다르지 않습니다.

Significant ANOVA가 모든 Pairwise Difference를 의미하지 않는 Example

세 Group Mean이 다음과 같다고 가정해보겠습니다.

Group A

Mean = 100

Group B

Mean = 101

Group C

Mean = 150

전체 ANOVA에서는 C Group 때문에 매우 큰 Between-Group Variation이 발생할 수 있습니다.

따라서:

p < .001

이 나올 수 있습니다.

하지만 실제 Pairwise Comparison은 다음처럼 될 수 있습니다.

A vs B

Difference = 1

↓

Not Significant

A vs C

Difference = 50

↓

Significant

B vs C

Difference = 49

↓

Significant

즉 Overall ANOVA가 Significant해도 모든 Group Pair가 Significant한 것은 아닙니다.

그렇다면 ANOVA p-value가 정확히 알려주는 것은 무엇일까?

다음 질문에 답합니다.

“모든 Population Means가 동일하다고 가정했을 때 현재 관찰된 Between-Group Variation이 Within-Group Variation에 비해 너무 큰가?”

즉:

H₀

모든 Means 동일

↓

F Statistic

↓

p-value

↓

H₀ Reject 여부

입니다.

p-value가 작으면:

모든 Means가 동일하다는 가정과 Data가 충분히 충돌한다.

고 해석합니다.

ANOVA p-value는 Group 위치 정보를 잃는다

ANOVA의 F Statistic은:

Between-Group Variance

÷

Within-Group Variance

입니다.

이 Ratio는 Group Means가 전체적으로 얼마나 퍼져 있는지는 반영하지만 어느 Group이 어느 방향으로 다른지는 직접 나타내지 않습니다.

예를 들어 다음 두 상황을 생각해보겠습니다.

Pattern 1

A = 10

B = 10

C = 30

Pattern 2

A = 10

B = 20

C = 30

두 Pattern 모두 Between-Group Variation이 클 수 있습니다.

하지만 Pairwise Difference Structure는 전혀 다릅니다.

즉 Overall F와 p-value만으로 Pairwise Pattern을 재구성할 수 없습니다.

F Statistic에는 Direction이 없다

t Statistic과 비교하면 더 이해하기 쉽습니다.

Two-Sample t-Test에서는:

t = -3

이면 Group Ordering에 따라 Difference Direction을 볼 수 있습니다.

하지만 ANOVA의 F Statistic은 Variance Ratio이므로:

F ≥ 0

입니다.

F=10이라고 해서:

Group A가 B보다 높은지

B가 C보다 높은지

알 수 없습니다.

따라서 ANOVA에서는 Group Mean Table이나 Plot을 반드시 함께 확인해야 합니다.

“p<.05니까 가장 높은 Mean이 나머지보다 모두 다르다”도 틀릴 수 있다

예를 들어 Group Means가:

A = 100

B = 105

C = 110

라고 하겠습니다.

Overall ANOVA는 Significant할 수 있습니다.

하지만 Pairwise Comparison에서는:

A vs B

↓

Not Significant

B vs C

↓

Not Significant

A vs C

↓

Significant

할 수도 있습니다.

즉 가장 높은 Group이 바로 옆 Group과 반드시 Significant하게 다른 것은 아닙니다.

Group Mean Difference뿐 아니라 Precision도 중요하다

Pairwise Significance는 단순 Mean Difference만으로 결정되지 않습니다.

다음이 영향을 줍니다.

• Group Sample Size
• Within-Group Variability
• Multiple Comparison Adjustment
• Model Structure

따라서 두 Group Means가 숫자상 많이 차이나 보이더라도 Statistical Significance가 없을 수 있습니다.

반대로 Difference가 작아 보여도 Large Sample에서는 Significant할 수 있습니다.

ANOVA Overall Test와 Pairwise Test는 Hypothesis가 다르다

이를 명확히 구분해야 합니다.

Overall ANOVA

H₀:

μA = μB = μC

A vs B Pairwise Comparison

H₀:

μA – μB = 0

A vs C Pairwise Comparison

H₀:

μA – μC = 0

B vs C Pairwise Comparison

H₀:

μB – μC = 0

즉 Overall p-value 하나와 Pairwise p-value들은 서로 다른 Null Hypothesis를 검정합니다.

왜 Overall ANOVA 하나로 Pairwise 결론을 내릴 수 없는가?

Overall ANOVA는 모든 Means Equality라는 하나의 Global Hypothesis를 검정합니다.

그 Global Hypothesis를 Reject했다는 사실은:

적어도 하나의 Equality Constraint가 깨졌다.

는 뜻입니다.

하지만 어떤 Constraint가 깨졌는지는 별도 분석이 필요합니다.

즉:

Global Test

↓

Difference 존재 여부

그리고:

Pairwise Test

↓

Difference 위치

입니다.

Global Test와 Local Test의 차이라고 생각할 수도 있다

직관적으로:

Global Question

“이 Group Set 전체에서 Mean Difference가 존재하는가?”

↓

ANOVA

Local Question

“정확히 어느 두 Group이 다른가?”

↓

Pairwise Comparison

입니다.

두 질문은 연결되어 있지만 동일하지 않습니다.

Significant ANOVA 이후에는 무엇을 해야 할까?

연구 목적에 따라 다음 중 하나가 필요할 수 있습니다.

• Tukey Pairwise Comparison
• Dunnett Comparison
• Planned Contrast
• Pre-Specified Comparison

첨부 교재에서는 Post Hoc Section에서 대표적으로:

All Pairwise Comparisons

↓

Tukey

Natural Control Group과 비교

↓

Dunnett

을 제시합니다.

왜 그냥 t-Test를 다시 하면 안 될까?

Multiple Comparison 문제 때문입니다.

Group이 여러 개이면 Pairwise Comparison도 여러 개 발생합니다.

각 Pair마다 α=.05 t-Test를 반복하면 전체 Family에서 적어도 하나의 False Positive가 발생할 Probability가 증가할 수 있습니다.

그래서 Tukey나 Dunnett 같은 Method가 필요합니다.

첨부 교재도 Pairwise t-Test는 Comparisonwise Error를 Control하고, Tukey와 Dunnett은 Experimentwise Error를 관리하는 Method로 구분합니다.

ANOVA Significant → 아무 Pair나 t-Test

이 흐름은 조심해야 합니다.

예를 들어 네 Group이면:

A-B

A-C

A-D

B-C

B-D

C-D

총 6개의 Pair가 있습니다.

각각 Unadjusted t-Test를 수행하면 Multiple Testing Error가 발생할 수 있습니다.

따라서 Pairwise Analysis 단계에서는 전체 Comparison Family를 고려해야 합니다.

Tukey Method는 무엇을 알려줄까?

Tukey Method는 모든 가능한 Group Pair를 비교하고 Multiple Comparison을 Adjust합니다.

첨부 교재에서는 Tukey Method가 모든 Pairwise Comparisons를 고려할 때 Experimentwise Type I Error Rate를 설정된 α와 동일하게 관리하도록 설명합니다.

즉:

A-B

A-C

A-D

B-C

B-D

C-D

모두 관심 대상이라면 Tukey가 자연스러운 선택입니다.

Dunnett Method는 무엇을 알려줄까?

모든 Pair가 아니라 Control Group과 각 Treatment Group의 Difference만 관심 있는 경우 사용합니다.

예를 들어:

Placebo vs Dose 1

Placebo vs Dose 2

Placebo vs Dose 3

만 필요하다면:

Dose 1 vs Dose 2

Dose 1 vs Dose 3

등은 불필요할 수 있습니다.

첨부 교재에서는 Placebo 같은 Natural Reference가 있는 경우 Control Comparison을 사용하며 Experimentwise Error Rate가 stated α보다 크지 않도록 관리한다고 설명합니다.

Research Question이 Pairwise Method를 결정한다

따라서 분석 전에 다음 질문을 해야 합니다.

모든 Group Pair를 서로 비교해야 하는가?

Yes

↓

Tukey

또는:

하나의 Control과 나머지만 비교해야 하는가?

Yes

↓

Dunnett

입니다.

즉 Post Hoc Method를 Software Option처럼 기계적으로 고르면 안 됩니다.

교재의 실제 Fertilizer Pairwise Example

첨부 교재에서는 Fertilizer Group의 Least Squares Means를 다음과 같이 제시합니다.

Fertilizer 1

LSMean = 0.23625000

Fertilizer 2

LSMean = 0.21115125

Fertilizer 3

LSMean = 0.22330125

Fertilizer 4

LSMean = 0.20288875

그리고 Tukey Pairwise Comparison p-values를 제공합니다.

Fertilizer Pairwise Result를 보면

교재의 Tukey-adjusted Comparison은 다음과 같습니다.

Fertilizer 1 vs 2

p = 0.0840

Fertilizer 1 vs 3

p = 0.5699

Fertilizer 1 vs 4

p = 0.0144

Fertilizer 2 vs 3

p = 0.6186

Fertilizer 2 vs 4

p = 0.8383

Fertilizer 3 vs 4

p = 0.1995

α=.05 기준에서 Significant한 Pair는:

Fertilizer 1 vs Fertilizer 4

뿐입니다.

첨부 교재도 유일하게 Significant한 Pairwise Difference는 Fertilizer 1과 Fertilizer 4이며 p=0.0144라고 명시합니다.

이 Example이 보여주는 핵심

Group이 네 개 있다고 해서 모든 Pair가 다른 것은 아닙니다.

실제로:

6개의 Pair

중:

1개의 Pair

만 Significant합니다.

따라서 Overall Model에서 Group Effect가 확인되었다고 해도:

“모든 Fertilizer가 서로 다르다.”

라고 말하면 잘못된 결론입니다.

Group Mean 순서만으로 Pairwise Significance를 알 수 있을까?

아닙니다.

Mean 순서는:

Fertilizer 1

Fertilizer 3

Fertilizer 2

Fertilizer 4

처럼 보일 수 있습니다.

하지만 Mean Difference의 Statistical Significance는 단순 순위와 다릅니다.

예를 들어 1 vs 3은:

p=.5699

로 Significant하지 않습니다.

따라서:

Mean Ranking

≠

Statistically Significant Ranking

입니다.

가장 높은 Mean과 가장 낮은 Mean은 유의할 가능성이 높을까?

Difference가 가장 크기 때문에 가능성은 있을 수 있습니다.

하지만 Sample Size와 Variability, Adjustment에 따라 달라집니다.

따라서 단순히 최고/최저 Mean Pair를 보고 Significant하다고 단정하면 안 됩니다.

실제 Adjusted Pairwise Result를 확인해야 합니다.

Pairwise Table의 대칭 구조

첨부 교재의 Tukey p-value Matrix를 보면:

1 vs 2

와:

2 vs 1

의 p-value가 같습니다.

왜냐하면 동일한 두 Means를 비교하기 때문입니다.

교재도 row 2/column 4와 row 4/column 2처럼 같은 Pair가 Convenience를 위해 양쪽에 표시된다고 설명합니다.

자기 자신과의 Comparison이 Blank인 이유

예:

1 vs 1

2 vs 2

입니다.

같은 Mean을 자기 자신과 비교하는 것은 의미가 없습니다.

Difference는 항상 0이기 때문입니다.

따라서 SAS Pairwise Matrix에서는 Diagonal Cell이 Blank로 표시될 수 있습니다.

첨부 교재도 이 점을 설명합니다.

LSMean은 무엇일까?

첨부 교재의 Pairwise Example에서는 일반 Mean이 아니라 Least Squares Mean, LSMean이 표시됩니다.

LSMean은 Statistical Model을 기반으로 Adjusted Mean을 계산하는 개념입니다.

Balanced One-Way Design에서는 Arithmetic Mean과 같거나 매우 비슷할 수 있지만, 복잡한 Model이나 Unbalanced Design에서는 차이가 날 수 있습니다.

따라서 Output Label을 확인해야 합니다.

단순 Mean과 LSMean을 혼동하면 안 되는 이유

Model에 Covariate나 여러 Factor가 들어가면 LSMean은 다른 Model Effect를 Adjust한 Mean이 될 수 있습니다.

따라서:

Raw Mean

과:

Adjusted LSMean

은 같은 개념이 아닐 수 있습니다.

One-Way Balanced Example에서는 차이가 작을 수 있지만 이후 Two-Way ANOVA에서는 중요해집니다.

ANOVA p-value는 Effect Direction도 알려주지 않는다

예를 들어 ANOVA p=.001이라고 해도:

Group A가 가장 높은지

Group B가 가장 낮은지

알 수 없습니다.

그 정보를 확인하려면:

• Group Mean Table
• LSMean Table
• Mean Plot

을 봐야 합니다.

즉 Overall p-value에는 Direction Information이 없습니다.

ANOVA p-value는 Effect Magnitude도 알려주지 않는다

p=.0001이라고 해서 Mean Difference가 매우 크다는 뜻은 아닙니다.

Large Sample에서는 작은 Mean Difference도 Significant할 수 있습니다.

따라서:

p-value

↓

Evidence Strength

이고:

Mean Difference

↓

Effect Magnitude

입니다.

두 정보를 분리해야 합니다.

p=.0001과 p=.04 중 어느 Effect가 더 클까?

p-value만으로는 알 수 없습니다.

예를 들어:

Study A

Maximum Mean Difference = 0.1

p=.0001

Study B

Maximum Mean Difference = 10

p=.04

일 수 있습니다.

Study A의 Sample Size가 매우 클 수도 있습니다.

따라서 p-value 크기를 Effect Size Ranking으로 사용해서는 안 됩니다.

ANOVA p-value는 Practical Significance도 알려주지 않는다

예를 들어:

Group Means:

100.0

100.1

100.2

인데:

p < .0001

이라고 하겠습니다.

Statistically Significant합니다.

하지만 Maximum Difference 0.2가 실제로 중요한지는 Domain Context에 따라 다릅니다.

즉:

Statistically Significant Group Effect

≠

Practically Important Group Effect

입니다.

ANOVA p-value는 Causality도 알려주지 않는다

Observational Data에서 Group Mean Difference가 Significant하다고 해서 Group Variable이 Response Difference의 Cause라는 뜻은 아닙니다.

예를 들어 Region별 Income Mean이 다르다고 해도:

• Education
• Age
• Occupation
• Cost of Living

등 Confounding이 있을 수 있습니다.

Causal Interpretation은 Study Design이 필요합니다.

Randomized Experiment라면?

Treatment가 적절하게 Randomized된 Experiment라면 Group Difference에 대한 Causal Interpretation은 더 강해질 수 있습니다.

하지만 ANOVA p-value 자체가 Randomization을 만들어주는 것은 아닙니다.

즉:

Design

Analysis

를 함께 해석해야 합니다.

ANOVA p-value는 Assumption이 만족되었다는 뜻도 아니다

F Test가 Significant하다고 해서:

• Residual Normality
• Equal Variance
• Independence

가 자동으로 만족한 것은 아닙니다.

Assumption은 별도로 확인해야 합니다.

따라서:

Model p-value

와:

Diagnostic Evidence

를 분리해서 봐야 합니다.

p-value가 작으면 Data Quality가 좋다는 뜻도 아니다

Data Entry Error나 Unit Error가 Group Difference를 만들어도 ANOVA는 매우 작은 p-value를 계산할 수 있습니다.

예를 들어:

Group A: kg

Group B: lb

를 변환 없이 비교하면 엄청난 Difference가 발생할 수 있습니다.

p-value는 매우 작겠지만 분석은 잘못되었습니다.

작은 ANOVA p-value는 Data Quality Certificate가 아닙니다.

Overall p-value가 Non-Significant하면 Pairwise Difference가 전혀 없을까?

그렇게 단정할 수 없습니다.

예를 들어:

p=.08

이라면 α=.05에서 Overall H₀를 Reject하지 않습니다.

하지만 이는:

모든 Population Means가 정확히 동일하다.

는 증명이 아닙니다.

Sample Size가 작거나 Variability가 클 수 있습니다.

Non-Significant Overall ANOVA에서 Mean Pattern은 여전히 중요하다

예:

A = 10

B = 11

C = 30

인데 각 Group n=3이고 SD가 매우 크다고 가정하겠습니다.

Overall p>.05일 수도 있습니다.

이 경우 C Mean은 커 보이지만 Precision이 부족합니다.

따라서:

• Group Means
• Confidence Intervals
• Sample Size

를 확인해야 합니다.

Overall ANOVA가 Non-Significant한데 Unadjusted Pairwise p<.05가 나올 수도 있을까?

Data 구조와 Method에 따라 이런 상황을 볼 수 있습니다.

하지만 이를 보고:

“Overall ANOVA는 실패했지만 Pairwise는 성공했으니 그 Pair만 보고하자.”

라고 단순하게 접근하면 Multiple Testing과 Analysis Strategy 문제가 생길 수 있습니다.

첨부 교재의 교육 흐름에서는 Overall Significant Effect 이후 Post Hoc Test를 수행하도록 구성합니다.

실제 연구에서는 Planned Comparison 여부와 Analysis Plan을 따라야 합니다.

Post Hoc이란 무엇인가?

일반적으로 Overall ANOVA에서 Difference Evidence를 확인한 뒤 어떤 Group Pair에서 Difference가 발생했는지 추가로 탐색하는 Comparison을 의미합니다.

즉:

ANOVA

↓

Global Difference

↓

Post Hoc

↓

Difference Location

입니다.

모든 Pairwise Comparison이 Post Hoc일까?

반드시 그렇지 않습니다.

분석 전에 특정 Pair가 연구상 중요하다고 정의되어 있다면 Planned Comparison 또는 Contrast일 수 있습니다.

예:

Dose 1 vs Placebo

가 Primary Comparison으로 사전에 정해져 있을 수 있습니다.

이 경우 Overall ANOVA 이후 탐색적으로 선택한 Comparison과 성격이 다릅니다.

왜 Planned와 Post Hoc을 구분할까?

Data를 본 뒤 관심 Pair를 선택하면 Selection Bias가 생길 수 있기 때문입니다.

예를 들어 Group Means를 본 뒤 가장 차이가 큰 Pair만 골라 Test하면 False Positive Risk를 제대로 평가하기 어려워집니다.

따라서 Confirmatory Research에서는 Comparison Strategy를 가능한 한 사전에 정의하는 것이 중요합니다.

“가장 차이가 큰 Pair만 Test하면 되지 않을까?”

그 Pair를 Data를 본 뒤 선택했다면 문제입니다.

왜냐하면 여러 가능한 Pair 가운데 가장 Extreme한 Difference를 선택했기 때문입니다.

Selection 과정 자체가 Multiple Comparison 성격을 가질 수 있습니다.

따라서 Post Hoc Adjustment가 필요합니다.

Tukey Adjustment가 왜 필요한가?

모든 Pair를 검정하면 많은 Opportunity 중 하나가 우연히 Significant할 수 있습니다.

Tukey는 모든 Pairwise Comparison Family를 고려하여 Experimentwise Error를 관리합니다.

첨부 교재에서는 Tukey Adjustment가 all pairwise comparisons에 적절하며, 모든 Pair를 고려할 때 Type I Experimentwise Error Rate를 α로 보장한다고 설명합니다.

Unadjusted Pairwise Test와 Tukey 결과가 달라질 수 있다

예를 들어:

Unadjusted p=.03

인데:

Tukey-adjusted p=.08

일 수 있습니다.

이는 Calculation Error가 아닙니다.

Tukey가 전체 Comparison Family를 고려하기 때문에 더 엄격한 기준을 적용한 결과입니다.

SAS가 Warning을 보여주는 경우

첨부 교재에서는 모든 Pairwise Comparison을 Multiple Comparison Adjustment 없이 수행하면 SAS Log에 Warning이 표시된다고 설명합니다.

이는 사용자가 정말 Unadjusted Comparison을 의도했는지 확인하도록 하기 위한 것입니다.

교재에서는 일반적으로 Multiple Comparison Adjustment를 사용하며 Unadjusted Result는 비교 목적으로 보여준다고 설명합니다.

SAS Warning이 Error라는 뜻일까?

아닙니다.

Calculation 자체는 수행될 수 있습니다.

하지만 Statistical Interpretation에서 Multiple Comparison Risk가 있으므로 주의를 주는 것입니다.

즉 SAS Log의 Warning도 분석 설계와 연결해서 읽어야 합니다.

Diffogram은 어떤 Group이 다른지 보여줄까?

첨부 교재에서는 Tukey-adjusted Pairwise Differences를 Diffogram으로 시각화합니다.

Diffogram은 Pairwise Mean Difference와 Confidence Interval을 Graphically 보여줍니다.

Diffogram의 기본 원리

첨부 교재에 따르면:

• Downward-sloping Line은 Pairwise Difference Confidence Interval
• Upward-sloping Reference Line은 Equal Means를 나타냄

입니다.

Pairwise CI가 Equality Reference Line과 교차하면:

Difference CI가 0을 포함

↓

Not Significant

입니다.

CI가 Equality Line과 교차하지 않으면?

Confidence Interval이 0을 포함하지 않는다는 의미입니다.

따라서 해당 Pair Mean Difference가 Statistically Significant한 것으로 해석할 수 있습니다.

첨부 교재에서는 이 경우 Pair Line이 Solid로 표시된다고 설명합니다.

Diffogram의 장점

Group이 많아지면 Pairwise p-value Matrix가 복잡해질 수 있습니다.

예를 들어 6개 Group이면:

15개의 Pair

가 있습니다.

Diffogram은 어떤 Pair가 Significant한지 Visual하게 확인하는 데 도움을 줍니다.

하지만 세부 Effect Magnitude와 p-value는 Table도 함께 확인하는 것이 좋습니다.

Mean Plot은 무엇을 알려줄까?

Group Means의 상대적인 위치를 보여줍니다.

예를 들어:

Fertilizer 1

이 가장 높고:

Fertilizer 4

가 가장 낮다는 것을 쉽게 볼 수 있습니다.

하지만 Mean Plot에서 떨어져 보인다고 자동으로 Significant한 것은 아닙니다.

Statistical Comparison Result가 필요합니다.

Mean Plot과 Diffogram의 차이

Mean Plot

Group Mean Pattern 확인

Diffogram

Pairwise Statistical Difference 확인

입니다.

따라서 두 Graph는 서로 다른 정보를 제공합니다.

Pairwise Confidence Interval이 중요한 이유

p-value는 Significant 여부를 알려주는 데 편리합니다.

하지만 Confidence Interval은 다음을 함께 보여줍니다.

• Difference Direction
• Difference Magnitude
• Precision
• Null Value 0 포함 여부

따라서 Pairwise Result에서도 CI가 유용합니다.

Example

A-B Difference가:

10

95% adjusted CI:

2 ~ 18

이라면:

0을 포함하지 않습니다.

Statistically Significant합니다.

그리고 실제 Difference가 2~18 정도까지 가능하다는 Precision Information도 제공합니다.

다른 Example

A-B Difference:

10

95% adjusted CI:

-30 ~ 50

이면:

0을 포함합니다.

Statistically Significant하지 않을 수 있습니다.

하지만 실제로 매우 큰 Positive 또는 Negative Difference 가능성까지 포함하므로 Result가 매우 Uncertain합니다.

따라서:

“Difference 없음”

이라고 단순 결론내리면 안 됩니다.

Pairwise p-value가 Non-Significant하면 두 Means가 동일한가?

아닙니다.

해당 Comparison에서 Difference=0을 Reject할 충분한 Evidence가 없다는 뜻입니다.

특히 Adjusted Test는 Multiple Comparison Error를 관리하면서 더 Conservative해질 수 있습니다.

따라서:

Not Significant

≠

Equivalent

입니다.

두 Group이 Equivalent함을 보이고 싶다면?

일반적인 ANOVA/Post Hoc에서 Non-Significant하다는 것만으로 Equality 또는 Equivalence를 증명할 수 없습니다.

특정 Practical Margin 안에 두 Means가 충분히 가깝다는 것을 보이려면 Equivalence Testing 같은 별도 Framework가 필요할 수 있습니다.

ANOVA p-value는 Sample Size의 영향을 받을까?

그렇습니다.

Sample Size가 커지면 Error Estimate의 Precision이 증가할 수 있습니다.

따라서 같은 Mean Pattern에서도 Large Sample에서는 F가 더 큰 Evidence를 제공할 수 있습니다.

즉 작은 Difference도 Significant할 수 있습니다.

p-value가 작을수록 더 많은 Pair가 Significant할까?

반드시 그렇지 않습니다.

Overall p-value가 매우 작아도 실제 Pattern이 한 Group만 크게 다르고 나머지가 비슷하다면 Significant Pair는 제한적일 수 있습니다.

예:

A=10

B=10

C=10

D=100

이면 D와 나머지 Pair는 Significant하지만 A/B/C끼리는 그렇지 않을 수 있습니다.

Overall p-value가 얼마나 작은지는 Pairwise Count를 말하지 않는다

예:

ANOVA p<.0001

이라고 해도:

1개의 Pair만 Significant할 수도 있고,

여러 Pair가 Significant할 수도 있습니다.

이 정보는 Post Hoc Result를 확인해야 합니다.

Group 수가 많을수록 Post Hoc Interpretation이 중요해진다

3 Groups:

3 Pairs

4 Groups:

6 Pairs

5 Groups:

10 Pairs

6 Groups:

15 Pairs

입니다.

Group 수가 증가하면 Overall ANOVA 하나로는 실제 Pattern을 거의 설명할 수 없습니다.

따라서 Pairwise Summary와 Visualization이 중요해집니다.

모든 Pair를 보고하면 Report가 너무 복잡해질 수도 있다

Research Question에 따라 필요한 Comparison만 강조하는 것이 좋습니다.

예를 들어 Control Trial이라면:

Treatment 1 vs Placebo

Treatment 2 vs Placebo

Treatment 3 vs Placebo

가 핵심일 수 있습니다.

이 경우 Dunnett Comparison이 더 효율적일 수 있습니다.

Dunnett은 왜 Tukey보다 더 적합할 수 있을까?

Tukey는 모든 Pair를 보호합니다.

하지만 실제로 Control Comparison만 관심이 있다면 필요하지 않은 Treatment-Treatment Pair까지 Family에 포함합니다.

첨부 교재는 Control Group이 Natural Reference일 때 Dunnett Method를 사용할 수 있으며, 이러한 제한된 Comparison Structure를 활용한다고 설명합니다.

즉 Research Question을 좁히면 Statistical Power 측면에서도 이점이 있을 수 있습니다.

Natural Control의 Example

Drug Trial:

• Placebo
• Drug A
• Drug B
• Drug C

질문:

각 Drug가 Placebo보다 다른가?

이라면:

Drug A vs Placebo

Drug B vs Placebo

Drug C vs Placebo

입니다.

Drug A vs Drug B는 Primary Question이 아닐 수 있습니다.

One-Sided Dunnett Test도 가능할까?

첨부 교재에서는 Control Group Comparison에서 One-Sided Hypothesis Test도 수행할 수 있다고 설명합니다.

예를 들어 관심 질문이:

각 Treatment가 Control보다 높은가?

처럼 방향성이 명확할 수 있습니다.

하지만 Direction은 Data를 보기 전에 연구 질문으로 정의해야 합니다.

ANOVA Overall Result와 Post Hoc Result가 서로 다른 이유

Overall F Test는 모든 Group Means Equality를 하나의 Global Hypothesis로 평가합니다.

Post Hoc Test는 Individual Pair Difference를 평가합니다.

또 Post Hoc에서는 Multiple Comparison Adjustment가 적용될 수 있습니다.

따라서:

Overall p=.01

이라고 해서 모든 Pairwise p<.01일 이유는 없습니다.

Pairwise p-values끼리 직접 Ranking해도 될까?

p-value 크기만으로 Effect Importance를 Ranking하는 것은 적절하지 않습니다.

예:

Pair A-B:

Difference 1

p=.001

Pair A-C:

Difference 10

p=.02

이면 p-value는 A-B가 작지만 Effect Difference는 A-C가 더 큽니다.

Sample Size와 Precision이 영향을 주기 때문입니다.

따라서 Mean Difference와 CI를 함께 봐야 합니다.

Pairwise Effect Direction을 확인해야 한다

예를 들어:

LSMean 1 – LSMean 4

가 Positive라면 Fertilizer 1 Mean이 더 높습니다.

반대로 Difference 정의가:

4 – 1

이면 Negative가 됩니다.

따라서 Pairwise Table에서 Comparison Order를 확인해야 합니다.

p-value Matrix만 보면 Direction을 놓칠 수 있다

첨부 교재의 Tukey Matrix는 Pair별 p-value를 보여줍니다.

p-value는 대칭이므로:

1 vs 4

와:

4 vs 1

은 같은 p-value입니다.

하지만 Effect Direction을 알고 싶다면 LSMeans와 Difference Table을 추가로 확인해야 합니다.

ANOVA p-value가 알려주지 않는 것들을 한 번에 정리하면

Overall ANOVA p-value는 다음을 직접 알려주지 않습니다.

1. 어느 Group이 다른가?

Post Hoc 필요

2. 어느 Group Mean이 높은가?

Mean Table 필요

3. Difference가 얼마나 큰가?

Effect Estimate 필요

4. Practical하게 중요한가?

Domain Threshold 필요

5. 모든 Pair가 Significant한가?

Pairwise Comparison 필요

6. Data Quality가 좋은가?

Data Review 필요

7. Assumption이 만족되는가?

Diagnostics 필요

8. Causal Effect인가?

Study Design 필요

입니다.

그렇다면 ANOVA p-value는 왜 중요한가?

이러한 한계가 있다고 해서 ANOVA p-value가 중요하지 않은 것은 아닙니다.

오히려 매우 중요한 Global Screening Question에 답합니다.

“이 Factor에 따른 Population Mean Difference가 존재한다는 Overall Statistical Evidence가 있는가?”

이 질문에 답한 뒤 더 구체적인 Pairwise Question으로 이동합니다.

ANOVA는 지도 전체를 보고 Post Hoc은 주소를 찾는 과정과 비슷하다

개념적으로 다음처럼 생각할 수 있습니다.

ANOVA

↓

“이 지역 어딘가에 Difference가 있다.”

그리고:

Post Hoc

↓

“정확히 어느 Group Pair에 Difference가 있다.”

입니다.

둘 중 하나만으로는 완전한 Multiple Group Interpretation이 되지 않을 수 있습니다.

SAS에서 Output을 읽는 추천 순서

ANOVA Result를 볼 때 다음 순서를 사용할 수 있습니다.

1. Group / Factor 확인

어떤 Groups를 비교하는가?

2. N 확인

Group별 Sample Size는?

3. Mean / LSMean 확인

어느 Group이 높고 낮은가?

4. SD / Distribution 확인

Within-Group Variability는?

5. Overall F Test 확인

Factor Effect Evidence가 있는가?

6. Overall p-value 해석

H₀를 Reject하는가?

7. Pairwise Question 정의

모든 Pair인가?

Control Comparison인가?

8. Adjustment Method 확인

Tukey?

Dunnett?

Unadjusted?

9. Pairwise Difference / CI / p-value 확인

어느 Pair가 다른가?

10. Practical Significance 평가

Difference가 실제로 중요한가?

입니다.

SAS Output에 p-value가 여러 개 있으면 특히 주의해야 한다

ANOVA 관련 Output에는 다음 p-value가 동시에 있을 수 있습니다.

• Overall Model p-value
• Factor p-value
• Levene’s Test p-value
• Pairwise Comparison p-value
• Adjusted Pairwise p-value

모두 다른 Hypothesis를 평가합니다.

따라서 가장 작은 p-value 하나만 찾아서는 안 됩니다.

Overall Model p-value와 Factor p-value도 다를 수 있다

One-Way ANOVA에서는 Factor가 하나이므로 Overall Model Test와 Factor Test가 동일할 수 있습니다.

하지만 Two-Way ANOVA나 Block Design에서는 다릅니다.

첨부 교재의 Randomized Block Example에서는 Overall Model:

p=.0003

이지만:

Fertilizer:

p=.0162

Sector:

p=.0004

로 서로 다릅니다.

즉 Overall Model Significant만 보고 모든 Factor가 Significant하다고 해석하면 안 됩니다.

왜 Multi-Factor Model에서는 더 주의해야 할까?

Overall F Test는:

Model 안의 어떤 Effect든 Response를 설명하는 Evidence가 있는가?

라는 Global Question입니다.

하지만 특정 Factor가 실제로 Significant한지는 해당 Factor의 F Test를 확인해야 합니다.

이 원리는 이후 Two-Way ANOVA에서 더욱 중요해집니다.

Factor p-value가 Significant해도 Interaction이 있으면 해석이 달라질 수 있다

Two-Way ANOVA에서는 Main Effect와 Interaction Effect가 동시에 존재할 수 있습니다.

Interaction이 Significant하면:

한 Factor의 Effect가 다른 Factor Level에 따라 달라진다.

는 의미입니다.

따라서 Main Effect p-value 하나만 단순 해석하면 잘못될 수 있습니다.

이 내용은 이후 Interaction Effect 글에서 자세히 다룹니다.

One-Way ANOVA에서는 구조가 더 단순하다

Factor가 하나이므로:

Overall Factor Effect

↓

Group Means Equality

라는 구조가 명확합니다.

그래서 One-Way ANOVA는 p-value와 Post Hoc의 차이를 배우기에 가장 좋은 형태입니다.

교재의 Fertilizer Example을 다시 이용해보자

첨부 교재의 Fertilizer-only One-Way ANOVA에서는:

F = 1.96

p = 0.1432

입니다.

α=.05에서는 Overall H₀를 Reject하지 않습니다.

즉 이 Model만 보면 Fertilizer Mean Difference를 Confirm할 충분한 Statistical Evidence가 없습니다.

그런데 Block Design에서는 결과가 달라진다

Sector를 Model에 포함하면 Fertilizer Effect가:

F = 4.31

p = 0.0162

가 됩니다.

즉 Fertilizer Effect가 Significant해집니다.

이후 Post Hoc Comparison을 이용하면 어느 Fertilizer Pair가 다른지 확인할 수 있습니다.

Tukey Result에서는 무엇이 발견되었나?

첨부 교재의 Pairwise Output에서는:

Fertilizer 1 vs Fertilizer 4

만:

p=0.0144

로 Significant합니다.

다른 Pair들은 모두 α=.05에서 Significant하지 않습니다.

이 Example은 ANOVA Overall Significance와 Pairwise Significance의 차이를 매우 명확하게 보여줍니다.

Overall Effect와 Pairwise Effect의 관계를 정리하면

다음과 같습니다.

Overall ANOVA

↓

“Fertilizer Means 전체가 같은가?”

↓

Significant

그 다음:

Tukey

↓

“Fertilizer 1과 2는?”

↓

Not Significant

“1과 3은?”

↓

Not Significant

“1과 4는?”

↓

Significant

“2와 3은?”

↓

Not Significant

…

입니다.

즉 Overall Effect는 Pairwise Difference의 위치를 압축해서 알려주지 않습니다.

ANOVA p-value를 Report할 때 좋은 방식

단순히:

ANOVA p=.0162로 유의하였다.

보다 다음처럼 Context를 추가하는 것이 좋습니다.

Overall ANOVA에서 Fertilizer Effect가 Statistical하게 Significant했으며, 이후 Tukey-adjusted Pairwise Comparison에서는 Fertilizer 1과 Fertilizer 4 사이 Difference만 Significant했다.

이렇게 하면:

• Overall Evidence
• Pairwise Location

이 모두 명확해집니다.

Effect Magnitude까지 더하면 더 좋은 Report가 된다

예:

Fertilizer 1 LSMean은 0.23625, Fertilizer 4 LSMean은 0.20289였으며 Tukey-adjusted Pairwise p-value는 0.0144였다.

첨부 교재는 해당 LSMean과 p-value를 제공합니다.

이렇게 작성하면 Statistical Significance뿐 아니라 실제 Mean Level도 함께 전달할 수 있습니다.

“가장 유의한 Pair”라는 표현을 사용할 때 주의할 점

p=.001과 p=.03을 비교해:

p=.001 Pair가 더 큰 Effect다.

라고 해석하면 안 됩니다.

p-value는 Effect Size Ranking이 아니기 때문입니다.

가능하다면:

• Mean Difference
• Confidence Interval

을 비교해야 합니다.

Significant Pair가 많으면 Factor Effect가 강한 것일까?

일반적으로 Group Pattern이 뚜렷할 수 있지만 Pair Count만으로 Factor Effect Strength를 정량화하기는 어렵습니다.

Group 수와 Sample Size, Adjustment가 영향을 주기 때문입니다.

따라서 Pairwise Significant Count를 Effect Size처럼 사용해서는 안 됩니다.

Significant Pair가 하나뿐이어도 Overall ANOVA가 중요할 수 있다

예를 들어 네 Group 중 한 Group만 다른 경우입니다.

그 하나의 Difference가 연구적으로 매우 중요할 수 있습니다.

따라서:

“6 Pair 중 1개밖에 유의하지 않았다.”

라는 이유로 Overall Result를 약하게 해석할 필요는 없습니다.

Research Question과 Effect Magnitude를 봐야 합니다.

Post Hoc Result에서 p=.05 기준만 볼 필요가 있을까?

Decision Rule에는 α가 필요하지만 p-value를 단순 Binary Label로만 해석하지 않는 것이 좋습니다.

예:

p=.049

과:

p=.051

은 Statistical Evidence가 극적으로 다르지 않습니다.

Confidence Interval과 Effect Magnitude를 함께 보는 것이 더 좋습니다.

Adjusted CI가 특히 중요한 이유

Multiple Comparison Adjustment가 적용되면 CI도 Family-wise Error Control을 반영할 수 있습니다.

따라서 Pairwise Result를:

Adjusted Estimate + Adjusted CI + Adjusted p-value

형태로 보면 더 완전한 Interpretation이 가능합니다.

ANOVA p-value와 Pairwise p-value의 전체 흐름

다음처럼 이해하면 됩니다.

Multiple Groups

↓

Group Means 계산

↓

Overall ANOVA

↓

H₀:

모든 Means 동일

↓

F Statistic

↓

Overall p-value

↓

p < α

Global H₀ Reject

↓

“어딘가에 Mean Difference 있음”

↓

Pairwise Analysis

↓

각 Pair H₀:

μi – μj = 0

↓

Multiple Comparison Adjustment

↓

Tukey / Dunnett

↓

Adjusted p-values / CIs

↓

“정확히 어느 Pair가 다른가?”

입니다.

흔한 오해 정리

“ANOVA p<.05이면 모든 Group이 서로 다르다”

아닙니다.

적어도 하나의 Population Mean이 다르다는 Overall Evidence입니다.

“ANOVA p<.05이면 가장 높은 Mean Group이 나머지와 모두 다르다”

아닙니다.

Pairwise Comparison을 확인해야 합니다.

“ANOVA p-value가 가장 작은 Group을 찾으면 된다”

Overall ANOVA p-value는 Group별로 존재하는 값이 아닙니다.

전체 Mean Equality Hypothesis에 대한 p-value입니다.

“ANOVA Significant이면 Pairwise t-Test를 아무 Adjustment 없이 하면 된다”

아닙니다.

Multiple Comparison Error를 고려해야 합니다.

“Tukey p-value와 Unadjusted p-value는 같은 것이다”

아닙니다.

Tukey는 Experimentwise Type I Error를 고려합니다.

“Tukey는 모든 상황에서 최선이다”

아닙니다.

Control Group과의 비교만 관심이면 Dunnett가 더 적절할 수 있습니다.

“Pairwise p>.05이면 두 Group Means가 동일하다”

아닙니다.

Difference=0을 Reject할 Evidence가 부족하다는 의미입니다.

“ANOVA p-value가 작으면 Effect Size도 크다”

아닙니다.

Sample Size와 Error Variance가 영향을 줍니다.

“ANOVA p-value가 작으면 Practical하게 중요한 Difference다”

아닙니다.

Mean Difference와 Domain Threshold를 확인해야 합니다.

“ANOVA p-value가 작으면 Causal Effect가 증명된다”

아닙니다.

Causal Interpretation은 Study Design에 달려 있습니다.

“Overall Model p-value가 Significant하면 모든 Factor가 Significant하다”

Multi-Factor Model에서는 아닙니다. 첨부 교재의 Block Model도 Overall p=.0003, Fertilizer p=.0162, Sector p=.0004로 Factor별 Test를 별도로 제공합니다.

“Mean Plot에서 떨어져 보이면 Significant하다”

아닙니다.

Statistical Comparison Result를 확인해야 합니다.

“Diffogram은 Mean 순위만 보여준다”

아닙니다.

Pairwise Difference Confidence Interval이 Equality Reference와 교차하는지를 이용해 Statistical Significance를 시각화합니다.

ANOVA 결과를 해석하는 추천 순서

SAS Output을 볼 때 다음처럼 확인할 수 있습니다.

1. Factor와 Levels 확인

어떤 Groups인가?

2. Group별 N 확인

Sample Balance는?

3. Mean 또는 LSMean 확인

어느 Group이 높고 낮은가?

4. Group Variability 확인

SD와 Distribution은?

5. Overall F Test 확인

Global Group Effect Evidence가 있는가?

6. Overall p-value 확인

H₀를 Reject하는가?

7. Pairwise Question 결정

모든 Pair가 필요한가?

Control Comparison인가?

8. Adjustment Method 확인

Tukey?

Dunnett?

9. Pairwise Difference 확인

어느 Group Pair가 다른가?

10. Adjusted CI 확인

Precision과 Direction은?

11. Practical Significance 확인

실제로 중요한 Difference인가?

입니다.

ANOVA p-value가 알려주는 것과 알려주지 않는 것

정리하면 다음과 같습니다.

질문	Overall ANOVA p-value
모든 Population Means가 같다는 H₀와 Data가 충돌하는가?	알려줌
적어도 하나의 Mean Difference Evidence가 있는가?	알려줌
정확히 어느 Group이 다른가?	알려주지 않음
몇 개 Pair가 다른가?	알려주지 않음
어느 Group이 더 높은가?	알려주지 않음
Difference가 얼마나 큰가?	알려주지 않음
Practical하게 중요한가?	알려주지 않음
Causal Difference인가?	알려주지 않음
Assumption이 만족되는가?	알려주지 않음

따라서 Overall p-value는 결론 전체가 아니라 출발점입니다.

교재의 Fertilizer Example로 전체 구조를 다시 보면

먼저 Block Model에서 Fertilizer Effect가:

F = 4.31

p = 0.0162

로 Significant합니다.

이 결과로 알 수 있는 것은:

Fertilizer Population Means가 모두 같다는 H₀를 Reject할 Statistical Evidence가 있다.

입니다.

하지만 여기까지만으로는 어떤 Fertilizer가 다른지 모릅니다.

그 다음 Tukey Pairwise Comparison을 수행하면:

Fertilizer 1 vs 4

↓

p=.0144

만 Significant합니다.

즉:

Overall ANOVA

↓

Difference 존재 Evidence

그리고:

Tukey

↓

Difference 위치 확인

이라는 구조가 완성됩니다.

왜 이 구조를 정확히 이해해야 할까?

이후 Post Hoc Test뿐 아니라 Two-Way ANOVA와 Regression에서도 동일한 원리가 반복되기 때문입니다.

예를 들어 Multiple Regression의 Overall F Test가 Significant해도 모든 Predictor가 Significant한 것은 아닙니다.

각 Coefficient의 t Test를 별도로 확인해야 합니다.

즉:

Overall Model Test

과:

Individual Effect Test

를 구분하는 사고방식이 여기서 시작됩니다.

ANOVA는 “어디가 다른가”보다 먼저 “차이가 존재하는가”를 묻는다

이 문장을 기억하면 이해하기 쉽습니다.

ANOVA

↓

“Group Set 전체에 Difference가 있는가?”

Post Hoc

↓

“Difference가 있다면 어디에 있는가?”

입니다.

둘을 하나의 p-value로 해결하려고 하면 안 됩니다.

핵심 정리

ANOVA의 Overall p-value는 여러 Population Means를 동시에 비교하는 Global Hypothesis Test의 결과입니다.

기본 Null Hypothesis는:

H₀: μ₁ = μ₂ = … = μk

입니다.

따라서 p<α이면:

Reject H₀

하고:

모든 Population Means가 동일한 것은 아니라는 Statistical Evidence가 있다.

고 판단합니다.

하지만 여기서 알 수 있는 것은 적어도 하나의 Mean Difference가 존재한다는 것뿐입니다.

어느 Group이 다른지는 Overall F Statistic과 p-value만으로 확인할 수 없습니다.

첨부 교재도 Significant ANOVA 이후 개별 Group Difference를 확인하기 위해 Post Hoc Pairwise Comparison을 수행하도록 구성합니다.

Pairwise Comparison에서는 Research Question에 따라 Method를 선택합니다.

모든 Pairwise Comparisons

↓

Tukey

Control Group과의 Comparisons

↓

Dunnett

입니다.

첨부 교재에서는 Tukey Method가 모든 Pairwise Comparison에서 Experimentwise Type I Error Rate를 α로 관리하고, Dunnett은 Natural Control Group과의 Comparison에 적합하다고 설명합니다.

교재의 Fertilizer Example은 이 차이를 명확하게 보여줍니다.

Tukey-adjusted Pairwise Results에서:

• Fertilizer 1 vs 2: p=.0840
• Fertilizer 1 vs 3: p=.5699
• Fertilizer 1 vs 4: p=.0144
• Fertilizer 2 vs 3: p=.6186
• Fertilizer 2 vs 4: p=.8383
• Fertilizer 3 vs 4: p=.1995

로 나타나며, 교재는 Fertilizer 1과 Fertilizer 4 사이만 Significant한 Pairwise Difference라고 설명합니다.

따라서 다음 관계를 기억하는 것이 중요합니다.

ANOVA Significant

≠

모든 Group이 서로 다름

그리고:

ANOVA Significant

≠

어느 Group이 다른지 자동으로 알 수 있음

또:

작은 p-value

≠

큰 Effect

이며:

Statistical Significance

≠

Practical Significance

입니다.

ANOVA Result를 제대로 해석하려면 다음 단계가 모두 필요합니다.

Group Means 확인

↓

Overall F Test

↓

Overall Difference Evidence

↓

Pairwise Research Question 정의

↓

Tukey / Dunnett 등 Adjustment

↓

Pairwise Difference + CI + Adjusted p-value

↓

Practical Interpretation

ANOVA의 p-value는 “어디가 다른가?”를 알려주는 숫자가 아니라, “전체 Group 중 어딘가에 Population Mean Difference가 존재한다고 볼 Statistical Evidence가 있는가?”를 알려주는 숫자입니다.

어느 Group이 실제로 다른지 알고 싶다면 그 다음 단계인 Post Hoc Test가 필요합니다.

함께 읽으면 좋은 글

• Post Hoc Test의 역할: ANOVA 이후 집단 간 차이를 추가로 확인하는 방법
• F Statistic의 원리: 집단 간 변동과 집단 내 변동을 비교하는 방식
• ANOVA가 여러 번의 t-Test보다 적절한 이유: 다중 비교와 제1종 오류의 관계
• One-Way ANOVA의 구조: 하나의 범주형 변수가 연속형 결과에 미치는 영향 분석
• Randomized Block Design의 원리: 불필요한 변동을 통제해 처리 효과를 구분하는 방식

참고한 자료

• SAS Enterprise Guide: ANOVA, Regression, and Logistic Regression Course Notes
• Chapter 3 Analysis of Variance
• One-Way ANOVA
• ANOVA Post Hoc Tests
• Multiple Comparison Methods
• Tukey’s Multiple Comparison Method
• Dunnett Comparison to a Control
• Least Squares Means
• Diffogram
• Fertilizer Pairwise Comparison Example

:::