Two-Way ANOVA란 무엇인가요?

Two-Way ANOVA는 두 개의 Categorical Predictor(요인)를 하나의 모델에 동시에 포함하여 Continuous Response(반응 변수)에 미치는 영향을 분석하는 통계 모델입니다.

Two-Way ANOVA에서는 어떤 효과들을 분석할 수 있나요?

두 개의 Categorical Factor가 Continuous Response에 미치는 Main Effect(주효과)를 동시에 평가하고, 필요하면 두 Factor의 효과가 서로 달라지는 Interaction Effect(상호작용 효과)까지 분석할 수 있습니다.

One-Way ANOVA와 Two-Way ANOVA의 차이점은 무엇인가요?

One-Way ANOVA는 하나의 Categorical Factor가 Continuous Response에 미치는 영향을 분석하지만, Two-Way ANOVA는 두 개의 Categorical Factor가 동시에 미치는 영향을 분석합니다.

Two-Way ANOVA의 구조: 두 개의 Factor를 동시에 분석하는 방법

2026년 9월 10일 읽는 시간 약 70분

One-Way ANOVA에서는 하나의 Categorical Factor가 Continuous Response에 미치는 영향을 분석했습니다.

예를 들어:

Fertilizer

↓

Bulb Weight

처럼 하나의 Grouping Variable을 이용해 여러 Population Mean을 비교했습니다.

그렇다면 Response에 영향을 줄 수 있는 Categorical Variable이 두 개라면 어떻게 해야 할까요?

예를 들어 신약의 용량에 따라 Blood Pressure가 달라지는지 알고 싶은데, Patient의 Disease Type도 동시에 영향을 줄 수 있다고 가정해보겠습니다.

이 경우 다음 두 Factor가 존재합니다.

DrugDose

그리고:

Disease

Response는:

BloodP

입니다.

이처럼 두 개의 Categorical Predictor를 하나의 Model에 동시에 포함하여 Continuous Response를 분석하는 방법이 Two-Way ANOVA입니다.

Two-Way ANOVA는 두 개의 Categorical Factor가 Continuous Response에 미치는 Main Effect를 동시에 평가하고, 필요하면 두 Factor의 효과가 서로 달라지는 Interaction Effect까지 분석하는 Statistical Model입니다.

첨부 교재에서는 Continuous Response에 Categorical Predictor가 하나이면 One-Way ANOVA, 두 개 이상이면 일반적으로 n-Way ANOVA라고 설명합니다. Randomized Block Design 역시 n-Way ANOVA의 특수한 형태라고 설명합니다.

왜 Two-Way ANOVA가 필요할까?

Response는 현실에서 하나의 Factor만으로 결정되는 경우가 많지 않습니다.

예를 들어 Blood Pressure Change에 영향을 줄 수 있는 요인은:

Drug Dose
Disease Type

두 가지가 있을 수 있습니다.

만약 DrugDose만 분석한다면 Disease에 따른 Difference를 놓칠 수 있습니다.

반대로 Disease만 분석한다면 Dose Effect를 놓칠 수 있습니다.

Two-Way ANOVA는 두 Factor를 같은 Model에 포함하여 각각의 Effect를 평가할 수 있습니다.

One-Way와 Two-Way의 차이

One-Way ANOVA

Categorical Predictor:

1개

예:

Fertilizer

↓

Continuous Response:

Bulb Weight

Two-Way ANOVA

Categorical Predictors:

2개

예:

DrugDose

Disease

↓

Continuous Response:

Blood Pressure Change

입니다.

즉 “Two-Way”의 Two는 Group이 두 개라는 뜻이 아니라 Factor가 두 개라는 뜻입니다.

Factor와 Level을 다시 구분하면

첨부 교재의 Drug Example을 사용해보겠습니다.

첫 번째 Factor:

DrugDose

에는 4개 Level이 있습니다.

Placebo
50 mg
100 mg
200 mg

두 번째 Factor:

Disease

에는 3개 Level이 있습니다.

따라서 가능한 Treatment Combination은:

4 × 3

12개

입니다.

교재의 SAS Output도 4개 DrugDose와 3개 Disease Level을 보여주며 총 170개의 Observation을 사용합니다.

Treatment Combination이란 무엇인가?

두 Factor의 특정 Level 조합을 의미합니다.

예를 들어:

Placebo × Disease A

50 mg × Disease A

100 mg × Disease A

200 mg × Disease A

그리고:

Placebo × Disease B

50 mg × Disease B

…

같은 조합입니다.

따라서 Two-Way ANOVA에서는 단순히 DrugDose 4개 Mean이나 Disease 3개 Mean만 보는 것이 아니라 필요하면 12개 Combination Mean의 Pattern까지 분석할 수 있습니다.

Two-Way ANOVA의 Statistical Model

첨부 교재에서는 다음 구조를 사용합니다.

Yᵢⱼₖ

αᵢ

βⱼ

(αβ)ᵢⱼ

εᵢⱼₖ

입니다.

이를 쉽게 풀어보면:

Observed Response

Overall Mean

Factor A Effect

Factor B Effect

Interaction Effect

Random Error

입니다.

Drug Example에 대입하면

Response:

BloodP

입니다.

따라서:

Observed Blood Pressure Change

Overall Mean

Disease Effect

DrugDose Effect

Disease × DrugDose Interaction

Residual Error

입니다.

첨부 교재는 각각을 다음처럼 정의합니다.

μ: Overall Base Level of BloodP
αᵢ: Disease Effect
βⱼ: DrugDose Effect
(αβ)ᵢⱼ: Disease와 DrugDose의 Interaction
εᵢⱼₖ: Error 또는 Residual

Main Effect란 무엇인가?

다른 Factor의 Levels를 전체적으로 고려했을 때 특정 Factor 자체가 Response와 관련되는지를 평가하는 Effect입니다.

예를 들어:

DrugDose Main Effect

Disease Categories 전체를 고려했을 때 DrugDose에 따라 평균 Blood Pressure Change가 달라지는가?

Disease Main Effect

DrugDose Levels 전체를 고려했을 때 Disease Type에 따라 평균 Blood Pressure Change가 달라지는가?

입니다.

Main Effect의 Null Hypothesis

DrugDose가 4개 Level이라면 개념적으로:

H₀

DrugDose Marginal Means가 모두 같다.

입니다.

즉:

Placebo

50 mg

100 mg

200 mg

의 평균 Response에 차이가 없다는 가설입니다.

Disease Effect의 H₀는:

Disease A = Disease B = Disease C

의 평균 Response가 같다는 구조입니다.

그런데 Two-Way ANOVA에서는 Main Effect만 보면 충분할까?

아닙니다.

두 Factor가 존재하면 매우 중요한 세 번째 질문이 등장합니다.

바로:

Interaction

입니다.

즉:

DrugDose Effect가 모든 Disease에서 동일한가?

를 확인해야 합니다.

이것이 Two-Way ANOVA와 단순히 두 개의 One-Way ANOVA를 따로 실행하는 것의 가장 큰 차이 중 하나입니다.

Interaction이란 무엇인가?

첨부 교재에서는 Interaction을 다음과 같이 설명합니다.

한 Variable의 Group Mean Difference가 다른 Variable의 Level에 따라 달라지는 경우 Interaction이 발생한다.

즉 한 Factor의 Effect가 다른 Factor의 상태에 따라 달라집니다.

DrugDose × Disease Interaction Example

교재에서는 Disease A와 Disease B에 대해 Dose가 증가할 때 Blood Pressure Change Pattern이 서로 반대로 나타나는 Example을 설명합니다.

Disease A에서는:

Dose 증가

↓

Average Blood Pressure 감소

반면 Disease B에서는:

Dose 증가

↓

Average Blood Pressure 증가

하는 Pattern이 나타납니다.

이 경우 DrugDose Effect가 Disease Type에 따라 달라지므로 DrugDose × Disease Interaction이 존재합니다.

Interaction이 없는 경우는?

예를 들어 모든 Disease에서 DrugDose 증가에 따라 Blood Pressure가 비슷한 정도로 감소한다고 가정해보겠습니다.

Disease A:

0 → -5 → -10 → -15

Disease B:

5 → 0 → -5 → -10

Disease C:

10 → 5 → 0 → -5

처럼 Pattern의 Direction과 Difference가 비슷하다면 Interaction이 크지 않을 수 있습니다.

즉 DrugDose Effect가 Disease에 관계없이 비교적 일정합니다.

Interaction이 있으면 왜 중요한가?

Main Effect만 보면 실제 Pattern을 잘못 이해할 수 있기 때문입니다.

예를 들어 Disease A에서는 Drug가 Blood Pressure를 낮추고 Disease B에서는 오히려 높인다고 생각해보겠습니다.

두 Disease를 평균내버리면:

DrugDose Effect가 거의 없다.

처럼 보일 수 있습니다.

하지만 실제로는 두 Disease에서 강한 Effect가 서로 반대 방향으로 존재하는 것입니다.

이것이 Interaction이 Main Effect를 Mask할 수 있다는 의미입니다.

교재도 Interaction을 먼저 확인하라고 강조한다

첨부 교재에서는 n-Way ANOVA with Interactions를 분석할 때 먼저 Factor 간 Interaction Test를 확인해야 한다고 설명합니다.

Interaction이 없으면 Main Effect Tests를 해당 Factor의 Effect로 해석할 수 있습니다.

하지만 Interaction이 존재하면 Main Effect Test가 Misleading할 수 있으며 특히 Unbalanced Data에서 더욱 그렇다고 설명합니다.

Two-Way ANOVA 해석의 핵심 순서

따라서 다음 순서가 중요합니다.

1. Interaction Test 확인

↓

Interaction Significant?

Yes

Main Effect 단독 해석 주의

↓

Simple Effects / Combination Means 분석

No

Main Effects 해석 가능

입니다.

즉 Two-Way ANOVA에서는 Main Effect p-value부터 보는 것이 아니라 Interaction부터 확인하는 것이 핵심입니다.

교재의 Drug Data를 먼저 탐색하면

첨부 교재는 Two-Way ANOVA를 바로 실행하기 전에 Summary Statistics로 Data를 먼저 탐색합니다.

Response:

BloodP

Classification Variables:

Disease
DrugDose

를 사용합니다.

교재는 Group Mean들을 살펴본 결과 Disease에 따라 DrugDose Trend가 다를 가능성이 있다고 판단하고 Interaction을 포함한 Two-Way ANOVA를 수행하도록 안내합니다.

실제 Combination Means

교재에서 제시한 일부 Mean Pattern을 보면 매우 흥미롭습니다.

Disease A

Placebo:

1.33

50 mg:

-9.69

100 mg:

-26.23

200 mg:

-22.56

Disease B

Placebo:

-8.13

50 mg:

5.40

100 mg:

24.79

200 mg:

23.23

Disease C

Placebo:

0.43

50 mg:

-4.85

100 mg:

-5.14

200 mg:

1.31

입니다.

Disease A에서는 어떤 Pattern인가?

Dose가 증가하면서 BloodP가 전반적으로 더 Negative해집니다.

즉 Blood Pressure가 감소하는 방향입니다.

특히:

Placebo:

+1.33

에서:

100 mg:

-26.23

까지 크게 감소합니다.

Disease B에서는?

반대로 Dose가 증가하면서 BloodP가 Positive Direction으로 크게 움직입니다.

Placebo:

-8.13

인데:

100 mg:

+24.79

입니다.

즉 Disease A와 완전히 다른 Dose Response Pattern을 보입니다.

Disease C에서는?

Dose Level에 따라 큰 일관된 Change Pattern이 잘 보이지 않습니다.

대략:

0.43

-4.85

-5.14

1.31

입니다.

즉 DrugDose Effect가 크지 않아 보입니다.

이 Mean Table만 봐도 Interaction을 의심할 수 있다

Disease A:

Dose 증가 → BloodP 감소

Disease B:

Dose 증가 → BloodP 증가

Disease C:

뚜렷한 Effect 없음

입니다.

즉:

DrugDose Effect

가:

Disease Level에 따라 완전히 다르게 나타남

입니다.

이것이 Interaction의 전형적인 Pattern입니다.

Summary Statistics가 ANOVA 전에 필요한 이유

이 Example은 Statistical Test를 실행하기 전에 Group Means를 보는 것이 왜 중요한지 보여줍니다.

p-value만 보기 전에:

Group Pattern
Direction
Sample Size
SD

를 확인하면 Interaction을 훨씬 쉽게 이해할 수 있습니다.

즉 Descriptive Statistics는 Inferential Analysis의 준비 단계입니다.

DrugDose는 Numeric인데 왜 Classification Variable인가?

매우 중요한 부분입니다.

교재에서 DrugDose는 SAS Data에서는 Numeric Variable로 저장되어 있습니다.

하지만 Scale은 Continuous가 아니라:

Placebo
50 mg
100 mg
200 mg

이라는 Ordinal Treatment Category로 다룹니다.

따라서 Linear Models Task에서는 Classification Variable로 지정합니다.

Numeric Data Type과 Measurement Role은 다르다

예를 들어 DrugDose가 Data에:

100

200

처럼 저장되어 있다고 해서 반드시 Quantitative Linear Predictor로 처리해야 하는 것은 아닙니다.

두 가지 Model은 다른 가정을 합니다.

Quantitative Predictor

Dose 100 증가마다 일정한 Linear Effect를 가정할 수 있음

Classification Predictor

각 Dose Level마다 별도의 Mean을 추정

입니다.

교재의 Example은 후자를 사용합니다.

Two-Way ANOVA에서 전체 Model은 무엇을 검정할까?

DrugDose 4 Levels

Disease 3 Levels

이므로:

총 12개 Treatment Combination Means가 있습니다.

Overall F Test는 개념적으로:

12개의 Treatment Combination Means가 모두 같은가?

를 평가합니다.

교재 Output에서는 Overall Model Result가:

Model DF = 11

F = 7.66

p < .0001

입니다.

Overall p<.0001의 의미

α=.05에서:

Reject Overall H₀

입니다.

즉 12개 DrugDose × Disease Combination Means가 모두 동일하다는 가정과 Data가 강하게 충돌합니다.

교재도:

적어도 하나의 Treatment Mean이 다른 Treatment Mean과 다르다.

고 결론냅니다.

하지만 여기서 중요한 질문이 남습니다.

어떤 Factor가 이 Difference를 설명하는가?

Overall p-value만으로는 충분하지 않다

Model에는:

DrugDose
Disease
DrugDose × Disease

가 포함되어 있습니다.

따라서 Overall Model이 Significant하다고 해서:

DrugDose가 Significant하다

Disease가 Significant하다

Interaction이 Significant하다

를 모두 의미하는 것은 아닙니다.

각 Effect의 F Test를 따로 확인해야 합니다.

Type III Tests를 확인하면

첨부 교재의 Output에서는 다음과 같습니다.

DrugDose

F = 0.26

p = 0.8551

Disease

F = 21.66

p < .0001

DrugDose × Disease

F = 6.60

p < .0001

입니다.

DrugDose Main Effect는 Non-Significant하다

DrugDose의 Type III p-value는:

0.8551

입니다.

즉 전체 Disease Categories에 걸쳐 평균했을 때 DrugDose의 Marginal Effect는 Significant하지 않습니다.

단순하게 보면:

DrugDose가 Blood Pressure에 영향이 없다.

라고 말하고 싶어질 수 있습니다.

하지만 그렇게 해석하면 매우 위험합니다.

왜냐하면 Interaction이 Significant하기 때문이다

DrugDose × Disease Interaction은:

F = 6.60

p < .0001

입니다.

즉 DrugDose Effect가 Disease Level에 따라 달라진다는 매우 강한 Evidence가 있습니다.

따라서 DrugDose Main Effect p=.8551만 보고:

DrugDose Effect 없음

이라고 결론내리면 실제 Data Pattern을 완전히 놓칠 수 있습니다.

이것이 Main Effect Masking이다

Disease A에서는 DrugDose가 Blood Pressure를 크게 낮춥니다.

Disease B에서는 반대로 크게 높입니다.

이 두 Direction을 전체 평균으로 합치면 서로 Cancel될 수 있습니다.

따라서 Marginal DrugDose Effect는 거의 0처럼 보일 수 있습니다.

하지만 실제 각 Disease 내부에서는 DrugDose Effect가 매우 강할 수 있습니다.

Interaction이 존재하면 평균을 평균낸 Main Effect가 실제 Subgroup Pattern을 숨길 수 있습니다.

Disease Main Effect는 Significant하다

Disease Effect는:

p < .0001

입니다.

하지만 Interaction이 Significant하므로 Disease Main Effect도 단독으로 단순 해석하는 데 주의해야 합니다.

Disease Difference 역시 Dose Level에 따라 달라질 수 있기 때문입니다.

즉 Significant Interaction이 있을 때는 개별 Factor의 Marginal Main Effect보다 Factor Combination Pattern이 더 중요한 경우가 많습니다.

Type I SS와 Type III SS가 다른 이유

첨부 교재의 Drug Example에서는 Sample Size가 모든 Treatment Combination에서 같지 않습니다.

즉 Unbalanced Data입니다.

교재 Output에서는 Type I SS와 Type III SS 결과가 다르게 나타납니다.

예를 들어 DrugDose:

Type I

p = 0.9886

Type III

p = 0.8551

입니다.

Disease:

Type I

p < .0001

Type III

p < .0001

입니다.

Type I SS란 무엇인가?

교재에서는 Type I Sum of Squares를 Model Order Dependent라고 설명합니다.

즉 Model에 먼저 들어간 Effect부터 순서대로 Variation을 설명합니다.

각 Effect는 자신보다 앞에 있는 Terms에 대해서만 Adjust됩니다.

그래서:

Sequential Sum of Squares

라고도 부릅니다.

Type III SS는 왜 중요할까?

Type III는 각 Effect를 Model의 다른 Effects를 Adjust한 상태에서 평가합니다.

특히 Unbalanced Data에서는 Factor별 Effect를 비교할 때 Type III 결과를 주로 확인하는 구조가 중요할 수 있습니다.

첨부 교재의 Drug Example도 Unbalanced Data이므로 Type III Tests를 중심으로 Effect를 해석합니다.

Balanced Design에서는 차이가 줄어들 수 있다

모든 Factor Combination의 n이 같다면 Orthogonal Structure가 형성되어 Type I과 Type III SS가 같아질 수 있습니다.

앞서 Randomized Block Design의 Balanced Garlic Example에서는 실제로 Type I과 Type III 결과가 동일했습니다.

하지만 Drug Example처럼 n이 Combination마다 다르면 결과가 달라질 수 있습니다.

교재 Drug Data의 Sample Size는 실제로 Unequal하다

Summary Statistics를 보면 각 DrugDose × Disease Combination N이 다릅니다.

예:

Disease A:

Placebo 12
50 mg 16
100 mg 13
200 mg 18

Disease B:

Disease C:

입니다.

따라서 Balanced 4×3 Design이 아닙니다.

Unbalanced Data에서 Interaction이 특히 중요한 이유

교재는 Interaction이 존재할 경우 Main Effect Test가 Misleading할 수 있으며 특히 Unbalanced Data에서는 더 문제가 될 수 있다고 명시합니다.

왜냐하면 Marginal Means를 계산할 때 각 Combination의 Sample Size Weight가 달라질 수 있기 때문입니다.

따라서 Combination-level LSMeans나 Simple Effects가 더 중요해질 수 있습니다.

Interaction이 Significant하면 다음에는 무엇을 해야 할까?

단순 Main Effect 해석을 멈추고 Simple Effects를 분석할 수 있습니다.

예를 들어:

Disease A 안에서 DrugDose Effect가 있는가?

Disease B 안에서는?

Disease C 안에서는?

를 각각 평가합니다.

첨부 교재에서는 SAS의 SLICE= Option을 이용해 이러한 Simple Effects Test를 수행합니다.

Simple Effect란 무엇인가?

다른 Factor의 특정 Level을 고정한 상태에서 한 Factor의 Effect를 평가하는 것입니다.

예를 들어:

Disease A에서만

DrugDose Effect 분석

Disease B에서만

DrugDose Effect 분석

Disease C에서만

DrugDose Effect 분석

입니다.

즉 Interaction을 더 구체적으로 분해합니다.

교재의 Slice Test Result

DrugDose Effect를 Disease별로 분석하면 다음과 같습니다.

Disease A

F = 4.87

p = 0.0029

Disease B

F = 8.14

p < .0001

Disease C

F = 0.36

p = 0.7815

입니다.

이 결과의 의미

Disease A

DrugDose Effect 있음

Disease B

DrugDose Effect 있음

Disease C

DrugDose Effect Evidence 없음

입니다.

즉 Overall DrugDose Main Effect가 p=.8551로 전혀 Significant하지 않았지만 Disease A와 B 내부에서는 DrugDose Effect가 매우 Significant합니다.

이것이 Interaction을 이해해야 하는 가장 강력한 이유입니다.

DrugDose Main Effect p=.8551만 봤다면 어떤 실수를 할까?

다음처럼 결론낼 수 있습니다.

“Drug Dose는 Blood Pressure에 영향을 주지 않는다.”

하지만 Simple Effects를 보면:

Disease A:

p=.0029

Disease B:

p<.0001

입니다.

즉 사실은:

DrugDose Effect는 Disease에 따라 크게 다르다.

가 더 정확합니다.

Disease C에서는?

p=.7815이므로 DrugDose Effect를 Detect할 Evidence가 없습니다.

실제 LSMeans도:

0.43

-4.85

-5.14

1.31

로 비교적 큰 일관된 Dose Trend를 보이지 않습니다.

즉 Statistical Result와 Mean Pattern이 일치합니다.

Disease A에서는 Effect Direction이 중요하다

LSMeans:

Placebo:

1.33

50 mg:

-9.69

100 mg:

-26.23

200 mg:

-22.56

입니다.

Dose 증가와 함께 BloodP가 Negative 방향으로 이동합니다.

즉 Blood Pressure 감소 효과와 연결됩니다.

Disease B에서는 반대다

LSMeans:

Placebo:

-8.13

50 mg:

5.40

100 mg:

24.79

200 mg:

23.23

입니다.

Dose를 사용하면서 BloodP가 Positive Direction으로 크게 이동합니다.

즉 Disease A와 완전히 반대되는 Treatment Response입니다.

그래서 Interaction Plot이 매우 중요하다

숫자 Table보다 Graph가 Interaction을 훨씬 쉽게 보여주는 경우가 많습니다.

예를 들어 X축:

DrugDose

Y축:

Mean BloodP

그리고 별도 Line:

Disease A

Disease B

Disease C

를 그립니다.

Parallel Lines는 무엇을 의미할까?

각 Disease Line이 거의 평행하다면 DrugDose Effect가 Disease에 따라 비슷하다는 뜻입니다.

즉 Interaction이 작을 가능성을 시사합니다.

예:

Disease A:

0 → -5 → -10 → -15

Disease B:

10 → 5 → 0 → -5

두 Line은 거의 Parallel합니다.

Main Level은 다르지만 Dose Effect는 비슷합니다.

Non-Parallel Lines는?

Slope나 Pattern이 다르면 Interaction 가능성을 의심할 수 있습니다.

특히 Lines가 교차하면 강한 Interaction Pattern을 시각적으로 확인할 수 있습니다.

교재의 Drug Example처럼:

Disease A:

Dose 증가 → 감소

Disease B:

Dose 증가 → 증가

이면 Lines가 서로 반대 방향으로 움직입니다.

하지만 Line이 안 평행하면 무조건 Significant Interaction일까?

아닙니다.

Graph는 Exploratory Evidence입니다.

Observed Means는 Sampling Variability의 영향을 받습니다.

따라서 실제 Statistical Interaction은:

DrugDose × Disease F Test

의 p-value로 평가해야 합니다.

Graph와 Inferential Test를 함께 봅니다.

반대로 Interaction p>.05이면 Lines가 완벽히 평행해야 할까?

아닙니다.

Sample에서는 어느 정도 Non-Parallel Pattern이 나타날 수 있습니다.

p>.05는 Interaction=0을 Reject할 충분한 Evidence가 없다는 의미이지 완벽한 Parallelism을 증명하는 것은 아닙니다.

Interaction이 Non-Significant하면 어떻게 할까?

첨부 교재에서는 두 가지 접근을 설명합니다.

첫 번째:

Interaction Term을 Model에 그대로 두고 Main Effects를 분석

두 번째:

Non-Significant Interaction을 Model에서 제거한 뒤 Main Effects 분석

입니다.

Designed Experiment에서는?

교재에 따르면 Designed Experiment에서는 Interaction이 Non-Significant해도 일반적으로 Interaction을 Model에 그대로 두고 Main Effect를 분석하는 접근이 사용됩니다.

하지만 일부 Statistician은 특정 조건에서 Interaction을 제거하면 Main Effect Test Power를 높일 수 있다고 봅니다.

교재가 제시하는 Interaction 삭제 고려 조건

Neter 등의 Guideline으로 교재는 다음 두 조건을 제시합니다.

Error Degrees of Freedom이 5보다 작음
Interaction F Value가 2보다 작음

다만 이 내용은 교재의 특정 Guideline이므로 모든 연구에서 Universal Rule처럼 적용하면 안 됩니다.

Observational Study에서는?

교재에서는 Observational Study에서는 Non-Significant Interaction을 Model에서 제거하고 Main Effects를 분석하는 것이 더 Common하다고 설명합니다.

즉 Interaction 처리 전략은:

Study Design
Pre-Specified Model
Scientific Question

에 따라 달라질 수 있습니다.

Hierarchy Principle도 생각해야 한다

Interaction:

A × B

를 Model에 포함한다면 일반적으로 Lower-Order Main Effects:

도 함께 포함합니다.

왜냐하면 Interaction은 두 Main Effects의 조합 위에서 정의되는 Higher-Order Term이기 때문입니다.

따라서 Interaction만 넣고 Main Effects를 제거하는 Model은 특별한 목적이 없다면 해석하기 어려울 수 있습니다.

Two-Way ANOVA와 Randomized Block Design의 차이

앞선 Randomized Block Design에서도 Categorical Variables가 두 개 있었습니다.

Fertilizer
Sector

그런데 왜 이번에는 Interaction을 중요하게 보는 걸까요?

Scientific Role이 다르기 때문입니다.

Randomized Block Design

Factor 1:

Treatment

↓

Primary Interest

Factor 2:

Block

↓

Nuisance Variation Control

그리고 기본적으로:

Treatment × Block Interaction 없음

을 가정합니다.

일반 Two-Way ANOVA

Factor 1:

DrugDose

Factor 2:

Disease

둘 다 Scientific Interest가 있습니다.

그리고:

DrugDose Effect가 Disease에 따라 달라지는가?

라는 Interaction 자체가 중요한 Research Question입니다.

교재도 Randomized Block Design에서는 Block이 다른 Factor와 Interaction하지 않는다고 일반적으로 가정하지만, 이번 Section에서는 두 Independent Variables 모두 Block이 아니므로 Interaction을 Hypothesize하고 Test할 수 있다고 설명합니다.

그래서 같은 “두 Factor”라도 목적이 다르다

Block Design

Treatment + Block

↓

Block Effect를 Control

Two-Way Factorial ANOVA

Factor A + Factor B + A×B

↓

두 Main Effects + Interaction 모두 연구 가능

입니다.

Factorial Design이란 무엇인가?

두 개 이상의 Factor Levels를 조합하여 Treatment Combinations를 구성하는 Design입니다.

예:

DrugDose 4 Levels

Disease 3 Levels

↓

12 Combinations

입니다.

이 구조에서는 각 Factor Effect뿐 아니라 Factor 간 Interaction을 분석할 수 있습니다.

Two-Way ANOVA가 각각의 One-Way ANOVA보다 좋은 이유

DrugDose만 One-Way ANOVA

그리고:

Disease만 별도 One-Way ANOVA

를 하면 Interaction을 평가할 수 없습니다.

즉:

DrugDose Effect가 Disease에 따라 달라지는가?

라는 질문을 놓칩니다.

또 다른 Factor를 Model에 포함하지 않으므로 Error Structure나 Adjusted Effect도 달라질 수 있습니다.

Marginal Mean이란 무엇인가?

다른 Factor Levels를 평균하여 계산한 특정 Factor의 Mean입니다.

예를 들어 DrugDose 100 mg Marginal Mean은 Disease A, B, C의 100 mg Responses를 전체적으로 평균한 값과 연결됩니다.

Main Effect는 이러한 Marginal Means Difference를 평가합니다.

왜 Marginal Mean이 Interaction에서 위험할 수 있을까?

Disease A에서는 -26

Disease B에서는 +25

Disease C에서는 -5

라고 하면 전체 평균은 거의 0 부근이 될 수 있습니다.

즉 매우 강한 Opposite Effects가 평균 과정에서 사라집니다.

따라서 Significant Interaction이 있을 때 Marginal Mean만 보면 실제 Pattern을 왜곡할 수 있습니다.

Simple Mean은 무엇인가?

특정 다른 Factor Level 안에서 계산한 Mean입니다.

예:

Disease A에서 DrugDose 100 mg Mean

입니다.

Interaction이 있을 때는 이러한 Combination-specific Mean이나 Simple Effect가 중요합니다.

LSMean이 다시 등장한다

교재의 Drug Example에서는 DrugDose × Disease Combination별 Least Squares Mean을 제시합니다.

예:

Placebo × A:

1.333

100 mg × A:

-26.231

Placebo × B:

-8.133

100 mg × B:

24.786

입니다.

Unbalanced Data에서는 Model-based LSMean이 특히 중요한 역할을 할 수 있습니다.

Two-Way ANOVA의 Assumptions

첨부 교재는 Model에서 다음 Assumptions을 제시합니다.

Observations are independent
Data are Normally Distributed for each Treatment
Variances are Equal across Treatments

즉 기본 ANOVA Assumptions이 그대로 적용됩니다.

Independence

Observation이 서로 독립적이어야 합니다.

같은 Subject의 Repeated Measurements를 독립 Observation처럼 처리하면 일반 Two-Way ANOVA의 Independence Assumption을 위반할 수 있습니다.

Study Design을 확인해야 합니다.

Normality

교재는 각 Treatment Combination의 Data가 Normal하게 분포한다고 가정합니다.

실제 Analysis에서는 Residual Distribution을 확인하는 것이 중요합니다.

다만 첨부 교재는 Predictor가 두 개 이상인 경우 Assumption Verification의 상세 내용은 별도의 Advanced Course에서 다룬다고 설명합니다.

Equal Variance

각 Treatment Combination에서 Variance가 동일하다는 기본 Assumption입니다.

DrugDose 4 × Disease 3이면 12개 Cells의 Error Variance가 공통 σ²로 설명될 수 있다는 구조입니다.

Variance가 크게 다르면 Classical F Test 해석에 영향을 줄 수 있습니다.

Data를 먼저 탐색해야 한다

교재는 Two-Way ANOVA를 수행하기 전에 Explore the Data를 먼저 해야 한다고 명시합니다.

즉:

Group N
Mean
SD
Minimum
Maximum

을 확인합니다.

이 과정에서 Interaction Pattern을 사전에 발견할 수도 있습니다.

Cell Size를 반드시 확인해야 하는 이유

두 Factor가 있으면 전체 N만 보면 부족합니다.

예:

Total N = 170

이어도 특정 Combination은:

n=12

다른 Combination은:

n=18

입니다.

따라서:

Cell-level N

을 확인해야 합니다.

Empty Cell이 있다면?

특정 Factor Combination에 Observation이 전혀 없으면 Model Estimation과 Interaction Interpretation이 복잡해질 수 있습니다.

이런 경우 Standard Balanced Two-Way ANOVA의 단순한 해석이 어려워질 수 있습니다.

첨부 교재 Drug Example에는 Empty Cell은 없지만 Unequal Cell Size는 존재합니다.

Two-Way ANOVA에서 가장 먼저 p-value가 작은 Factor를 찾으면 안 된다

올바른 흐름은:

Interaction p-value 확인

↓

Significant?

Yes

Interaction 중심으로 해석

No

Main Effects 해석

입니다.

교재도 Interaction Tests를 먼저 확인하라고 명시합니다.

Drug Example의 해석 순서

1. Overall Model

p < .0001

↓

12 Combination Means 중 Difference 존재

2. Interaction

DrugDose × Disease:

p < .0001

↓

DrugDose Effect가 Disease에 따라 다름

3. Main Effects 단독 해석 주의

DrugDose p=.8551

Disease p<.0001

↓

Interaction 때문에 Marginal Interpretation 제한

4. Simple Effects

Disease별 DrugDose Effect 평가

입니다.

Slice Analysis 결과를 다시 보면

Disease A

p=.0029

↓

DrugDose Effect 있음

Disease B

p<.0001

↓

DrugDose Effect 있음

Disease C

p=.7815

↓

DrugDose Effect Evidence 없음

입니다.

이는 Interaction을 실제 연구 Interpretation으로 변환하는 과정입니다.

“Interaction Significant”만 보고 끝내면 충분할까?

아닙니다.

Interaction이 있다는 것은:

Effect가 다른 Factor Level에 따라 달라진다.

는 뜻입니다.

하지만:

어느 Level에서
어떤 Direction으로
얼마나 크게

달라지는지는 Combination Means와 Simple Effects를 확인해야 합니다.

Interaction Effect는 다음 글에서 더 깊게 다룬다

이번 글의 목적은 Two-Way ANOVA 전체 Structure를 이해하는 것입니다.

Interaction Effect의 의미: 한 변수의 효과가 다른 변수 수준에 따라 달라지는 이유

에서는:

Parallel / Nonparallel Mean Plot
Crossing Interaction
Main Effect Masking
Simple Effect
Interaction Interpretation

을 더 깊게 살펴보게 됩니다.

Concrete Example도 Two-Way ANOVA 구조를 보여준다

첨부 교재 Exercise에서는 Concrete Strength를 분석하면서:

Brand
Additive

두 Categorical Variables를 사용합니다.

Response는:

Strength

입니다.

교재는 먼저 Summary Statistics를 확인하고, 필요하다면 Interaction Term을 포함하여 Means Equality Hypothesis를 검정하도록 합니다.

즉 동일한 Two-Way ANOVA 사고방식을 다른 실제 문제에 적용하도록 구성되어 있습니다.

Concrete Example의 Research Questions

개념적으로 다음을 생각할 수 있습니다.

Brand Main Effect

Concrete Brand에 따라 평균 Strength가 다른가?

Additive Main Effect

Additive 사용 여부에 따라 평균 Strength가 다른가?

Brand × Additive Interaction

Additive Effect가 Brand에 따라 달라지는가?

입니다.

Interaction이 존재한다면 Business/Engineering Interpretation도 달라진다

예를 들어 Additive가:

Brand A에서는 Strength를 크게 높이고

Brand B에서는 거의 효과가 없고

Brand C에서는 오히려 낮춘다면:

“Additive가 평균적으로 효과가 있는가?”

보다:

“어떤 Brand에서 Additive가 효과적인가?”

가 더 중요한 질문이 됩니다.

Two-Way ANOVA는 바로 이런 조건부 Effect를 분석할 수 있습니다.

Main Effect는 “다른 Factor를 무시한다”는 뜻일까?

정확히는 다른 Factor를 Model에서 제외하는 것이 아닙니다.

Two-Way Model 안에서 다른 Factor와 Interaction 등을 포함한 상태에서 Marginal Effect를 평가합니다.

따라서 “Main”이라는 말은 Model에 Factor 하나만 있다는 뜻이 아니라 Interaction보다 Lower-Order Effect라는 의미입니다.

Interaction은 추가 효과라고 단순하게 보면 안 된다

Interaction은 두 Main Effects에 단순히 숫자를 하나 더 더하는 것 이상의 의미가 있습니다.

핵심은:

Factor A Effect가 Factor B Level에 따라 변한다.

는 구조입니다.

따라서 Interaction은 Conditional Effect를 나타냅니다.

Additive Model과 Interaction Model

Interaction이 없다면:

Error

입니다.

이 경우 Factor A와 B Effects가 Additive하게 결합됩니다.

Interaction을 포함하면:

A×B

Error

입니다.

즉 단순한 Additive Combination으로 설명할 수 없는 추가 Pattern을 Model에 포함합니다.

“Additive”라는 Statistical 의미와 Concrete Additive를 혼동하면 안 된다

Concrete Example에서 Additive라는 Variable 이름이 있지만 Statistical Model에서 말하는 Additive Model은 전혀 다른 개념입니다.

Statistical Additivity는:

A Effect + B Effect

만으로 Response Pattern을 설명할 수 있다는 뜻입니다.

Concrete의 Additive Substance는 단순히 Predictor Name입니다.

Interaction이 없으면 Main Effect Interpretation이 쉬워진다

예를 들어 DrugDose Effect가 Disease A/B/C에서 모두 비슷하게 나타난다면:

DrugDose가 평균적으로 Blood Pressure를 얼마나 변화시키는가?

라는 Main Effect를 비교적 자연스럽게 해석할 수 있습니다.

Disease Effect도 Dose Levels 전체에서 일관된 Difference로 해석할 수 있습니다.

Interaction이 있으면 “평균적으로”라는 표현에 주의해야 한다

Drug Example에서 DrugDose는 Disease A와 B에서 반대 Effect를 보입니다.

이를 전체 Disease에 평균내서:

“DrugDose 평균 Effect는 거의 없다.”

라고 보고하면 실제 중요한 Subgroup Response를 숨깁니다.

따라서 Significant Interaction은 Marginal Average보다 Conditional Effect가 더 중요할 수 있다는 Signal입니다.

Statistical Significance와 Practical Significance는 Interaction에서도 다르다

Interaction p<.0001이라고 해서 Interaction Magnitude가 반드시 Practically Important하다는 뜻은 아닙니다.

Interaction Effect가 얼마나 큰지 Combination Means와 Confidence Intervals를 확인해야 합니다.

반대로 Interaction p>.05라도 Sample Size가 작다면 중요한 Heterogeneity 가능성을 충분히 배제하지 못했을 수 있습니다.

Interaction Analysis에도 Multiple Comparison 문제가 생길 수 있다

Interaction을 분해해서 여러 Simple Effects 또는 Pairwise Comparisons를 수행하면 여러 Hypothesis를 검정하게 됩니다.

따라서 연구 목적에 따라 Multiplicity를 고려해야 할 수 있습니다.

교재의 SLICE= Example은 Simple Effects Test를 생성하지만 모든 가능한 후속 Comparison을 무계획적으로 수행하는 의미는 아닙니다.

Slice와 Pairwise Comparison은 같은가?

완전히 동일하지 않습니다.

예를 들어:

Disease A 내에서 DrugDose Overall Effect

를 Slice Test로 평가할 수 있습니다.

이는:

Placebo vs 50

Placebo vs 100

Placebo vs 200

등 Individual Pair를 각각 비교하는 것과는 다릅니다.

Slice Test는 해당 Disease Level 안에서 DrugDose Factor 전체에 대한 Overall Simple Effect Test입니다.

Disease A에서 p=.0029가 의미하는 것

Disease A 안에서:

H₀:

Placebo Mean

50 mg Mean

100 mg Mean

200 mg Mean

을 Reject할 Evidence가 있다는 의미입니다.

하지만 어느 Dose Pair가 다른지는 별도의 Comparison이 필요할 수 있습니다.

즉 Simple Effect Test 역시 Overall Factor Test의 작은 버전처럼 생각할 수 있습니다.

Disease B도 마찬가지다

Disease B Slice p<.0001은 Disease B 안에서 DrugDose Means가 모두 동일하지 않다는 뜻입니다.

그러나 어느 Dose Pair가 실제 Difference를 만드는지 알고 싶다면 추가 Comparison이 필요합니다.

Disease C p=.7815는?

DrugDose Means Equality H₀를 Reject할 Evidence가 없습니다.

하지만 모든 Dose Mean이 정확히 같다는 것을 증명한 것은 아닙니다.

앞서 배운 Fail to Reject 원칙이 그대로 적용됩니다.

Two-Way ANOVA는 Sample Size를 절약하는 방법일까?

그렇게 단순하게 말할 수는 없습니다.

하지만 Factorial Design은 한 Study에서 두 Main Effects와 Interaction을 동시에 평가할 수 있다는 장점이 있습니다.

예를 들어 DrugDose와 Disease를 별도 Study로 분석하는 것보다 Factor Combination Data를 활용해 더 다양한 Research Question을 다룰 수 있습니다.

그러나 Model Complexity도 증가한다

Factor가 늘어나면:

Main Effects
Two-Way Interactions
Higher-Order Interactions

이 빠르게 증가합니다.

따라서 n-Way ANOVA에서는 Model Specification과 Scientific Interpretation이 더 중요해집니다.

세 Factor가 있다면?

Factor A

가 있으면:

Main Effects:

A, B, C

Two-Way Interactions:

A×B

A×C

B×C

Three-Way Interaction:

A×B×C

까지 고려할 수 있습니다.

이것이 n-Way ANOVA로 확장되는 구조입니다.

하지만 Interaction을 무조건 모두 넣으면 좋은가?

아닙니다.

Model은:

Study Design
Scientific Plausibility
Pre-Specified Analysis Plan

을 반영해야 합니다.

Interaction Terms가 많아지면 Degrees of Freedom을 많이 사용하고 Interpretation도 복잡해집니다.

Two-Way ANOVA에서 Model Hierarchy를 유지하는 이유

A×B Interaction을 포함한다면 A와 B Main Effects도 일반적으로 함께 포함합니다.

왜냐하면 Interaction을 해석하려면 각 Factor의 기본 수준 Effect가 Model에 있어야 하기 때문입니다.

이를 Hierarchical Model Principle과 연결해 생각할 수 있습니다.

SAS Enterprise Guide의 분석 흐름

교재의 Drug Example은 다음 순서로 진행합니다.

Drug Dataset

↓

Summary Statistics

↓

BloodP를 Analysis Variable로 지정

↓

Disease와 DrugDose를 Classification Variables로 지정

↓

Group Means 탐색

↓

Interaction 가능성 확인

↓

Linear Models Task

↓

BloodP:

Dependent Variable

DrugDose + Disease:

Classification Variables

↓

Model에 Main Effects + Interaction 추가

↓

Run

입니다.

SAS Output을 읽는 순서

Two-Way ANOVA에서는 다음 순서가 좋습니다.

1. Class Levels

Factor와 Levels 확인

2. Number of Observations

Read / Used N 확인

3. Cell N 확인

Balanced / Unbalanced 여부 확인

4. Combination Means 확인

Interaction Pattern 탐색

5. Overall Model F Test

전체 Model Difference Evidence 확인

6. Interaction Test

가장 먼저 해석

7. Interaction Significant?

Yes

↓

Main Effect 단순 해석 자제

↓

Simple Effects / LSMeans 확인

↓

Main Effects 해석

8. Type III Tests

Unbalanced Data에서 Adjusted Effects 확인

9. LSMeans / Slice Results

Conditional Effect 확인

10. Practical Interpretation

실제 Effect Direction과 Magnitude 평가

입니다.

Drug Example의 전체 결과를 한 번에 정리하면

Overall Model:

F = 7.66

p < .0001

입니다.

Type III:

DrugDose

F=.26

p=.8551

Disease

F=21.66

p<.0001

Interaction

F=6.60

p<.0001

입니다.

Interaction이 Significant하므로 DrugDose Main Effect p=.8551을 독립적으로 단순 해석하면 안 됩니다.

Simple Effect Result

Disease A:

DrugDose p=.0029

Disease B:

DrugDose p<.0001

Disease C:

DrugDose p=.7815

입니다.

즉:

Disease A

Dose Effect 있음

Disease B

Dose Effect 있음

Disease C

Dose Effect 없음

입니다.

그리고 A와 B에서는 Effect Direction 자체가 반대입니다.

교재의 해석에서도 Disease별 Conclusion이 달라진다

첨부 교재는 Slice Analysis 이후 DrugDose Effect가 Disease A와 B에서 Significant하지만 Disease C에서는 그렇지 않다고 설명합니다.

즉 하나의 Overall DrugDose Effect로 모든 Patients를 설명할 수 없는 상황입니다.

이것이 Interaction Analysis가 필요한 이유입니다.

흔한 오해 정리

“Two-Way는 Group이 두 개라는 뜻이다”

아닙니다.

Categorical Factors가 두 개라는 뜻입니다.

“Factor가 두 개면 각각 One-Way ANOVA를 하면 된다”

그렇게 하면 Factor 간 Interaction을 평가할 수 없습니다.

“Main Effect p<.05인 Factor만 중요하다”

Interaction이 Significant하면 Main Effect만으로 해석하면 Misleading할 수 있습니다.

“Main Effect p>.05이면 그 Factor는 아무 Effect가 없다”

아닙니다.

Drug Example의 DrugDose는 Main Effect p=.8551이지만 Disease A와 B에서는 Simple Effect가 Significant합니다.

“Interaction p<.05이면 두 Factor가 서로 Correlated되어 있다는 뜻이다”

아닙니다.

한 Factor의 Effect가 다른 Factor Level에 따라 달라진다는 의미입니다.

“Interaction이 있으면 모든 Combination Means가 서로 다르다”

아닙니다.

Effect Pattern이 다른 Factor Level에 따라 달라진다는 의미입니다.

“Interaction Plot의 Lines가 교차하면 반드시 Statistical Interaction이다”

아닙니다.

Graphical Pattern은 반드시 Statistical Interaction Test와 함께 확인해야 합니다.

“Lines가 교차하지 않으면 Interaction이 없다”

아닙니다.

Non-Parallel Pattern도 Interaction을 나타낼 수 있습니다.

“DrugDose가 Numeric이므로 반드시 Continuous Predictor로 넣어야 한다”

아닙니다.

교재에서는 DrugDose를 Ordinal Category로 보고 Classification Variable로 지정합니다.

“Overall Model p<.05이면 모든 Main Effect와 Interaction이 Significant하다”

아닙니다.

각 Effect Test를 별도로 확인해야 합니다.

“Drug Example에서 DrugDose p=.8551이므로 Drug를 투여해도 Blood Pressure에는 아무 영향이 없다”

잘못된 해석입니다.

Significant DrugDose×Disease Interaction으로 인해 Disease별 Effect가 다르며 A와 B에서는 DrugDose Simple Effect가 Significant합니다.

“Type I SS와 Type III SS는 항상 같다”

아닙니다.

Unbalanced Data에서는 달라질 수 있으며 교재 Drug Example에서도 값이 다릅니다.

“Interaction이 Non-Significant하면 무조건 Model에서 삭제해야 한다”

아닙니다.

교재는 Designed Experiment에서는 Interaction을 유지하는 접근도 일반적이라고 설명합니다.

“Randomized Block Design과 Two-Way ANOVA는 완전히 같은 목적이다”

아닙니다.

Block Design에서는 한 Factor가 Nuisance Variation Control 역할이고 Interaction이 없다고 가정하지만 일반 Two-Way ANOVA에서는 두 Factor의 Interaction 자체가 중요한 연구 질문일 수 있습니다.

Two-Way ANOVA의 전체 구조

전체 흐름을 정리하면 다음과 같습니다.

Continuous Response

↓

두 개의 Categorical Predictors 존재

↓

Factor A

Factor B

↓

Combination Means 생성

↓

Data Exploration

↓

Cell N

Mean

Pattern 확인

↓

Statistical Model:

Y = μ + A + B + A×B + Error

↓

Overall Model F Test

↓

Interaction Test 먼저 확인

↓

Interaction Significant

↓

A Effect가 B Level에 따라 달라짐

↓

Marginal Main Effect 해석 주의

↓

Combination LSMeans

Simple Effects

Slice Analysis

↓

Interaction Non-Significant

↓

Main Effects 해석

↓

Factor A Effect

Factor B Effect

↓

필요하면 Pairwise Comparisons

↓

Effect Magnitude + Practical Interpretation

입니다.

One-Way에서 Two-Way로 확장되는 핵심

One-Way ANOVA에서는:

하나의 Factor

↓

Group Means Difference

를 분석했습니다.

Two-Way ANOVA에서는:

두 개의 Factors

를 동시에 분석하면서 질문이 세 개로 확장됩니다.

Question 1

Factor A Effect가 있는가?

Question 2

Factor B Effect가 있는가?

Question 3

Factor A Effect가 Factor B에 따라 달라지는가?

즉 Interaction이 추가됩니다.

이 세 번째 질문이 Two-Way ANOVA의 핵심입니다.

핵심 정리

Two-Way ANOVA는 두 개의 Categorical Predictor를 하나의 Statistical Model에 동시에 포함하여 Continuous Response를 분석하는 방법입니다.

첨부 교재는 하나 이상의 Categorical Predictor와 Continuous Response를 사용하는 경우를 n-Way ANOVA라고 설명하며, 두 Predictor를 사용하면 Two-Way ANOVA가 됩니다. Randomized Block Design도 n-Way ANOVA의 특수한 형태입니다.

기본 Model은:

Factor A

Factor B

A×B Interaction

Error

입니다.

Drug Example에서는:

BloodP

Overall Mean

Disease Effect

DrugDose Effect

DrugDose×Disease Interaction

Residual

입니다.

Two-Way ANOVA에서 가장 중요한 원칙은 Interaction을 먼저 확인하는 것입니다.

첨부 교재도 n-Way ANOVA with Interactions에서는 Interaction Tests를 먼저 확인해야 하며, Interaction이 Significant하면 Main Effect Tests가 Misleading할 수 있다고 설명합니다. 특히 Unbalanced Data에서는 이 문제가 더 중요합니다.

교재의 Drug Data에서는:

Overall Model

F=7.66

p<.0001

이고 Type III Tests는:

DrugDose

p=.8551

Disease

p<.0001

DrugDose×Disease

p<.0001

입니다.