Two-Way ANOVA에서 가장 중요한 개념 가운데 하나가 Interaction Effect입니다.

Main Effect만 보면 각 Factor가 Response에 영향을 주는지 확인할 수 있습니다.

하지만 현실에서는 한 Factor의 Effect가 항상 일정하지 않을 수 있습니다.

예를 들어 Drug Dose가 Blood Pressure를 낮추는 효과가 있다고 가정해보겠습니다.

그런데:

• Disease A에서는 Dose가 증가할수록 Blood Pressure가 크게 감소하고
• Disease B에서는 반대로 증가하며
• Disease C에서는 거의 변화가 없다면

단순히:

“DrugDose가 Blood Pressure에 영향을 주는가?”

라는 질문만으로는 Data를 제대로 설명할 수 없습니다.

더 중요한 질문은 다음과 같습니다.

“DrugDose의 효과가 Disease Type에 따라 달라지는가?”

바로 이것이 Interaction Effect입니다.

Interaction Effect는 한 Predictor의 Response에 대한 효과가 다른 Predictor의 Level에 따라 달라지는 현상입니다.

첨부 교재에서도 Interaction을 한 변수의 Group Mean Difference가 다른 변수의 Level에 따라 달라지는 경우로 설명하며, DrugDose와 Disease Example에서는 Drug Effect가 Disease Type에 따라 변화하기 때문에 Interaction이 존재한다고 설명합니다.

Main Effect만으로 설명할 수 없는 상황

Two-Way ANOVA에서는 기본적으로 다음 세 가지 Effect를 분석할 수 있습니다.

Factor A Main Effect

예:

DrugDose Effect

Factor B Main Effect

예:

Disease Effect

Interaction Effect

예:

DrugDose × Disease

입니다.

Statistical Model로 표현하면:

Y

=

Overall Mean

Factor A

Factor B

A×B

Error

입니다.

여기서 A×B가 Interaction입니다.

Interaction을 가장 쉽게 이해하는 질문

다음 문장으로 기억하면 좋습니다.

“A의 효과가 B에 따라 달라지는가?”

예를 들어:

DrugDose Effect가 Disease Type에 따라 달라지는가?

또는 반대로:

Disease Difference가 DrugDose Level에 따라 달라지는가?

입니다.

Interaction은 대칭적이기 때문에 두 방식 모두 같은 Statistical Interaction을 설명합니다.

“DrugDose와 Disease가 서로 관계가 있다”는 뜻일까?

아닙니다.

Interaction을 두 Predictor 간 Correlation이나 Association으로 이해하면 안 됩니다.

Interaction은:

두 Predictor가 Response에 미치는 효과가 서로 독립적으로 Additive하지 않다.

는 의미입니다.

즉 Predictor A와 B 자체가 서로 상관되어 있다는 뜻이 아닙니다.

Additive Effect란 무엇인가?

Interaction이 없는 Model을 생각해보겠습니다.

Y = μ + A + B + Error

입니다.

이 경우 A의 Effect는 B Level에 관계없이 일정하다고 봅니다.

예를 들어 DrugDose 100 mg가 Placebo보다 Blood Pressure를 평균:

-10

낮춘다고 가정하겠습니다.

Interaction이 없다면 Disease A에서도 대략 -10,

Disease B에서도 대략 -10,

Disease C에서도 대략 -10

처럼 Dose Effect가 비슷한 구조입니다.

즉 Factor Effects를 단순히 더해서 Response Pattern을 설명할 수 있습니다.

Interaction이 있으면 Additive Model이 부족해진다

이번에는 DrugDose 100 mg Effect가:

Disease A

-25

Disease B

+30

Disease C

-5

라고 해보겠습니다.

하나의 공통적인 DrugDose Effect로 설명할 수 없습니다.

따라서:

DrugDose Effect

Disease Effect

만으로는 부족하고:

DrugDose × Disease Interaction

이 필요합니다.

Interaction은 “효과의 효과”라고 생각할 수도 있다

조금 더 직관적으로 표현하면:

다른 Factor가 첫 번째 Factor의 Effect를 수정한다.

고 생각할 수 있습니다.

예를 들어 Disease Type이 Drug Response를 Modifier처럼 작용합니다.

Disease A에서는 Drug가 Benefit 방향,

Disease B에서는 반대 방향,

Disease C에서는 거의 Effect 없음

이라면 Disease는 DrugDose Effect의 Pattern을 변화시키고 있습니다.

첨부 교재의 Drug Example

교재에서는 Continuous Response:

BloodP

를 분석합니다.

Factor 1:

DrugDose

• Placebo
• 50 mg
• 100 mg
• 200 mg

Factor 2:

Disease

• A
• B
• C

입니다.

총:

4 × 3 = 12 Treatment Combinations

이 존재합니다.

교재의 Overall Model은 이 12개의 Combination Means가 모두 같은지 먼저 평가합니다.

Drug Example의 Combination Means

교재에서 제시한 LSMeans를 보면 Interaction Pattern이 매우 분명합니다.

Disease A

Placebo:

1.33

50 mg:

-9.69

100 mg:

-26.23

200 mg:

-22.56

Disease B

Placebo:

-8.13

50 mg:

5.40

100 mg:

24.79

200 mg:

23.23

Disease C

Placebo:

0.43

50 mg:

-4.85

100 mg:

-5.14

200 mg:

1.31

입니다.

Disease A에서는 어떤 Effect가 보일까?

Placebo:

1.33

에서:

100 mg:

-26.23

까지 크게 감소합니다.

즉 Dose가 증가하면서 BloodP가 Negative Direction으로 이동합니다.

교재 Context에서는 Blood Pressure를 낮추는 효과로 볼 수 있습니다.

Disease B에서는 완전히 반대다

Placebo:

-8.13

인데:

100 mg:

24.79

입니다.

즉 Drug를 투여하면서 BloodP가 Positive Direction으로 크게 증가합니다.

따라서 Disease A와 Disease B에서 DrugDose Effect의 Direction 자체가 반대입니다.

Disease C에서는?

0.43

-4.85

-5.14

1.31

정도로 큰 일관된 Dose Pattern이 보이지 않습니다.

즉 Disease C에서는 DrugDose Effect가 제한적으로 보입니다.

이 세 Pattern을 평균내면 어떤 일이 생길까?

Disease A에서는 큰 Negative Effect,

Disease B에서는 큰 Positive Effect가 존재합니다.

두 Effect가 서로 반대 방향이기 때문에 전체 Disease를 평균내면 서로 Cancel될 수 있습니다.

그 결과 Overall DrugDose Main Effect는 거의 없어 보일 수 있습니다.

실제로 교재의 Type III Test에서 DrugDose Main Effect는:

F = 0.26

p = 0.8551

입니다.

DrugDose p=.8551만 보면 어떤 결론을 내리기 쉬울까?

다음처럼 말하기 쉽습니다.

“DrugDose는 Blood Pressure에 영향이 없다.”

하지만 이것은 이 Data에서는 잘못된 해석이 될 수 있습니다.

왜냐하면 Interaction Result가:

DrugDose × Disease

F = 6.60

p < .0001

로 매우 Significant하기 때문입니다.

즉 DrugDose Effect는 존재하지 않는 것이 아니라 Disease Type에 따라 크게 달라지고 있는 것입니다.

이것이 Interaction이 Main Effect를 Mask하는 방식이다

전체 평균에서는:

Negative Effect

Positive Effect

↓

Cancel

↓

Main Effect 작아짐

입니다.

하지만 Subgroup 내부에서는 매우 강한 Effect가 존재합니다.

따라서 Significant Interaction이 존재하는 상황에서 Main Effect 하나만 보고 해석하면 실제 Pattern을 숨길 수 있습니다.

교재도 Interaction을 먼저 확인하라고 명확하게 설명한다

첨부 교재에서는 Type III Results를 해석할 때 Interaction Test를 먼저 확인해야 한다고 설명합니다.

그 이유는 Interaction이 존재한다는 것이 정의상:

각 Main Effect의 효과가 다른 Main Effect의 Level에 따라 달라진다는 의미

이기 때문입니다.

DrugDose×Disease p-value는:

<.0001

이므로 α=.05에서 Interaction Null Hypothesis를 Reject합니다.

교재는 따라서 Drug Level의 Effect가 Disease Type에 따라 달라진다고 결론냅니다.

Interaction의 Null Hypothesis는 무엇일까?

개념적으로:

H₀

Interaction = 0

입니다.

즉:

Factor A Effect가 Factor B Levels에서 동일하다.

라고 생각할 수 있습니다.

Drug Example에서는:

DrugDose Effect가 Disease A, B, C에서 동일하다.

는 방향입니다.

Alternative는:

적어도 일부 Disease Level에서 DrugDose Effect가 다르다.

입니다.

Interaction p<.05이면 무엇을 말할 수 있을까?

다음과 같이 표현할 수 있습니다.

DrugDose Effect가 Disease Type에 따라 달라진다는 Statistical Evidence가 있다.

하지만 여기서도 아직 질문이 남습니다.

• 어느 Disease에서 Drug Effect가 있는가?
• Direction은 무엇인가?
• 어떤 Dose가 다른가?

Interaction p-value만으로는 이 세부 정보까지 알 수 없습니다.

Interaction Test는 Global Test다

ANOVA Overall Test와 비슷합니다.

Interaction Test도:

모든 Interaction Contrast가 0인가?

라는 Overall Question을 평가합니다.

Significant하면:

Interaction Pattern이 존재한다.

는 Evidence를 주지만 정확한 Conditional Effect를 모두 알려주지는 않습니다.

따라서 다음 단계가 필요합니다.

Interaction 이후에는 Simple Effects를 본다

첨부 교재에서는 DrugDose×Disease Interaction이 Significant하기 때문에 Disease 각 Level에서 DrugDose Effect를 따로 분석합니다.

즉:

Disease A에서 DrugDose Effect?

Disease B에서는?

Disease C에서는?

를 각각 평가합니다.

이를 Simple Effects Test라고 합니다.

Simple Effect란 무엇인가?

다른 Factor를 특정 Level에 고정했을 때 한 Factor의 Effect를 평가하는 것입니다.

예:

Disease A로 고정

DrugDose:

Placebo

50

100

200

의 Means가 같은가?

Disease B로 고정

같은 질문

Disease C로 고정

같은 질문

입니다.

즉 Interaction을 조건부 Effect로 분해합니다.

SAS의 SLICE Option

첨부 교재에서는 SLICE= Option을 사용하여 Simple Effects Tests를 생성합니다.

교재가 제시하는 개념적 SAS Statement는:

lsmeans A*B / slice=B;

입니다.

이는 A×B Interaction이 Significant한 경우 B의 각 Level 안에서 A Effect를 Test하는 구조입니다.

Drug Example에서는 Disease별 DrugDose Effect를 Test합니다.

Slice Test Result

첨부 교재에서는 다음 결과를 제시합니다.

Disease A

DF = 3

F = 4.87

p = 0.0029

Disease B

DF = 3

F = 8.14

p < .0001

Disease C

DF = 3

F = 0.36

p = 0.7815

입니다.

Disease A에서는?

p=.0029입니다.

따라서:

H₀

Placebo = 50 mg = 100 mg = 200 mg

를 Reject할 Evidence가 있습니다.

즉 Disease A에서는 DrugDose Effect가 존재합니다.

Disease B에서는?

p<.0001입니다.

따라서 DrugDose Means가 모두 동일하다는 H₀를 Reject합니다.

즉 Disease B에서도 DrugDose Effect가 존재합니다.

Disease C에서는?

p=.7815입니다.

따라서 DrugDose Means Equality H₀를 Reject할 Evidence가 없습니다.

즉 교재는 DrugDose Effect가 Disease A와 B에서는 Significant하지만 Disease C에서는 Significant하지 않다고 설명합니다.

Main Effect와 Simple Effect의 차이

DrugDose Main Effect

모든 Disease Levels에 걸쳐 DrugDose를 평균적으로 비교

DrugDose Simple Effect within Disease A

Disease A Patient에서만 DrugDose 비교

입니다.

Drug Example에서는:

Main DrugDose p=.8551

이지만:

Disease A Slice p=.0029

Disease B Slice p<.0001

입니다.

즉 Main Effect와 Conditional Effect가 전혀 다를 수 있습니다.

왜 Main Effect가 이렇게 다르게 나올까?

Main Effect는 각 Disease Pattern을 한데 평균내기 때문입니다.

Disease A:

Negative Drug Effect

Disease B:

Positive Drug Effect

↓

Average

↓

서로 상쇄

입니다.

따라서 DrugDose가 중요하지 않은 것이 아니라 DrugDose에 대한 반응이 Disease에 따라 다르다는 것이 핵심입니다.

Interaction은 “Subgroup에서만 Significant”와 같은 말일까?

완전히 같지 않습니다.

이 부분은 매우 중요합니다.

예를 들어:

Group A에서는 p=.03

Group B에서는 p=.20

이라고 해서:

A와 B 사이에 Interaction이 있다.

고 자동으로 말할 수는 없습니다.

정확한 Interaction 질문은:

A의 Effect와 B의 Effect가 Statistical하게 서로 다른가?

입니다.

즉:

Significant in one subgroup

Not significant in another subgroup

만으로 Interaction을 증명하면 안 됩니다.

Interaction Term 자체를 검정해야 합니다.

왜 Subgroup p-value 비교가 위험할까?

예를 들어:

Subgroup A:

Effect = 10

SE = 4

p=.03

Subgroup B:

Effect = 9

SE = 6

p=.15

일 수 있습니다.

두 Effect Estimate:

10

vs.

9

는 사실 거의 같습니다.

단지 Sample Size나 Precision 때문에 한쪽만 p<.05가 되었을 수 있습니다.

즉:

p-value Difference

≠

Effect Difference

입니다.

Interaction Test는 바로 Effect Difference 자체를 평가합니다.

Drug Example은 그보다 훨씬 강한 Interaction이다

Disease A에서는 Drug Effect가 Negative,

Disease B에서는 Positive입니다.

즉 단순한 Statistical Significance 차이를 넘어 Effect Direction 자체가 반대입니다.

이러한 Pattern은 Interaction의 직관적인 Example입니다.

Interaction Plot을 사용하면 이해가 쉬워진다

X축:

DrugDose

Y축:

Mean BloodP

Line:

Disease A

Disease B

Disease C

로 그릴 수 있습니다.

각 Disease Line이 Dose 변화에 따라 어떻게 움직이는지 보면 Interaction을 시각적으로 확인할 수 있습니다.

Parallel Lines는 무엇을 의미할까?

예:

Disease A

10 → 5 → 0 → -5

Disease B

20 → 15 → 10 → 5

두 Line은 거의 Parallel합니다.

Disease B가 항상 A보다 10 높지만 Dose Effect는 둘 다:

-5씩 감소

로 동일합니다.

즉 Disease Main Effect는 있을 수 있지만 DrugDose×Disease Interaction은 크지 않습니다.

왜 평행하면 Interaction이 없다고 생각할까?

Factor A의 Level이 변할 때 Response Change가 Factor B 모든 Levels에서 동일하기 때문입니다.

즉:

DrugDose Effect

가:

Disease A에서도 동일

Disease B에서도 동일

입니다.

따라서 Additive Model로 설명할 수 있습니다.

Non-Parallel Lines는?

Effect 크기가 다르다는 Signal입니다.

예:

Disease A

10 → 5 → 0

Disease B

10 → 8 → 6

입니다.

둘 다 감소하지만 A에서 Dose Effect가 훨씬 큽니다.

Lines는 Non-Parallel합니다.

이것도 Interaction일 수 있습니다.

Interaction은 반드시 Lines가 교차해야 할까?

아닙니다.

Lines가 교차하지 않아도 Slope Difference가 존재하면 Interaction이 있을 수 있습니다.

예를 들어 한 Line은 가파르게 감소하고 다른 Line은 조금 감소한다면 Effect Magnitude가 다릅니다.

따라서:

Crossing Lines

는 Interaction의 강한 Visual Pattern일 수 있지만 Interaction의 필수조건은 아닙니다.

Crossing Interaction이란?

두 Factor Level의 Effect Direction이 뒤집히면서 Lines가 교차하는 Pattern입니다.

Drug Example의 Disease A와 B가 이에 가까운 형태입니다.

Disease A:

Dose ↑

↓

BloodP ↓

Disease B:

Dose ↑

↓

BloodP ↑

입니다.

이런 경우 Marginal Main Effect가 특히 크게 Mask될 수 있습니다.

Ordinal Interaction이란 개념도 생각할 수 있다

Direction은 같지만 Effect Magnitude만 달라지는 Pattern입니다.

예:

Disease A:

Drug Effect = -20

Disease B:

Drug Effect = -5

입니다.

둘 다 Blood Pressure를 낮추지만 A에서 훨씬 강합니다.

이 역시 Interaction입니다.

즉 Interaction은 반드시 Effect Direction Reversal을 의미하지 않습니다.

Graph만으로 Interaction을 확정하면 안 된다

Sample Means는 Random Variation의 영향을 받습니다.

Lines가 약간 Non-Parallel해 보여도 Statistical Interaction Test에서는 p>.05가 나올 수 있습니다.

따라서:

Interaction Plot

↓

Pattern 탐색

그리고:

Interaction F Test

↓

Statistical Evidence 확인

을 함께 해야 합니다.

반대로 p>.05이면 완벽하게 평행하다는 뜻일까?

아닙니다.

Interaction H₀를 Reject할 Evidence가 충분하지 않다는 의미입니다.

Sample Size가 작으면 실제 Interaction을 Detect하지 못할 수도 있습니다.

따라서 Interaction Estimate와 Confidence Interval, Cell Size도 중요할 수 있습니다.

Interaction은 Sample Size를 많이 요구할 수 있다

Main Effect보다 Interaction Effect는 Detect하기 어려운 경우가 있습니다.

왜냐하면 Factor Combination별로 Data를 나누어 Pattern Difference를 비교하기 때문입니다.

예를 들어:

4 Dose × 3 Disease

이면 12 Cells가 있습니다.

전체 N이 170이어도 Cell당 N은 12~18 정도입니다.

따라서 전체 N만 보고 Interaction Precision을 판단해서는 안 됩니다.

Cell-level Sample Size가 중요한 이유

Interaction은 Combination Means의 Difference Pattern을 이용합니다.

특정 Cell에 Observation이 매우 적으면 그 Mean Estimate가 불안정해질 수 있습니다.

따라서 Two-Way ANOVA에서는:

Total N

뿐 아니라:

각 A×B Cell N

을 확인해야 합니다.

Unbalanced Data에서는 특히 중요하다

첨부 교재의 Drug Data는 Combination별 Sample Size가 동일하지 않습니다.

따라서 Unbalanced Design입니다.

이 경우 Main Effect Interpretation과 Sum of Squares 계산이 Balanced Design보다 복잡해집니다.

교재는 Type III Sum of Squares를 중심으로 결과를 해석하며 Interaction을 먼저 확인해야 한다고 설명합니다.

Type III SS와 Interaction

교재는 Type III SS를 Particular Variable을 이미 다른 모든 Model Variables가 포함된 Model에 추가했을 때 증가하는 Model Sum of Squares로 설명합니다.

따라서 Model Order에 의존하지 않습니다.

교재는 일반적으로 Type III SS를 기반으로 Result를 Interpretation하고 Report한다고 설명합니다.

DrugDose×Disease Interaction Type III Result는:

F=6.60

p<.0001

입니다.

Interaction이 Significant한 경우 Main Effect는 틀린 값일까?

아닙니다.

Main Effect Calculation 자체가 틀린 것은 아닙니다.

그것은 Factor의 Marginal Average Effect를 나타냅니다.

문제는 Scientific Interpretation입니다.

Interaction이 강하면 하나의 Marginal Average가 서로 다른 Conditional Effects를 지나치게 단순화할 수 있습니다.

즉:

Main Effect는 존재하지만 해석 가치가 제한적일 수 있음

입니다.

예를 들어 평균 소득으로 이해해보자

가상의 Training Program을 분석한다고 하겠습니다.

Factor A:

Training

Factor B:

Experience Level

Response:

Productivity

입니다.

Program Effect가:

Beginner:

+20

Expert:

0

이라고 하겠습니다.

전체 평균 Training Effect:

+10

이 될 수 있습니다.

하지만 실제 의미는:

모든 직원이 +10 좋아진다.

가 아닙니다.

Beginner에게만 크게 효과적이고 Expert에게는 거의 영향이 없는 것입니다.

이것이 Interaction이 있는 상황에서 Marginal Mean이 숨기는 정보입니다.

Clinical Research에서는 Interaction이 왜 중요한가?

Treatment Effect가 Patient Subgroup에 따라 달라질 수 있기 때문입니다.

예:

Treatment

×

Biomarker Status

Treatment

×

Disease Severity

Treatment

×

Age Group

등입니다.

Interaction이 존재한다면:

평균적으로 Treatment가 효과가 있는가?

보다:

누구에게 Treatment가 효과적인가?

가 더 중요한 질문이 될 수 있습니다.

그러나 Subgroup Interaction은 특히 조심해야 한다

많은 Subgroup을 사후적으로 분석하면 False Positive Risk가 증가합니다.

예:

Age

Sex

Region

Disease Stage

Biomarker

등 수십 개 Interaction을 Test하면 일부 Significant Result가 우연히 발생할 수 있습니다.

따라서 Confirmatory Interaction은 가능한 한 Scientific Rationale과 Pre-Specification이 중요합니다.

Interaction p<.05가 자동으로 Clinical Effect Modification을 확정할까?

Statistical Interaction은 Statistical Scale에서의 Effect Heterogeneity를 의미합니다.

하지만 Clinical 또는 Biological Mechanism까지 자동으로 증명하는 것은 아닙니다.

다음도 함께 고려해야 합니다.

• Biological Plausibility
• Multiplicity
• Sample Size
• Reproducibility
• Study Design

즉 Statistical Interaction은 중요한 Evidence지만 Scientific Explanation 전체는 아닙니다.

Interaction은 Scale에 따라 달라질 수도 있다

예를 들어 Difference Scale에서는 Interaction이 보이지만 Ratio Scale에서는 Pattern이 다르게 보일 수 있습니다.

ANOVA에서는 기본적으로 Mean Difference라는 Additive Scale을 사용합니다.

따라서:

“Interaction이 존재한다.”

는 말도 어떤 Statistical Scale과 Model에서 평가했는지에 의존할 수 있습니다.

이것은 더 Advanced한 개념이지만 Interaction을 절대적인 자연법칙처럼 해석하지 않는 데 중요합니다.

Categorical × Categorical Interaction

현재 Drug Example이 여기에 해당합니다.

DrugDose를 Classification Variable로 처리하고 Disease도 Categorical입니다.

따라서:

Categorical A × Categorical B

Interaction입니다.

각 Factor Combination Means를 직접 비교할 수 있습니다.

Continuous Predictor가 들어가면?

Regression에서는:

Continuous X × Categorical Group

또는:

Continuous X₁ × Continuous X₂

Interaction도 만들 수 있습니다.

예를 들어:

Age × Treatment

Interaction이면 Treatment Effect가 Age에 따라 달라질 수 있다는 의미입니다.

즉 Interaction 개념은 ANOVA에만 존재하지 않습니다.

Regression Interaction과 원리는 같다

Regression Model:

Y = β₀ + β₁X + β₂Z + β₃XZ + ε

에서:

β₃

가 Interaction Term입니다.

β₃≠0이면 X의 Slope가 Z에 따라 달라집니다.

즉 ANOVA에서:

Group Difference가 다른 Factor Level에 따라 달라지는 것과 같은 원리입니다.

Logistic Regression에서도 Interaction이 등장한다

첨부 교재의 Chapter 6에도 Stepwise Selection with Interactions가 있습니다.

즉 Response가 Binary가 되어도 Predictor Effects가 서로 달라지는 Interaction을 분석할 수 있습니다.

다만 Interpretation Scale은 Log Odds 등으로 달라집니다.

Interaction은 Statistics 전반의 공통 개념이다

ANOVA:

Mean Difference가 다른 Factor에 따라 달라짐

Regression:

Slope가 다른 Variable에 따라 달라짐

Logistic Regression:

Predictor Effect on Log Odds가 다른 Variable에 따라 달라짐

입니다.

즉 지금 Interaction을 제대로 이해해두면 이후 Regression에서도 그대로 활용됩니다.

Interaction과 Confounding은 같은가?

아닙니다.

Confounding

세 번째 Variable 때문에 Exposure와 Outcome의 Association이 왜곡됨

Interaction

Effect 자체가 세 번째 Variable Level에 따라 달라짐

입니다.

둘은 완전히 다른 개념입니다.

Block Effect와 Interaction도 구분해야 한다

Randomized Block Design에서는 Block이 Response Variation을 설명하지만 Treatment Effect 자체는 Block마다 일정하다고 가정합니다.

즉 Basic Block Model:

Treatment + Block

입니다.

일반 Two-Way ANOVA에서는:

A + B + A×B

처럼 Interaction 자체를 관심 대상으로 분석할 수 있습니다.

따라서:

Block Effect 존재

≠

Interaction 존재

입니다.

교재는 Randomized Block Design과 일반 Interaction Model을 구분한다

앞선 Garlic Example에서는 Sector가 Blocking Factor입니다.

Primary Interest는 Fertilizer입니다.

기본적으로 Fertilizer Effect가 Sector마다 동일하다고 가정합니다.

반면 DrugDose × Disease에서는 두 Factors가 모두 Scientific Interest이며 DrugDose Effect가 Disease에 따라 달라지는지를 직접 Test합니다.

이 차이를 이해해야 합니다.

Interaction이 Non-Significant하면 어떻게 할까?

Two-Way ANOVA에서:

Interaction p>.05

라면 Interaction H₀를 Reject하지 못합니다.

즉 Factor A Effect가 Factor B Level에 따라 다르다고 볼 충분한 Evidence가 없습니다.

이 경우 Main Effects Interpretation이 상대적으로 단순해질 수 있습니다.

그렇다면 Interaction Term을 Model에서 빼야 할까?

항상 그런 것은 아닙니다.

Study Design과 Pre-Specified Model에 따라 달라집니다.

Designed Experiment에서는 중요한 Interaction을 사전에 포함하도록 설계했다면 Non-Significant하더라도 Model에 유지할 수 있습니다.

반면 Exploratory/Observational Context에서는 Non-Significant Interaction을 제거해 단순 Model을 고려할 수도 있습니다.

즉 p-value 하나로 자동 Model Selection을 하면 안 됩니다.

Hierarchy Principle

Model에:

A×B

Interaction을 포함한다면 일반적으로:

A

B

Main Effects도 포함합니다.

Interaction은 Lower-Order Terms 위에서 정의되는 Higher-Order Effect이기 때문입니다.

즉:

A×B만 넣고 A와 B를 빼는 것

은 일반적인 Hierarchical Model 원칙과 맞지 않을 수 있습니다.

Interaction이 Significant하면 Main Effect를 삭제해야 할까?

아닙니다.

오히려 Hierarchy 때문에 Main Effects를 Model에 유지하는 경우가 일반적입니다.

다만 Interpretation에서는 Main Effects보다 Conditional Effects를 더 중요하게 봅니다.

즉:

Model에 Main Effect 유지

와:

Main Effect를 독립적으로 해석

은 서로 다른 문제입니다.

Main Effect가 Non-Significant인데 Interaction이 Significant한 것은 이상한가?

전혀 이상하지 않습니다.

Drug Example이 바로 그렇습니다.

DrugDose Main Effect:

p=.8551

Interaction:

p<.0001

입니다.

서로 반대 방향의 Conditional Effects가 평균에서 상쇄되면 충분히 가능한 Pattern입니다.

두 Main Effect 모두 Non-Significant하지만 Interaction만 Significant할 수도 있을까?

가능합니다.

예를 들어:

Group B1에서 A Effect = +20

Group B2에서 A Effect = -20

이라고 하면 A Marginal Effect는 0입니다.

또 B Marginal Effect도 0이 될 수 있습니다.

하지만 A×B Interaction은 매우 큽니다.

즉 Main Effect가 없어도 Interaction이 존재할 수 있습니다.

Main Effect가 둘 다 Significant해도 Interaction은 없을 수 있다

예:

A Effect:

항상 +10

B Effect:

항상 +20

이라면:

A Main Effect Significant

B Main Effect Significant

하지만 A Effect가 B에 따라 변하지 않으므로 Interaction은 없습니다.

즉 Main Effect Significance와 Interaction Significance는 독립적인 질문입니다.

네 가지 Pattern을 생각하면 이해하기 쉽다

Pattern 1

A Main Effect 있음

B Main Effect 없음

Interaction 없음

Pattern 2

A Main Effect 있음

B Main Effect 있음

Interaction 없음

Pattern 3

Main Effects 제한적

Interaction 큼

Pattern 4

Main Effects + Interaction 모두 존재

모두 가능합니다.

따라서 Two-Way ANOVA Output은 세 Effect를 각각 구조적으로 확인해야 합니다.

Interaction Interpretation에서 Difference of Differences가 중요하다

두 Factor가 각각 2 Levels라고 가정해보겠습니다.

Factor A Effect in B1:

Mean(A1,B1) – Mean(A2,B1)

Factor A Effect in B2:

Mean(A1,B2) – Mean(A2,B2)

입니다.

Interaction은 이 두 Difference가 같은지 보는 것으로 생각할 수 있습니다.

즉:

Interaction

=

Difference 1 – Difference 2

입니다.

이를 Difference of Differences라고 이해하면 매우 직관적입니다.

Example

B1에서:

A Treatment – Control = 10

B2에서:

A Treatment – Control = 10

이면:

Interaction:

10 – 10 = 0

입니다.

반면:

B1:

+20

B2:

-10

이면:

Interaction:

20 – (-10)

=

30

입니다.

즉 강한 Interaction입니다.

이것이 “효과가 달라진다”의 수학적 의미다

한 Factor Effect:

Difference

를 다른 Factor Level 사이에서 다시 비교하는 것입니다.

따라서 Interaction은 단순 Group Means가 다른 것이 아니라 Group Mean Difference 자체가 달라지는 것입니다.

Interaction Plot에서도 Difference of Differences가 보인다

두 Lines의 Slope가 같으면:

Difference of Differences ≈ 0

↓

Parallel Lines

입니다.

Slope가 다르면:

Difference of Differences ≠ 0

↓

Non-Parallel Lines

입니다.

따라서 Interaction Plot과 Statistical Definition이 연결됩니다.

Binary Factor 2개에서는 특히 직관적이다

예를 들어:

Factor A:

Treatment / Control

Factor B:

Male / Female

Response:

Score

라고 하겠습니다.

Male

Treatment = 80

Control = 70

Effect = +10

Female

Treatment = 100

Control = 70

Effect = +30

Interaction은:

30 – 10

=

20

입니다.

즉 Treatment Effect가 Sex에 따라 20만큼 다릅니다.

Main Treatment Effect는 무엇일까?

Male +10

Female +30

을 평균한:

약 +20

이 될 수 있습니다.

하지만 실제로는 Male에게 +10, Female에게 +30입니다.

Interaction이 중요한 연구에서는 평균 +20보다 이 조건부 Pattern이 더 유용할 수 있습니다.

Crossing Example에서는 더 극적이다

Male

Treatment Effect = +20

Female

Treatment Effect = -20

Marginal Treatment Effect는:

0

이 될 수 있습니다.

하지만 실제로는 매우 강한 Effect Modification이 존재합니다.

Drug Example과 같은 원리입니다.

Interaction을 해석할 때 반드시 Effect Direction을 봐야 하는 이유

Interaction p-value만 보면:

“효과가 다르다.”

까지만 압니다.

하지만 실제 Decision에는:

• Positive인가?
• Negative인가?
• 어느 Subgroup인가?
• Dose Pattern은?

이 중요합니다.

따라서 LSMeans와 Interaction Plot을 반드시 함께 보는 것이 좋습니다.

Drug Example에서 Scientific Interpretation

교재의 LSMeans와 Slice Test를 종합하면:

Disease A

고용량 Drug에서 BloodP가 크게 감소

DrugDose Effect:

p=.0029

Disease B

Drug 사용 시 BloodP가 크게 증가하는 Pattern

DrugDose Effect:

p<.0001

Disease C

큰 Dose Response Pattern 없음

DrugDose Effect:

p=.7815

입니다.

즉 하나의 “DrugDose 평균 Effect”로 이 세 Disease를 설명하는 것은 부적절합니다.

하지만 교재의 임상적 표현을 그대로 일반화하면 안 된다

교재는 교육용 Example에서 Disease A는 고용량 Drug로 적극 치료하고 Disease B에서는 Drug Treatment가 Mistake일 수 있으며 Disease C에서는 Effect가 없어 보인다는 식으로 해석을 제시합니다.

이는 해당 교육용 Dataset의 Statistical Pattern을 설명하기 위한 예입니다.

실제 Clinical Decision에서는:

• Safety
• Efficacy
• Dose-response
• Clinical Relevance
• Study Design

등 훨씬 더 많은 Evidence가 필요합니다.

Interaction Result는 Practical Significance도 필요하다

p<.0001이라고 해서 Interaction이 반드시 Clinical하게 중요하다는 뜻은 아닙니다.

예를 들어 Effect Difference가:

0.01

인데 Sample이 매우 크다면 Statistical Interaction이 Significant할 수 있습니다.

따라서:

Interaction Estimate

Confidence Interval

Clinical/Practical Threshold

을 함께 봐야 합니다.

Non-Significant Interaction도 CI가 중요하다

p=.10이라고 해서 Interaction Effect가 0임을 증명하는 것은 아닙니다.

CI가:

-1 ~ 1

처럼 매우 좁다면 큰 Interaction을 배제할 수 있습니다.

반면:

-100 ~ 100

처럼 넓다면 매우 큰 Positive/Negative Interaction 가능성을 모두 포함합니다.

따라서 Precision을 봐야 합니다.

Multiple Testing과 Interaction

Interaction 후보가 하나뿐이면 비교적 단순합니다.

하지만:

Treatment×Sex

Treatment×Age

Treatment×Region

Treatment×Biomarker

Treatment×Site

등 많은 Interaction을 탐색하면 Multiple Testing 문제가 발생합니다.

따라서 Exploratory Subgroup Analysis는 Confirmatory Evidence와 구분해서 해석해야 합니다.

Data-driven Interaction Selection의 위험

Result를 본 뒤:

“어느 Subgroup에서 p<.05가 나오나 모두 찾아보자.”

라고 하면 False Positive Risk가 증가합니다.

따라서 가능하면:

Scientific Rationale

↓

Pre-Specified Interaction

↓

Statistical Test

의 순서가 중요합니다.

Interaction은 Replication이 특히 중요할 수 있다

Subgroup별 Sample Size가 작고 Interaction Estimate가 불안정할 수 있기 때문입니다.

한 Study에서 발견된 Interaction이 다른 Study에서 재현되는지 확인하면 Evidence가 더 강해집니다.

즉 Interaction Result도 p-value 하나로 끝내면 안 됩니다.

SAS Output에서 Interaction을 찾는 방법

Two-Way ANOVA의 Type III Tests에서 다음처럼 표시될 수 있습니다.

DrugDose

Disease

DrugDose*Disease

입니다.

별표 *는 두 Factors의 Interaction Term을 나타냅니다.

Drug Example에서는:

DrugDose*Disease

↓

F=6.60

Pr>F <.0001

입니다.

가장 먼저 어떤 Row를 볼까?

Interaction을 포함한 Two-Way ANOVA라면:

DrugDose*Disease

Row를 먼저 봅니다.

첨부 교재도 Interaction을 먼저 해석하라고 명확하게 지시합니다.

그 후 Interaction Result에 따라 Main Effects 또는 Simple Effects로 이동합니다.

Interaction Non-Significant라면

다음과 같이 진행할 수 있습니다.

Interaction p ≥ α

↓

Interaction Evidence 부족

↓

Main Effects 해석

↓

필요하면 Main Effect Pairwise Comparison

입니다.

Interaction Significant라면

다음과 같습니다.

Interaction p < α

↓

Factor Effects가 Conditional

↓

Main Effect 단순 해석 주의

↓

Combination LSMeans 확인

↓

Interaction Plot 확인

↓

Simple Effects / Slice Tests

↓

필요한 Pairwise Comparisons

입니다.

SAS SLICE 결과를 읽는 방법

교재의 Table:

DrugDose*Disease Effect Sliced by Disease for BloodP

에서 Disease A, B, C 각각 Row가 있습니다.

각 Row의 Null Hypothesis는:

해당 Disease Level 안에서 모든 DrugDose LSMeans가 같다.

입니다.

따라서:

Disease A p=.0029

Disease B p<.0001

Disease C p=.7815

로 Conditional DrugDose Effect를 해석합니다.

Slice Test가 Significant하면 어느 Dose가 다른지도 알 수 있을까?

아닙니다.

Disease A Slice Test는:

Disease A에서 DrugDose Means가 모두 같은가?

라는 Overall Simple Effect Test입니다.

Significant하더라도:

Placebo vs 50?

Placebo vs 100?

50 vs 200?

중 어느 Pair가 다른지는 추가 Pairwise Comparison이 필요할 수 있습니다.

즉:

Interaction Global Test

↓

Simple Effect Global Test

↓

필요하면 Pairwise Test

라는 계층적 구조가 가능합니다.

여러 단계의 p-value를 혼동하면 안 된다

Two-Way ANOVA에서는 다음 p-values가 모두 나타날 수 있습니다.

• Overall Model p-value
• Factor A Main Effect p-value
• Factor B Main Effect p-value
• A×B Interaction p-value
• Slice/Simple Effect p-values
• Pairwise Comparison p-values

각각 서로 다른 Null Hypothesis입니다.

따라서 가장 작은 p-value 하나만 찾아서는 안 됩니다.

Interaction 분석의 전체 계층

다음처럼 이해하면 좋습니다.

Overall Model

↓

전체 Combination Means Difference?

↓

Interaction

↓

Effect Pattern이 다른 Factor에 따라 달라지는가?

↓

Simple Effects

↓

특정 B Level에서 A Effect가 있는가?

↓

Pairwise Comparisons

↓

정확히 어느 A Levels가 다른가?

입니다.

각 단계가 다른 질문에 답합니다.

Interaction이 연구 결론 자체를 바꿀 수 있다

Main Effect만 분석했다면:

DrugDose Effect 없음.

이라고 결론낼 수 있습니다.

Interaction을 분석하면:

DrugDose Effect는 Disease A와 B에서 존재하며, 두 Disease에서 Effect Direction이 반대이고 Disease C에서는 Effect Evidence가 없다.

가 됩니다.

완전히 다른 결론입니다.

즉 Interaction은 단순 부가적인 통계 Option이 아니라 Scientific Interpretation을 근본적으로 바꿀 수 있는 Effect입니다.

왜 Two-Way ANOVA에서 Interaction이 핵심인지 다시 정리하면

Factor가 두 개 있다는 것보다 더 중요한 것은:

두 Factor Effects를 단순히 더해서 Response를 설명할 수 있는가?

입니다.

Yes:

↓

Additive Model

No:

↓

Interaction Model 필요

입니다.

흔한 오해 정리

“Interaction은 두 Predictor가 서로 Correlated되어 있다는 뜻이다”

아닙니다.

한 Predictor의 Response Effect가 다른 Predictor Level에 따라 달라진다는 뜻입니다.

“Interaction이 있으면 두 Main Effects도 반드시 Significant하다”

아닙니다.

Drug Example에서는 DrugDose Main Effect p=.8551이지만 Interaction p<.0001입니다.

“Main Effect p>.05이면 해당 Factor는 아무 Effect가 없다”

Interaction이 Significant하면 잘못된 해석일 수 있습니다.

Disease별 Simple Effect를 확인해야 합니다.

“한 Subgroup p<.05, 다른 Subgroup p>.05면 Interaction이다”

아닙니다.

Interaction Term 자체를 Test해야 합니다.

“Interaction은 Lines가 교차해야만 존재한다”

아닙니다.

Non-Parallel Lines도 Interaction을 나타낼 수 있습니다.

“Lines가 평행하지 않아 보이면 Interaction이 무조건 Significant하다”

아닙니다.

Statistical Interaction F Test를 확인해야 합니다.

“Interaction p>.05면 Effect가 모든 Subgroup에서 완전히 동일하다”

아닙니다.

Interaction Difference를 Detect할 Evidence가 부족하다는 의미입니다.

“Interaction p<.05이면 Practical하게 중요한 Effect Modification이다”

아닙니다.

Effect Magnitude와 CI를 함께 봐야 합니다.

“Interaction이 Significant하면 Main Effects를 Model에서 삭제해야 한다”

아닙니다.

일반적으로 Hierarchical Model에서는 Main Effects를 유지하고 해석만 Conditional하게 합니다.

“Main Effects가 Significant하면 Interaction은 볼 필요 없다”

아닙니다.

Interaction이 Main Effect Interpretation을 바꿀 수 있으므로 Interaction부터 확인해야 합니다. 교재도 이를 명확하게 강조합니다.

“Simple Effect p=.0029이면 Disease A의 모든 Dose가 서로 다르다”

아닙니다.

Disease A에서 DrugDose Means가 모두 같다는 Overall H₀를 Reject했다는 의미입니다.

“Disease C p=.7815이면 모든 Dose가 완전히 같다”

아닙니다.

DrugDose Effect를 Detect할 Evidence가 부족하다는 의미입니다.

“Interaction은 ANOVA에서만 사용된다”

아닙니다.

Regression과 Logistic Regression에도 Interaction Term이 존재합니다.

Interaction Effect를 해석하는 추천 순서

SAS Output에서는 다음 순서가 좋습니다.

1. Factor와 Levels 확인

어떤 두 Predictors인가?

2. Cell N 확인

Combination별 Sample Size는?

3. Combination Means / LSMeans 확인

Pattern이 어떻게 다른가?

4. Interaction Plot 확인

Lines가 Parallel한가?

Direction이 바뀌는가?

5. Interaction Type III F Test 확인

A×B p-value는?

6. Interaction Significant?

Yes

↓

Main Effect 단독 해석 주의

No

↓

Main Effects 해석 가능

7. Significant Interaction이면

Simple Effects / Slice Tests

8. Conditional Means 확인

어느 Level에서 어떤 Direction인가?

9. 필요한 Pairwise Comparisons 수행

정확히 어느 Level이 다른가?

10. Practical Significance 확인

Effect Difference가 실제 중요한가?

입니다.

Drug Example의 분석 흐름

다시 전체를 연결해보겠습니다.

BloodP

↓

DrugDose 4 Levels

Disease 3 Levels

↓

12 Combination Means

↓

Overall Model:

F=7.66

p<.0001

↓

Combination Means 중 Difference 존재

↓

Interaction Test

DrugDose×Disease:

F=6.60

p<.0001

↓

Interaction 존재

↓

DrugDose Main Effect p=.8551을 단순 해석하지 않음

↓

Disease별 DrugDose Slice Test

↓

Disease A

p=.0029

Disease B

p<.0001

Disease C

p=.7815

↓

Combination LSMeans 확인

↓

Disease A:

Dose 증가와 함께 BloodP 감소

Disease B:

Dose 증가와 함께 BloodP 증가

Disease C:

뚜렷한 Dose Effect 없음

입니다.

Difference of Differences 관점으로 다시 보면

Interaction을 가장 간결하게 표현하면:

“한 Difference가 다른 Condition에서 같은가?”

입니다.

예:

Drug 100mg – Placebo Difference

를 Disease A와 Disease B에서 계산합니다.

Disease A:

약 -27.56

Disease B:

약 +32.92

입니다.

두 Differences가 매우 다릅니다.

즉 Difference of Differences가 큽니다.

이것이 DrugDose×Disease Interaction의 핵심입니다.

Interaction Plot은 결국 Difference of Differences의 시각화다

Lines가 Parallel하면:

Slope Difference ≈ 0

↓

Interaction 작음

Lines가 Non-Parallel하면:

Slope Difference ≠ 0

↓

Interaction 가능

Lines가 교차하면:

Effect Direction까지 변화

↓

강한 Interaction Pattern 가능

입니다.

따라서 Graphical Interpretation과 Statistical Definition이 서로 연결됩니다.

Interaction을 이해하면 Regression도 쉬워진다

앞으로 Multiple Regression에서:

X₁×X₂

Term을 보게 되면 같은 질문입니다.

X₁의 Effect가 X₂ Value에 따라 달라지는가?

ANOVA에서는 Factor Levels별 Mean Difference를 비교하고,

Regression에서는 Slope Difference를 비교합니다.

즉 지금 배우는 Interaction은 이후 Model Interpretation의 핵심 기반입니다.

핵심 정리

Interaction Effect는 한 Factor의 Response에 대한 효과가 다른 Factor의 Level에 따라 달라지는 현상입니다.

첨부 교재는 Interaction이 존재하면 정의상 각 Main Effect의 효과가 다른 Main Effect의 Level마다 달라진다고 설명하며, 따라서 Two-Way ANOVA에서는 Interaction Test를 먼저 확인해야 한다고 강조합니다.

Drug Example에서는:

DrugDose Main Effect

F=.26

p=.8551

이지만:

DrugDose×Disease Interaction

F=6.60

p<.0001

입니다.

DrugDose Main Effect만 본다면:

DrugDose Effect가 없다.

고 잘못 결론낼 수 있습니다.

하지만 Combination Means를 보면:

Disease A

Dose 증가와 함께 BloodP가 크게 감소

Disease B

Dose 증가와 함께 BloodP가 크게 증가

Disease C

뚜렷한 Dose Effect 없음

이라는 완전히 다른 Pattern이 존재합니다.

따라서 서로 반대되는 Disease-specific Effects가 전체 평균에서 상쇄되어 DrugDose Main Effect가 Non-Significant하게 나타난 것입니다.

Interaction이 Significant한 뒤 교재에서는 SAS SLICE= Option을 이용하여 Disease별 DrugDose Simple Effects를 Test합니다.

결과는:

Disease A

F=4.87

p=.0029

Disease B

F=8.14

p<.0001

Disease C

F=.36

p=.7815

입니다.

즉 DrugDose Effect는 Disease A와 B에서는 Significant하지만 Disease C에서는 Detect되지 않습니다.

Interaction을 가장 직관적으로 이해하는 방법은 Difference of Differences입니다.

Factor A의 Effect:

A1 – A2

가:

B1에서 얼마인지,

B2에서 얼마인지 비교합니다.

두 Differences가 같다면 Interaction이 작고,

다르면 Interaction이 존재합니다.

그래프로 표현하면:

Parallel Lines

↓

Interaction 작음

Non-Parallel Lines

↓

Interaction 가능

Crossing Lines

↓

Effect Direction까지 반전되는 강한 Interaction Pattern 가능

입니다.

하지만 Graph만으로 Statistical Interaction을 확정할 수 없으며 반드시 Interaction Term 자체의 F Test를 확인해야 합니다.

또 다음 해석도 피해야 합니다.

“Subgroup A는 p<.05이고 Subgroup B는 p>.05이므로 Interaction이 있다.”

Interaction은 두 Subgroup의 Effect 자체가 서로 다른지를 검정해야 합니다.

즉:

Difference in significance

가 아니라:

Significance of the difference

가 핵심입니다.

Two-Way ANOVA에서 Interaction을 해석하는 전체 순서는 다음과 같습니다.

Combination Means 확인

↓

Interaction Plot 확인

↓

A×B Interaction Test

↓

Interaction Significant?

↓

Yes

↓

Main Effect 단순 해석 제한

↓

Simple Effects / SLICE

↓

Conditional Means와 Direction 확인

↓

필요하면 Pairwise Comparison

↓

Practical Significance 평가

Interaction Effect의 핵심은 “A가 효과가 있는가?”라는 단순한 질문을 넘어, “A의 효과가 언제, 누구에게, 어떤 조건에서 달라지는가?”를 분석하는 데 있습니다.

이 개념을 이해하면 Two-Way ANOVA뿐 아니라 이후 Multiple Regression과 Logistic Regression에서 Interaction Term을 해석하는 기반까지 자연스럽게 연결됩니다.

함께 읽으면 좋은 글

• Exploratory Data Analysis의 역할: 회귀분석 전에 변수 관계를 점검해야 하는 이유
• Two-Way ANOVA의 구조: 두 개의 Factor를 동시에 분석하는 방법
• Randomized Block Design의 원리: 불필요한 변동을 통제해 처리 효과를 구분하는 방식
• ANOVA의 p-value가 알려주지 않는 것: 어떤 집단이 다른지는 바로 알 수 없는 이유
• Post Hoc Test의 역할: ANOVA 이후 집단 간 차이를 추가로 확인하는 방법

참고한 자료

• SAS Enterprise Guide: ANOVA, Regression, and Logistic Regression Course Notes
• Chapter 3 Analysis of Variance
• Two-Way ANOVA with Interactions
• Main Effects and Interaction Effects
• DrugDose and Disease Example
• Type III Sum of Squares
• Least Squares Means
• SLICE Simple Effects Tests
• DrugDose*Disease Interaction