ANOVA의 결과를 보면 거의 항상 F Value가 등장합니다.

예를 들어 SAS Output에는 다음과 같은 형태가 나타날 수 있습니다.

• Model Mean Square
• Error Mean Square
• F Value
• Pr > F

이때 많은 사람이 p-value만 보고 F Value는 그냥 지나칩니다.

하지만 F Statistic은 ANOVA의 핵심 원리 그 자체입니다.

왜냐하면 ANOVA가 여러 Group Mean이 다른지 판단하는 방식이 바로:

Group 간 Variation이 Group 내부의 Random Variation보다 얼마나 큰가?

를 비교하는 것이기 때문입니다.

F Statistic은 Between-Group Variance를 Within-Group Variance로 나눈 Ratio이며, Group에 의해 설명되는 Variation이 Random Error에 비해 얼마나 큰지를 나타냅니다.

첨부 교재에서도 ANOVA의 Null Hypothesis를 검정하기 위해 F Statistic을 사용하며, 이를 Between Group Variance와 Within Group Variance의 Ratio로 설명합니다. SAS Linear Models Output에서는 각각 Model Mean Square와 Error Mean Square로 표시됩니다.

ANOVA에서 왜 F Statistic이 필요할까?

ANOVA의 Null Hypothesis는 기본적으로 다음과 같습니다.

H₀

μ₁ = μ₂ = … = μk

즉 모든 Population Mean이 동일하다는 가정입니다.

그렇다면 Sample에서 Group Mean들이 서로 조금씩 다른 것은 당연히 발생할 수 있습니다.

Random Sampling이 있기 때문입니다.

따라서 중요한 질문은:

관찰된 Group Mean Difference가 Random Variation으로 충분히 설명 가능한가?

입니다.

이 질문에 답하기 위해 ANOVA는 두 종류의 Variation을 비교합니다.

두 종류의 Variation

첫 번째는:

Between-Group Variation

입니다.

Group Mean들이 Overall Mean에서 얼마나 떨어져 있는지를 나타냅니다.

두 번째는:

Within-Group Variation

입니다.

각 Observation이 자신의 Group Mean에서 얼마나 떨어져 있는지를 나타냅니다.

즉:

Between

↓

Group Effect Signal

Within

↓

Random Noise

라고 생각할 수 있습니다.

F Statistic의 가장 간단한 구조

F Statistic은 다음과 같습니다.

F = Between-Group Variance / Within-Group Variance

SAS Output의 표현으로 바꾸면:

F = Model Mean Square / Error Mean Square

즉:

F = MSM / MSE

입니다.

첨부 교재도 정확히 이 식을 제시합니다.

왜 Ratio를 사용할까?

단순히 Between-Group Variation이 10이라고 해서 그것이 큰 값인지 알 수 없기 때문입니다.

예를 들어:

Case A

Between Variation = 10

Within Variation = 1

이라면:

F = 10

입니다.

반면:

Case B

Between Variation = 10

Within Variation = 100

이라면:

F = 0.1

입니다.

Between Variation 자체는 둘 다 10이지만 의미는 완전히 다릅니다.

즉 Variation은 반드시 Noise와 비교해서 평가해야 합니다.

Signal-to-Noise Ratio로 이해하면 쉽다

F Statistic을 직관적으로 보면:

Signal

↓

Group Difference

Noise

↓

Within-Group Random Variation

이라고 할 수 있습니다.

따라서:

F = Signal / Noise

입니다.

F가 크다는 것은 Group Difference가 Random Noise에 비해 상대적으로 크다는 뜻입니다.

F가 1에 가까우면 무엇을 의미할까?

개념적으로:

Between-Group Variance

≈

Within-Group Variance

라는 뜻입니다.

즉 Group Difference가 Random Variation에 비해 특별히 크지 않을 수 있습니다.

Null Hypothesis가 참이라면 MSM과 MSE가 모두 같은 Error Variance를 추정할 수 있기 때문에 F가 1 근처에 나타나는 것이 자연스럽습니다.

첨부 교재에서도 모든 Group Means가 같다면 Model Mean Square와 Error Mean Square가 모두 동일한 Population Variance σ²를 추정한다고 설명합니다.

H₀가 참일 때 MSM은 무엇을 추정할까?

모든 Population Means가 같다면:

μ₁ = μ₂ = … = μk

입니다.

이 경우 Group Mean Difference는 실제 Treatment Effect 때문이 아니라 Random Sampling 때문입니다.

따라서 Model Mean Square도 본질적으로:

σ²

즉 Error Variance를 추정합니다.

Error Mean Square 역시:

σ²

를 추정합니다.

따라서:

MSM ≈ MSE

가 됩니다.

결과적으로:

F ≈ 1

이 됩니다.

H₁가 맞으면 어떻게 될까?

적어도 하나의 Population Mean이 다르면 Group Effect가 존재합니다.

이 경우 첨부 교재에서는 MSM이:

σ² + positive constant

를 추정한다고 설명합니다.

즉 실제 Group Difference가 추가되기 때문에:

MSM

이 커질 수 있습니다.

반면 MSE는 여전히 Random Error Variance를 추정합니다.

따라서:

MSM > MSE

↓

F > 1

이 되는 경향이 있습니다.

그래서 F가 클수록 H₀와 충돌한다

개념적으로:

F ≈ 1

↓

Between과 Within이 비슷

↓

H₀와 Compatibility 높음

반면:

F >> 1

↓

Between이 Within보다 큼

↓

Group Effect Evidence 증가

↓

p-value 작아질 가능성

입니다.

하지만 “F가 2보다 크면 무조건 Significant” 같은 Universal Rule은 없습니다.

Degrees of Freedom이 함께 필요합니다.

왜 F의 절대 Cutoff가 없을까?

F Distribution은 Degrees of Freedom에 따라 Shape가 달라지기 때문입니다.

예를 들어 같은 F=3이라도:

• Model DF
• Error DF

가 다르면 p-value가 달라질 수 있습니다.

따라서 F Statistic은 항상 다음과 함께 봐야 합니다.

F(dfModel, dfError)

입니다.

Degrees of Freedom이란 무엇인가?

첨부 교재에서는 Degrees of Freedom을 독립적인 Information Piece의 수로 생각할 수 있다고 설명합니다.

One-Way ANOVA에서는 다음과 같습니다.

Model DF

Group 수 – 1

Corrected Total DF

Sample Size – 1

Error DF

Sample Size – Group 수

입니다.

즉 Group이 k개이고 전체 Sample Size가 n이라면:

Model DF = k – 1

Error DF = n – k

Total DF = n – 1

입니다.

왜 Model DF는 k-1일까?

Group Means가 k개 있어도 Overall Mean과의 Deviation에는 하나의 Constraint가 있기 때문입니다.

예를 들어 3개 Group Mean Difference 가운데 2개를 알면 마지막 하나는 전체 구조에 의해 결정됩니다.

따라서 독립적인 Group Difference Information은:

k – 1

개입니다.

왜 Error DF는 n-k일까?

각 Group Mean을 Estimate하는 데 Group마다 하나의 Parameter가 사용되기 때문입니다.

Observation이 n개이고 Group Mean Parameter가 k개라면:

n – k

개의 Residual Degrees of Freedom이 남습니다.

Sum of Squares와 Mean Square의 차이

ANOVA에서는 먼저 Variation을 Sum of Squares로 계산합니다.

대표적으로:

• Model Sum of Squares, SSM
• Error Sum of Squares, SSE
• Total Sum of Squares, SST

가 있습니다.

하지만 F Statistic에서는 Sum of Squares 자체를 바로 사용하지 않습니다.

각각을 Degrees of Freedom으로 나누어 Mean Square로 변환합니다.

Model Mean Square

다음과 같습니다.

MSM = SSM / Model DF

입니다.

즉 Between-Group Variation을 Model DF로 조정한 값입니다.

Error Mean Square

다음과 같습니다.

MSE = SSE / Error DF

입니다.

즉 Within-Group Variation을 Error DF로 조정한 값입니다.

첨부 교재는 Mean Square를 Sum of Squares를 대응하는 Degrees of Freedom으로 나누어 계산하며, Variance처럼 생각할 수 있다고 설명합니다.

왜 Mean Square를 Variance라고 생각할 수 있을까?

Variance 역시 기본적으로 Squared Deviation을 적절한 Degrees of Freedom으로 나눈 값이기 때문입니다.

따라서:

MSE

↓

Within-Group Variance Estimate

MSM

↓

Between-Group Variation을 반영한 Variance Estimate

로 이해할 수 있습니다.

Error Mean Square의 의미

첨부 교재에서는 MSE를 모든 Treatment에서 동일하다고 가정하는:

σ²

의 Estimate라고 설명합니다.

즉 MSE는 Group Effect로 설명되지 않은 Random Variability의 크기입니다.

따라서 MSE가 작을수록 Group Means를 비교할 때 Noise가 작아질 수 있습니다.

MSE가 큰 경우

예를 들어 Group Means가 조금 다르더라도 각 Group 안에서 Observation이 매우 넓게 퍼져 있다면 MSE가 큽니다.

이 경우:

F = MSM / MSE

의 분모가 커집니다.

따라서 F가 작아질 수 있습니다.

즉 Mean Difference가 Random Variation에 묻힐 수 있습니다.

MSE가 작은 경우

반대로 Group 내부 Data가 매우 안정적이라면 MSE가 작습니다.

같은 Group Mean Difference라도:

F

가 커질 수 있습니다.

따라서 Group Effect를 Detect하기 쉬워질 수 있습니다.

같은 Mean Difference라도 결과가 달라지는 이유

예를 들어 세 Group Mean이:

10

15

20

으로 동일하다고 가정하겠습니다.

Dataset A

각 Group SD ≈ 1

Dataset B

각 Group SD ≈ 100

이면 Group Means는 같습니다.

하지만 Dataset A에서는 Group Difference가 매우 분명하고 Dataset B에서는 Noise가 매우 큽니다.

따라서 F Statistic도 크게 달라집니다.

Error Sum of Squares부터 다시 보자

첨부 교재의 단순 Example에서는 다음 Data를 사용합니다.

Group A

3, 4, 5

Mean = 4

Group B

7, 8, 9

Mean = 8

각 Observation과 자신의 Group Mean 사이 Difference를 Squared하면:

Group A:

(3-4)² + (4-4)² + (5-4)²

Group B:

(7-8)² + (8-8)² + (9-8)²

입니다.

전체 합은:

SSE = 4

입니다.

SSE가 의미하는 것

각 Group 내부에서 얼마나 Variation이 존재하는지를 나타냅니다.

교재는 이를:

• Random Variability Within Groups
• Unexplained Variation
• Within-Group Variation

이라고 설명합니다.

즉 현재 Factor로 설명되지 않은 부분입니다.

Model Sum of Squares는 어떻게 계산할까?

같은 Example에서 Overall Mean은:

6

입니다.

Group Means는:

4

8

입니다.

각 Group Mean과 Overall Mean Difference를 Squared하고 Group Size를 반영하면:

SSM = 3(4-6)² + 3(8-6)²

=

24

입니다.

SSM은 무엇을 의미할까?

Group Means가 Overall Mean에서 얼마나 떨어져 있는지를 측정합니다.

교재에서는 이를:

Explained Variation

이라고 설명합니다.

즉 Group Membership이 Response Variation을 설명하는 부분입니다.

Total Sum of Squares는?

이 Example에서는:

SST = SSM + SSE

=

24 + 4

=

28

입니다.

따라서 전체 Response Variation 가운데:

24 / 28

=

약 85.7%

가 Model, 즉 Group Difference로 설명됩니다.

첨부 교재도 이 Example에서 약 85.7%가 Explained Variation이고 나머지 약 14.3%가 Unexplained Variation이라고 설명합니다.

그렇다면 F는 어떻게 계산할까?

Group 수는:

2

입니다.

전체 n은:

6

입니다.

따라서:

Model DF

2 – 1 = 1

Error DF

6 – 2 = 4

입니다.

그러면:

MSM = 24 / 1 = 24

MSE = 4 / 4 = 1

입니다.

따라서:

F = 24 / 1 = 24

가 됩니다.

즉 Between-Group Variance가 Within-Group Variance의 24배입니다.

F=24는 직관적으로 무엇을 의미할까?

Group Mean Difference로 설명되는 Variation이 Random Error Variation에 비해 상당히 크다는 뜻입니다.

즉:

Signal

24

vs.

Noise

1

이라고 생각할 수 있습니다.

이 정도의 Ratio가 H₀ 아래에서 얼마나 Rare한지는 F Distribution을 이용해 p-value로 계산합니다.

F Distribution이란 무엇인가?

F Statistic의 Null Distribution입니다.

Null Hypothesis가 참이라는 조건에서 여러 Sample을 반복해 ANOVA를 수행하면 다양한 F Value가 생성됩니다.

이들의 Distribution이 F Distribution입니다.

첨부 교재도 F Ratio가 Null Hypothesis 아래에서 Known Distribution을 가지며 이를 이용해 p-value를 계산한다고 설명합니다.

F Distribution의 특징

F Statistic은 Variance Ratio이기 때문에:

F ≥ 0

입니다.

따라서 F Distribution은 Negative 영역을 가지지 않습니다.

또 일반적으로 Right-Skewed 형태를 갖습니다.

Degrees of Freedom이 커질수록 Shape도 달라집니다.

왜 ANOVA는 오른쪽 Tail을 사용할까?

H₀와 강하게 충돌하는 상황은:

MSM >> MSE

즉 F가 매우 큰 경우이기 때문입니다.

F가 작은 방향은 일반적으로 Group Effect Evidence를 나타내지 않습니다.

따라서 p-value는 관찰된 F 또는 그보다 큰 F가 H₀ 아래에서 나타날 Probability를 계산합니다.

SAS에서 이를:

Pr > F

라고 표시합니다.

Pr > F는 무엇을 의미할까?

예를 들어:

F = 4.31

Pr > F = 0.0162

라면:

H₀가 참일 때 F=4.31 또는 더 큰 F가 나타날 Probability가 약 1.62%라는 의미와 연결됩니다.

따라서 α=.05에서는:

0.0162 < .05

이므로 H₀를 Reject합니다.

F Statistic은 방향을 알려줄까?

아닙니다.

F는 Squared Variation Ratio이기 때문에 Direction이 없습니다.

예를 들어:

Group A Mean > Group B Mean

인지:

Group A Mean < Group B Mean

인지 F Statistic 자체만으로는 알 수 없습니다.

따라서 ANOVA Result에서는 반드시 Group Means를 함께 봐야 합니다.

t Statistic과 다른 점

t Statistic은 Positive 또는 Negative가 될 수 있습니다.

예:

t = -3

은 Sample Difference Direction을 알려줄 수 있습니다.

반면:

F = 9

는 Direction을 알려주지 않습니다.

단지 Group Variation이 Error Variation보다 큰 정도만 나타냅니다.

두 Group만 있으면 t와 F는 관계가 있을까?

두 Group Mean Comparison의 적절한 조건에서는:

F = t²

관계가 나타날 수 있습니다.

왜냐하면 동일한 Mean Difference Evidence를 t-Test와 One-Way ANOVA라는 두 방식으로 표현하기 때문입니다.

따라서 두 Group에서는 t-Test와 ANOVA가 같은 Mean Equality Question에 답할 수 있습니다.

t²이므로 F가 음수가 될 수 없는 이유도 이해된다

예를 들어:

t = -3

이라면:

t² = 9

입니다.

따라서 Corresponding F는:

9

가 됩니다.

Direction 정보는 사라지고 Difference Magnitude만 남습니다.

Mean Square의 이름이 왜 “Mean”일까?

Sum of Squares를 Degrees of Freedom으로 나눈 평균적인 Squared Variation이기 때문입니다.

즉:

SS

↓

Total Squared Variation

MS

↓

DF당 Squared Variation

이라고 생각할 수 있습니다.

Raw Sum of Squares만 비교하면 안 되는 이유

예를 들어 Model SS가 20이고 Error SS가 40이라고 해보겠습니다.

단순히 보면 Error가 더 커 보입니다.

하지만:

Model DF = 1

Error DF = 100

이라면:

MSM = 20

MSE = 0.4

입니다.

따라서:

F = 50

입니다.

즉 Sum of Squares의 절대 크기보다 DF로 조정된 Mean Square가 중요합니다.

반대로 Model SS가 더 커도 F가 크지 않을 수 있다

예를 들어:

Model SS = 100

Model DF = 50

↓

MSM = 2

Error SS = 100

Error DF = 100

↓

MSE = 1

이면:

F = 2

입니다.

따라서 Model SS만 보고 Statistical Significance를 판단할 수 없습니다.

ANOVA Table을 읽는 핵심

SAS ANOVA Table에는 보통 다음 Row가 있습니다.

Model

Error

Corrected Total

그리고 Column에는:

• DF
• Sum of Squares
• Mean Square
• F Value
• Pr > F

가 있습니다.

이 Table 전체가 Variation Decomposition을 보여줍니다.

Model Row

Factor에 의해 설명되는 Variation입니다.

즉:

Between-Group

입니다.

여기서:

Model SS

Model DF

Model MS

F

p-value

를 확인합니다.

Error Row

Model이 설명하지 못하는 Variation입니다.

즉:

Within-Group

입니다.

여기서 가장 중요한 값 가운데 하나가:

Error Mean Square, MSE

입니다.

Corrected Total Row

Overall Mean을 기준으로 한 전체 Variation입니다.

구조는:

Corrected Total SS

=

Model SS + Error SS

입니다.

Fertilizer-only Example

첨부 교재의 One-Way ANOVA에서는 다음과 같은 값이 제시됩니다.

Model DF = 3

Model SS = 0.00457996

Model MS = 0.00152665

Error DF = 28

Error SS = 0.02183054

Error MS = 0.00077966

그리고:

F = 1.96

p = 0.1432

입니다.

이 값들은 이전 One-Way ANOVA 글에서 살펴본 Example입니다.

F=1.96은 어떻게 만들어졌을까?

다음 Ratio입니다.

0.00152665

÷

0.00077966

≈

1.96

입니다.

즉 Fertilizer Group 사이 Variation은 Group 내부 Error Variation의 약 1.96배 수준입니다.

하지만 F(3,28) Distribution에서 이 정도 Ratio는 α=.05 기준으로 충분히 Extreme하지 않았습니다.

따라서:

p = 0.1432

가 됩니다.

F=1.96이 1보다 큰데 왜 Significant하지 않을까?

F>1이라는 사실만으로는 충분하지 않기 때문입니다.

Random Sampling에서도 F가 1보다 어느 정도 큰 값은 발생할 수 있습니다.

따라서:

• F 크기
• Model DF
• Error DF

를 함께 고려해야 합니다.

결국 F Distribution에서 p-value를 계산합니다.

F가 1보다 크다는 것과 F가 Statistically Significant하다는 것은 다른 문제입니다.

Randomized Block Model에서는 어떻게 달라질까?

첨부 교재에서는 Fertilizer뿐 아니라 Sector를 Blocking Variable로 추가한 Model을 제시합니다.

Overall Model Result는:

Model DF = 10

Model MS = 0.00230726

Error DF = 21

MSE = 0.00039369

F = 5.86

p = 0.0003

입니다.

왜 F가 1.96에서 5.86으로 커졌을까?

두 Model이 정확히 같은 Hypothesis를 검정하는 것은 아닙니다.

Blocking Model의 Overall F는 Fertilizer와 Sector를 포함한 전체 Model에 대한 Test입니다.

하지만 중요한 변화 중 하나는 MSE가:

0.00077966

에서:

0.00039369

로 감소했다는 점입니다.

즉 이전 Error Variation 일부를 Sector가 설명하게 되었습니다.

Noise가 줄면 F가 커질 수 있다

F Formula를 다시 보면:

F = MSM / MSE

입니다.

분모인 MSE가 작아지면 다른 조건이 같다는 가정에서 F가 커질 수 있습니다.

이것이 Blocking Variable이 불필요한 Variation을 제거하여 Treatment Comparison Precision을 높일 수 있는 원리입니다.

Fertilizer Effect 자체의 F도 달라진다

Blocking Model에서 Fertilizer Effect는:

Mean Square = 0.00169543

이고:

MSE = 0.00039369

입니다.

따라서:

F

=

0.00169543 / 0.00039369

≈

4.31

입니다.

교재 Output도:

F = 4.31

p = 0.0162

를 제시합니다.

같은 Fertilizer인데 왜 F가 달라질까?

Model에 Sector가 포함되어 Error Variation을 별도로 설명하기 때문입니다.

즉:

Fertilizer-only Model

↓

Sector Variation까지 Error에 섞임

반면:

Fertilizer + Sector Model

↓

Sector Variation 분리

↓

Residual Error 감소

↓

Fertilizer Signal 대비 Noise 개선

입니다.

이것이 Randomized Block Design의 핵심 중 하나입니다.

F Statistic은 Model Structure에 영향을 받는다

따라서 같은 Data라도 Model이 다르면 F Statistic도 달라질 수 있습니다.

하지만 원하는 p-value를 만들기 위해 Model을 임의로 바꾸면 안 됩니다.

Model은:

• Study Design
• Research Question
• Pre-Specified Analysis Plan

에 따라 정의되어야 합니다.

Blocking Factor를 나중에 빼도 될까?

첨부 교재에서는 Blocking이 Random Assignment에 Restriction을 만들기 때문에 이미 그렇게 수집한 Data에서는 Blocking Variable을 Model에 포함해야 한다고 설명합니다.

즉 단순히:

“Block p-value가 마음에 들지 않는다.”

는 이유로 제거하는 것이 아닙니다.

Design을 반영해야 합니다.

Block F Value가 1보다 크면 어떤 의미일까?

첨부 교재에서는 일부 Statistician들이 Blocking Variable의 F Ratio가 1보다 크면 Block이 유용할 수 있다고 제안한다고 설명합니다. 반대로 1보다 작으면 Blocking Variable 추가가 분석에 불리할 수 있다고 언급합니다.

이 부분은 교재의 설명이므로 그대로 이해하되, 모든 상황에 적용되는 Universal Rule로 확대하지 않는 것이 좋습니다.

F Statistic은 Effect Size일까?

아닙니다.

F는 Statistical Evidence를 위한 Test Statistic입니다.

Effect Magnitude 자체를 Original Unit로 표현하지 않습니다.

예를 들어 F=10이라고 해서 Group Mean Difference가 10 Unit이라는 뜻이 아닙니다.

F는:

Between Variation / Within Variation

Ratio입니다.

F가 크면 Effect도 무조건 클까?

아닙니다.

Sample Size가 크거나 MSE가 매우 작으면 작은 Mean Difference도 큰 F를 만들 수 있습니다.

따라서:

Large F

≠

Large Practical Effect

입니다.

Group Mean Difference나 별도의 Effect Size를 함께 봐야 합니다.

p-value와 F는 어떤 관계일까?

같은 Degrees of Freedom이라면 F가 커질수록 p-value는 작아지는 관계가 있습니다.

즉:

F ↑

↓

Right Tail에서 더 Extreme

↓

p ↓

입니다.

하지만 df가 달라지면 동일한 F에서도 p-value가 달라질 수 있습니다.

F=4가 항상 p<.05일까?

아닙니다.

Model DF와 Error DF에 따라 달라집니다.

따라서 다음처럼 표현하는 것이 더 정확합니다.

F(df1, df2) = value

예:

F(3,28)=1.96

입니다.

Critical F Value란 무엇일까?

사전에 정한 α와 Degrees of Freedom에 따라 H₀ Reject Boundary가 되는 F Value입니다.

예를 들어:

α=.05

Model DF=3

Error DF=28

이면 특정 Critical F가 존재합니다.

Observed F가 Critical F보다 크면 Reject Region에 들어갑니다.

SAS에서는 이를 직접 비교하기보다 p-value를 이용해 Decision할 수 있습니다.

p-value 방식과 Critical Value 방식은 같은 결론을 줄까?

동일한 Test와 α를 사용하면 같습니다.

Critical Value 방식

Observed F > Critical F

↓

Reject H₀

p-value 방식

p < α

↓

Reject H₀

입니다.

교재는 F Statistic을 이용해 p-value를 계산하는 구조를 설명합니다.

F Statistic은 왜 Right Tail Test일까?

F가 매우 큰 경우만 H₀와 충돌하기 때문입니다.

H₀에서는 MSM과 MSE가 모두 σ²를 Estimate하므로 Ratio가 1 부근일 것으로 기대합니다.

하지만 실제 Group Effect가 있으면 MSM이 추가적인 Positive Component를 포함할 수 있습니다.

따라서 H₁ 방향은:

F가 커지는 방향

입니다.

F가 0에 가까우면 어떻게 해석할까?

Group Means가 Overall Mean과 거의 동일하여 Model Variation이 매우 작을 수 있습니다.

즉 MSM이 MSE보다 훨씬 작을 수도 있습니다.

이는 Group Difference Evidence가 약하다는 방향입니다.

하지만 F<1 자체가 특별한 Significance를 의미하는 것은 아닙니다.

Error Variance가 0이면 어떻게 될까?

이론적으로 모든 Group 내부 Observation이 완전히 동일하여 MSE=0이면 F Ratio 계산에 문제가 생길 수 있습니다.

현실적인 Continuous Data에서는 드문 상황입니다.

이 경우 Data Structure나 Measurement Resolution 등을 확인해야 합니다.

MSE가 너무 작으면 무엇을 확인해야 할까?

다음 가능성을 생각할 수 있습니다.

• 매우 정밀한 Measurement
• 거의 동일한 Observation
• Data Rounding
• Duplicate Record
• Coding Error

등입니다.

Statistical Result가 극단적일수록 Data Quality를 같이 점검해야 합니다.

반대로 MSE가 지나치게 크면?

다음 가능성이 있을 수 있습니다.

• Population Heterogeneity
• Measurement Error
• Important Predictor 누락
• Outlier
• Unit 혼합

등입니다.

단순히 “Treatment Effect가 없다”고 결론내리기 전에 Error Source를 확인해야 합니다.

F Statistic은 Outlier의 영향을 받을까?

그렇습니다.

ANOVA는 Squared Deviation을 사용합니다.

따라서 Extreme Observation은:

• Group Mean
• SSE
• SSM

에 영향을 줄 수 있습니다.

결과적으로 F Statistic과 p-value도 달라질 수 있습니다.

Outlier가 Within Variation을 크게 만들 수 있다

한 Group에 Extreme Observation이 있으면 SSE가 크게 증가할 수 있습니다.

그러면 MSE가 커지고:

F = MSM/MSE

가 작아질 수 있습니다.

즉 실제 Group Difference를 Detect하기 어려워질 수 있습니다.

반대로 Outlier가 Group Mean을 크게 이동시킬 수도 있다

한 Group의 Extreme Observation이 Mean을 크게 바꾸면 Between-Group Variation도 커질 수 있습니다.

따라서 F가 오히려 커질 수도 있습니다.

즉 Outlier의 영향 방향은 Data Structure에 따라 달라집니다.

그래서 Graphical Review가 필요합니다.

Equal Variance Assumption과 F Statistic

MSE가 여러 Group의 Common Error Variance σ²를 Estimate한다는 구조는 Homogeneity of Variance Assumption과 연결됩니다.

첨부 교재도 MSE를 모든 Treatments에서 동일하다고 가정하는 σ² Estimate라고 설명합니다.

따라서 Group Variances가 크게 다르면 Classical ANOVA F Test Interpretation에 문제가 생길 수 있습니다.

왜 ANOVA 전에 Variance를 확인할까?

F Statistic의 분모인 MSE가 Common Error Variance를 적절하게 나타내야 하기 때문입니다.

Group마다 Variance가 크게 다르면 하나의 Common MSE로 대표하는 것이 적절하지 않을 수 있습니다.

따라서:

• Group SD
• Residual Plot
• Homogeneity Test

를 확인합니다.

Normality Assumption도 F Distribution과 연결된다

Classical ANOVA의 Exact F Distribution은 Error의 Normality Assumption과 연결됩니다.

따라서 Residual Q-Q Plot 등을 확인합니다.

다만 앞선 글에서 살펴본 것처럼 Balanced Design과 Reasonable Sample Size에서는 Moderate Departure에 비교적 Robust할 수 있습니다.

Independence는 더 근본적인 Assumption이다

Observation이 서로 Correlated되어 있으면 MSE가 실제 Independent Error Variance를 올바르게 반영하지 못할 수 있습니다.

예를 들어 같은 Subject를 반복 측정한 Data를 Independent ANOVA처럼 분석하면 F Test가 잘못될 수 있습니다.

따라서 Independence는 Data Collection Design에서 확인해야 합니다.

F Statistic 자체만 보고 Assumption을 알 수 있을까?

아닙니다.

F Value가 크거나 작다고:

• Normality
• Independence
• Equal Variance

가 만족되었다는 뜻은 아닙니다.

F Test 결과와 Diagnostic Review는 별도로 필요합니다.

F Statistic과 R-Square의 관계

ANOVA에서는 Model SS와 Total SS를 이용하여 R²를 계산할 수 있습니다.

R² = SSM / SST

즉 Total Variation 중 Model이 설명하는 비율입니다.

F Statistic은:

MSM / MSE

입니다.

둘 다 Explained와 Unexplained Variation을 사용하지만 목적이 다릅니다.

R²와 F의 차이

R²

얼마나 많은 Variation을 설명했는가?

F

설명된 Variation이 Error Variation에 비해 Statistical하게 충분히 큰가?

입니다.

따라서 R²와 F는 관련되어 있지만 동일하지 않습니다.

높은 R²인데 Non-Significant할 수 있을까?

가능합니다.

Sample Size가 매우 작거나 Model DF가 많을 수 있습니다.

반대로 낮은 R²도 매우 큰 Sample에서는 Significant할 수 있습니다.

따라서 Effect Magnitude와 Statistical Evidence를 구분해야 합니다.

Overall F와 Factor-specific F는 같은가?

One-Way ANOVA에서는 Factor가 하나뿐이므로 Overall Model F와 Factor F가 사실상 같은 질문입니다.

하지만 Two-Way ANOVA나 Block Design에서는 다릅니다.

예를 들어 첨부 교재의 Block Model은:

Overall Model F=5.86

과:

Fertilizer F=4.31

Sector F=6.53

을 따로 제공합니다.

각각 다른 Null Hypothesis를 검정합니다.

Overall F의 Null Hypothesis

여러 Effect를 포함한 Model이라면:

모든 Model Effect가 동시에 0이다.

와 같은 Overall Question에 해당합니다.

즉 Model 전체가 Intercept-only Model보다 Response를 더 잘 설명하는지 평가합니다.

Factor-specific F의 Null Hypothesis

예를 들어 Fertilizer F는:

다른 Model Term을 조정한 뒤 Fertilizer Level Means에 Difference가 없는가?

를 평가합니다.

Sector F는 Sector Effect에 대한 별도 Hypothesis입니다.

따라서 가장 위의 Overall p-value 하나만 보고 각 Factor의 Significance를 판단하면 안 됩니다.

Type III SS와 F Statistic

첨부 교재의 Block Model에서는 Type III SS를 사용해 각 Factor를 다른 Variable을 Adjust한 상태에서 평가한다고 설명합니다.

예를 들어 Fertilizer Type III F는 Sector를 Adjust한 뒤 Fertilizer Effect를 검정합니다.

이 개념은 Two-Way ANOVA에서 더 중요해집니다.

Type I SS와는 어떻게 다를까?

교재에서는 Type I SS가 Sequential이라고 설명합니다.

즉 각 Variable은 자신보다 앞에 있는 Variable들에 대해서만 Adjust됩니다.

Balanced Design에서는 Type I과 Type III가 같을 수 있지만 일반적으로 항상 같은 것은 아닙니다.

이 부분 역시 이후 Multi-Factor ANOVA에서 중요합니다.

F Statistic을 실제로 읽는 순서

SAS Output에서 F를 보면 다음 순서를 사용하면 좋습니다.

1. 어떤 F인가?

Overall Model?

Specific Factor?

Variance Test?

2. Numerator DF는?

Model / Effect DF 확인

3. Denominator DF는?

Error DF 확인

4. Model Mean Square는?

Signal 크기 확인

5. Error Mean Square는?

Noise 크기 확인

6. F Value는?

MSM/MSE Ratio 확인

7. Pr > F는?

Statistical Evidence 확인

8. Group Means / Effect Estimates는?

Direction과 Magnitude 확인

9. Assumptions는?

F Distribution Interpretation이 적절한지 확인

입니다.

“F Value가 가장 큰 Factor가 가장 중요한 Factor”일까?

반드시 그렇지 않습니다.

F Value는 Effect Magnitude뿐 아니라:

• Error Variance
• Degrees of Freedom
• Model Structure

에 영향을 받습니다.

따라서 Factor Importance를 단순 F Ranking으로 결정하면 안 됩니다.

F=100이면 F=10보다 Effect가 10배 큰 것일까?

아닙니다.

F는 Ratio Statistic입니다.

Effect Size의 Linear Scale이 아닙니다.

따라서 F=100이 F=10보다 Practical Effect가 정확히 10배 크다는 의미가 아닙니다.

F Value에는 Unit가 있을까?

없습니다.

분자와 분모가 모두 Variance 단위를 가지고 있기 때문에 나누면 Unit가 상쇄됩니다.

예를 들어 Response가 kg라면:

MSM 단위:

kg²

MSE 단위:

kg²

따라서:

F

은 Unitless입니다.

Mean Difference와 F를 함께 봐야 하는 이유

F는 Overall Evidence를 보여주지만 Original Scale의 실제 Difference는 보여주지 않습니다.

예:

F=20

p<.001

이어도 Group Means가:

100.0

100.1

100.2

일 수 있습니다.

따라서 Practical Meaning에는 Group Means와 Difference가 필요합니다.

F가 크다고 모든 Pair가 Significant한 것도 아니다

ANOVA F가 Significant하다는 것은 Overall H₀를 Reject했다는 뜻입니다.

하지만 어느 Pair가 다른지는 Post Hoc Test가 필요합니다.

예:

A=10

B=10

C=30

에서는 Overall F가 클 수 있지만 A와 B는 다르지 않습니다.

F가 작은데 특정 Pair Difference가 중요해 보일 수도 있다

Sample Size가 작거나 Error Variance가 큰 경우 Overall Test가 Non-Significant할 수 있습니다.

이때 Individual Mean Difference가 Practical하게 커 보일 수 있습니다.

하지만 Statistical Uncertainty가 크므로 CI 등을 확인해야 합니다.

ANOVA p-value는 F에서 어떻게 만들어지는가?

전체 과정은 다음과 같습니다.

Raw Data

↓

Group Means

Overall Mean

↓

SSM

Between Variation

↓

SSE

Within Variation

↓

Degrees of Freedom 적용

↓

MSM

MSE

↓

F = MSM/MSE

↓

F Distribution

↓

Pr > F

입니다.

즉 p-value는 F Statistic 이전의 Variation Decomposition 전체 결과입니다.

F Statistic을 이해하면 ANOVA Table이 달라 보인다

처음에는 ANOVA Table이:

DF

SS

MS

F

p

라는 숫자들의 집합처럼 보일 수 있습니다.

하지만 실제로는 하나의 흐름입니다.

SS

↓

Variation 계산

DF

↓

Information 양 조정

MS

↓

Variance Estimate

F

↓

Signal/Noise Ratio

p

↓

Null Distribution에서 Rareness

입니다.

흔한 오해 정리

“F Statistic은 Group Mean Difference 자체다”

아닙니다.

Between-Group Variance와 Within-Group Variance의 Ratio입니다.

“F가 1보다 크면 Significant하다”

아닙니다.

Degrees of Freedom과 F Distribution을 고려해야 합니다.

“F가 0보다 작을 수 있다”

일반적인 ANOVA F Statistic은 Variance Ratio이므로 음수가 되지 않습니다.

“F가 크면 모든 Group Mean이 다르다”

아닙니다.

적어도 하나의 Mean Difference Evidence가 있다는 의미입니다.

“F가 크면 Practical Effect도 크다”

아닙니다.

Sample Size와 Error Variance가 영향을 줍니다.

“Model SS가 Error SS보다 작으면 Model은 무조건 Non-Significant다”

아닙니다.

SS를 DF로 나눈 Mean Square Ratio를 봐야 합니다.

“MSE는 단순한 Error Count다”

아닙니다.

Within-Group Error Variance Estimate입니다.

“MSE가 작으면 항상 좋은 Data다”

반드시 그렇지 않습니다.

Measurement Resolution, Duplicate, Coding Problem 등을 확인해야 할 수도 있습니다.

“Overall F만 Significant하면 각 Factor도 모두 Significant하다”

아닙니다.

Factor가 여러 개이면 각 Effect의 F Test를 따로 봐야 합니다.

“같은 Dataset이면 Model을 바꿔도 F는 같다”

아닙니다.

Model Structure에 따라 Explained와 Error Variation이 달라질 수 있습니다.

“Blocking Variable을 넣으면 p-value가 작아지니 항상 넣는 것이 좋다”

아닙니다.

Study Design과 Analysis Rationale에 따라 포함해야 합니다.

“F p-value가 작으면 Assumption도 만족한다”

아닙니다.

Normality, Equal Variance, Independence는 별도로 검토해야 합니다.

F Statistic의 전체 구조

전체 과정을 다시 정리하면 다음과 같습니다.

Response Data

↓

Overall Mean 계산

↓

Group Means 계산

↓

Between-Group Variation

Group Means vs Overall Mean

↓

SSM

↓

Model DF로 나눔

↓

MSM

그리고:

Within-Group Variation

Observations vs Group Means

↓

SSE

↓

Error DF로 나눔

↓

MSE

그 다음:

F = MSM / MSE

↓

F Distribution에서 위치 확인

↓

Pr > F

↓

p < α

Reject H₀

↓

Group Mean Difference Evidence

p ≥ α

Fail to Reject H₀

↓

Difference Evidence 부족

입니다.

H₀가 참이면 전체 구조는 어떻게 될까?

모든 Population Means가 같습니다.

그러면:

MSM

≈

σ²

그리고:

MSE

≈

σ²

입니다.

따라서:

F ≈ 1

입니다.

첨부 교재도 H₀에서 MSM과 MSE가 모두 σ²의 Estimate가 된다고 설명합니다.

H₁가 참이면?

적어도 하나의 Mean이 다릅니다.

그러면 MSM이:

σ² + positive constant

를 Estimate할 수 있습니다.

반면 MSE는 여전히 σ²를 Estimate합니다.

따라서:

MSM > MSE

↓

F > 1

방향으로 이동하고, 충분히 크다면 H₀를 Reject할 수 있습니다.

첨부 교재의 Example을 다시 연결하면

교재의 단순 Group Example에서는:

SSM = 24

SSE = 4

입니다.

Group 2개, Observation 6개라면:

Model DF = 1

Error DF = 4

따라서:

MSM = 24

MSE = 1

이고:

F = 24

입니다.

이 값은 Between-Group Variation이 Within-Group Variation보다 매우 크다는 것을 보여줍니다.

반면 Fertilizer-only Model에서는 F가:

1.96

으로 훨씬 작고 p=.1432였습니다.

Sector를 포함한 Block Model에서는 전체 F가:

5.86

이며 p=.0003입니다.

또 Fertilizer Factor 자체의 F는:

4.31

p=.0162입니다.

이 차이는 F Statistic이 단순한 Mean Difference 숫자가 아니라:

Explained Variation

과:

Residual Error Variation

의 상대적인 크기를 반영한다는 점을 보여줍니다.

왜 F Statistic을 이해해야 할까?

이후 ANOVA 관련 결과를 해석할 때 계속 등장하기 때문입니다.

One-Way ANOVA

↓

Overall F

Randomized Block Design

↓

Treatment F + Block F

Two-Way ANOVA

↓

Factor A F

Factor B F

Interaction F

Regression

↓

Overall Model F

즉 F Statistic은 ANOVA에만 국한된 숫자가 아니라 General Linear Model 전체에서 Model Signal과 Error를 비교하는 핵심 Test Statistic입니다.

핵심 정리

F Statistic은 ANOVA에서 Population Mean Equality를 검정하기 위해 사용하는 핵심 Statistic입니다.

첨부 교재는 이를 다음과 같이 정의합니다.

F Statistic은 Between-Group Variance와 Within-Group Variance의 Ratio이며, SAS Linear Models Output에서는 Model Mean Square를 Error Mean Square로 나누어 계산합니다.

즉:

F = MSM / MSE

입니다.

여기서:

MSM

은 Group Difference로 설명되는 Variation을 반영하고,

MSE

는 Group 내부 Random Error Variation을 반영합니다.

Mean Square는 각 Sum of Squares를 해당 Degrees of Freedom으로 나누어 계산합니다.

One-Way ANOVA에서는:

Model DF = k – 1

Error DF = n – k

Corrected Total DF = n – 1

입니다.

Null Hypothesis가 참이면 모든 Population Means가 동일하므로 MSM과 MSE가 모두 같은 σ²를 Estimate하고:

F ≈ 1

이 됩니다.

반대로 실제 Group Difference가 존재하면 MSM은 σ²에 추가적인 Positive Component를 포함할 수 있으므로:

F > 1

방향으로 커질 수 있습니다.

하지만:

F > 1

자체가 Statistical Significance를 의미하지는 않습니다.

F Distribution은 Model DF와 Error DF에 따라 달라지므로 SAS의:

Pr > F

를 함께 확인해야 합니다.

첨부 교재의 Block Design Example에서는:

Overall Model F(10,21)=5.86, p=.0003

이며:

Fertilizer F=4.31, p=.0162

Sector F=6.53, p=.0004

로 제시됩니다.

특히 Sector를 Model에 포함하면서 MSE가:

0.00077966

에서:

0.00039369

로 감소하였고, Fertilizer Comparison의 Precision도 개선되었습니다.

이 Example은 F Statistic의 가장 중요한 원리를 잘 보여줍니다.

F Statistic이 커지는 핵심은 단순히 Group Mean Difference가 커지는 것만이 아니라, 그 Difference가 Random Error Variation에 비해 얼마나 크게 나타나는가에 있습니다.

따라서 ANOVA Table을 볼 때는 p-value만 찾기보다 다음 흐름을 함께 읽어야 합니다.

Between-Group Variation

↓

SSM

↓

MSM

그리고:

Within-Group Variation

↓

SSE

↓

MSE

그 다음:

MSM / MSE

↓

F Statistic

↓

F Distribution

↓

p-value

이 구조를 이해하면 ANOVA의 F Value를 단순한 중간 숫자가 아니라 “Group Effect Signal이 Random Noise보다 얼마나 큰가”를 나타내는 핵심 Ratio로 해석할 수 있습니다.

함께 읽으면 좋은 글

• ANOVA의 p-value가 알려주지 않는 것: 어떤 집단이 다른지는 바로 알 수 없는 이유
• Post Hoc Test의 역할: ANOVA 이후 집단 간 차이를 추가로 확인하는 방법
• Randomized Block Design의 원리: 불필요한 변동을 통제해 처리 효과를 구분하는 방식
• One-Way ANOVA의 구조: 하나의 범주형 변수가 연속형 결과에 미치는 영향 분석
• Two-Way ANOVA의 구조: 두 개의 Factor를 동시에 분석하는 방법

참고한 자료

• SAS Enterprise Guide: ANOVA, Regression, and Logistic Regression Course Notes
• Chapter 3 Analysis of Variance
• Error Sum of Squares
• Model Sum of Squares
• Total Sum of Squares
• F Statistic and Critical Values
• Degrees of Freedom
• Mean Square Error
• Randomized Block Design
• Fertilizer and Sector ANOVA Example

:::