ANOVA에서 Treatment Group 간 차이를 정확히 비교하려면 왜 불필요한 Variation을 분리해야 하나요?

ANOVA에서 Treatment 외의 불필요한 Variation을 분리하지 않고 전부 Error로 남겨두면, Treatment Effect가 Random Noise에 묻혀 정확한 비교가 어려워지기 때문입니다.

실험에서 Nuisance Factor란 무엇인가요?

Nuisance Factor는 연구자가 직접 관심을 가지는 Treatment는 아니지만, 토양 조건, pH, 일조량, 날씨 등 Response(반응)에 영향을 줄 수 있는 외부 요인들을 의미합니다.

Randomized Block Design의 원리: 불필요한 변동을 통제해 처리 효과를 구분하는 방식

2026년 9월 9일 읽는 시간 약 56분

ANOVA에서 Treatment Group 간 Difference를 정확하게 비교하려면 Treatment 외의 불필요한 Variation을 가능한 한 잘 분리해야 합니다.

예를 들어 네 종류의 Fertilizer가 Garlic Bulb Weight에 미치는 영향을 비교한다고 가정해보겠습니다.

단순히 전체 Farm에 Fertilizer를 Random하게 배정할 수도 있습니다.

하지만 Garlic Growth는 Fertilizer만으로 결정되지 않습니다.

다음과 같은 요인이 함께 영향을 줄 수 있습니다.

Soil Condition
pH
Sun Exposure
Moisture
Weather
Drainage

이러한 요인들은 연구자가 직접 관심을 가지는 Treatment는 아니지만 Response를 변화시킬 수 있습니다.

즉 Nuisance Factor입니다.

만약 이러한 Variation을 전부 Error로 남겨두면 Treatment Effect가 Random Noise에 묻힐 수 있습니다.

이 문제를 줄이기 위해 사용하는 대표적인 Experimental Design이 Randomized Block Design입니다.

Randomized Block Design은 서로 유사한 Experimental Units를 Block으로 묶고, 각 Block 안에서 Treatment를 Random하게 배정하여 Nuisance Variation을 별도로 통제하는 실험설계입니다.

첨부 교재의 Garlic Example에서도 Weather, Soil pH, Soil Composition, Sun Exposure 같은 외부 영향은 직접 Randomization할 수 없지만, 비슷한 환경을 가진 Farm Sector 내부에서는 이러한 Nuisance Factor의 영향이 비교적 유사하다고 보고 Sector를 Block으로 사용합니다. 그리고 각 Sector 안에서 네 Fertilizer Treatment를 Random하게 배정합니다.

왜 Blocking이 필요할까?

가장 중요한 이유는:

Treatment와 관계없는 Variation을 Error에서 분리하기 위해서

입니다.

ANOVA의 F Statistic은 기본적으로:

Treatment Signal

Error Noise

구조입니다.

즉:

F = Treatment Mean Square / Error Mean Square

입니다.

따라서 Treatment와 무관한 Variation이 Error에 많이 남아 있으면:

Error Mean Square 증가

↓

F 감소 가능

↓

Treatment Difference Detection 어려움

이 될 수 있습니다.

Blocking은 이 불필요한 Variation 일부를 별도 Factor로 설명합니다.

Nuisance Factor란 무엇인가?

Response에 영향을 주지만 현재 연구의 Primary Interest는 아닌 Factor입니다.

Garlic Example에서는 농부들이 궁금한 것은:

어떤 Fertilizer가 Bulb Weight를 가장 크게 만드는가?

입니다.

즉 Primary Factor는:

Fertilizer

입니다.

하지만 Response에는:

Soil
Sun
Weather
Geographic Position

등도 영향을 줄 수 있습니다.

연구자는 이러한 Effect 자체를 자세히 알고 싶은 것이 아니라 Fertilizer Comparison을 방해하지 않도록 통제하고 싶은 것입니다.

이런 변수를 Nuisance Factor라고 할 수 있습니다.

Blocking Variable이란 무엇인가?

Nuisance Variation을 설명하기 위해 Experimental Units를 묶는 Variable입니다.

Garlic Example에서는:

Sector

가 Blocking Variable입니다.

즉 Farm을 여덟 개 Sector로 나누고 각 Sector 안에서 환경조건이 상대적으로 유사하다고 봅니다.

첨부 교재는 Blocking을 Experimental Units의 Logical Grouping이라고 설명하며, Sector를 Model에 포함하는 목적은 Sector Effect 자체에 관심이 있어서가 아니라 Nuisance Factor에 의해 설명되는 Variation을 통제하기 위해서라고 설명합니다.

Randomized Block Design의 핵심 구조

가장 간단하게 정리하면:

Experimental Units

↓

Nuisance Factor에 따라 비슷한 Units끼리 Block 구성

↓

각 Block 안에서 Treatment Randomization

↓

Response 측정

↓

ANOVA Model에서:

Treatment + Block

동시에 포함

입니다.

즉 Blocking과 Randomization을 동시에 사용하는 Design입니다.

Completely Randomized Design과 무엇이 다를까?

Completely Randomized Design에서는 모든 Experimental Unit을 하나의 Pool로 보고 Treatment를 전체에 Random하게 배정합니다.

예:

32개의 Garlic Beds

↓

전체에서 Fertilizer 1~4 Random Assignment

입니다.

반면 Randomized Block Design에서는 먼저:

32 Beds

↓

8 Sectors로 Block 생성

그 다음 각 Sector 내부에서:

Fertilizer 1

Fertilizer 2

Fertilizer 3

Fertilizer 4

를 Random하게 배정합니다.

첨부 교재도 Fertilizer를 전체 32 Beds에 Randomize하는 대신 8개의 Sector 각각 안에서 네 Fertilizer를 Randomize하도록 Design을 변경합니다.

왜 Block 안에서 Randomization할까?

같은 Block 내부의 Experimental Units가 Nuisance Factors 측면에서 상대적으로 비슷하다고 가정하기 때문입니다.

예를 들어 같은 Sector라면:

Soil Type
Sunlight
Moisture

가 서로 유사할 가능성이 높습니다.

따라서 같은 Sector 안에서 Fertilizer를 비교하면 Environment Difference를 어느 정도 통제한 상태에서 Fertilizer Effect를 비교할 수 있습니다.

Block을 만들면 Randomization이 제한된다

이 점이 중요합니다.

Completely Randomized Design에서는 어떤 Fertilizer든 전체 Bed 어디에나 배정될 수 있습니다.

하지만 Blocking을 하면:

각 Sector 안에서만 Treatment Randomization

합니다.

즉 Randomization에 Restriction이 생깁니다.

첨부 교재는 Blocking이 restriction on randomization이라고 명확하게 설명하며, 따라서 Data Analysis에서도 반드시 이 Restriction을 반영해야 한다고 강조합니다.

Blocking을 했으면 분석에서도 Block을 넣어야 한다

매우 중요한 원칙입니다.

실험을 Block Design으로 수행해놓고 Analysis에서는 Sector를 빼버리면 실제 Randomization Structure를 무시하게 됩니다.

교재에서는 Blocking Factor가 분석에 별 도움이 되지 않는 것처럼 보여도 이미 수집된 Blocked Data를 분석할 때는 Block을 ANOVA Model에 포함해야 한다고 설명합니다.

그 이유는 Blocking이 Treatment Assignment에 Restriction을 만들었기 때문입니다. Block을 빼면 마치 그런 Restriction 없이 Completely Randomized된 Data처럼 분석하게 됩니다.

Experimental Design에서 사용한 Randomization 구조는 Statistical Model에도 반영해야 합니다.

Randomized Block Design의 Model

개념적으로 다음과 같이 표현할 수 있습니다.

Observed Response

Overall Mean

Treatment Effect

Block Effect

Error

입니다.

Garlic Example이라면:

Bulb Weight

Overall Mean

Fertilizer Effect

Sector Effect

Residual Error

입니다.

One-Way ANOVA와 비교하면?

Fertilizer만 포함한 Model은:

BulbWt

Fertilizer

Error

입니다.

여기서는 Sector Difference도 Error에 들어갑니다.

반면 Block Model에서는:

BulbWt

Fertilizer

Sector

Error

입니다.

따라서 Sector가 설명하는 Variation을 Error에서 따로 분리할 수 있습니다.

교재 Example에서 실제로 무엇이 달라졌을까?

Fertilizer-only Model의 Error Mean Square는:

0.00077966

이었습니다.

Sector를 추가한 Randomized Block Model에서는:

0.00039369

로 감소했습니다.

즉 Error Variance Estimate가 거의 절반 수준으로 줄었습니다.

왜 MSE가 줄어들까?

원래 Error에 섞여 있던 Variation 일부를 Sector가 설명했기 때문입니다.

개념적으로:

One-Way Model

Fertilizer Effect

Sector Difference

Other Noise

↓

Sector Difference도 Error에 포함

반면:

Block Model

Fertilizer Effect

Sector Effect

Remaining Noise

입니다.

따라서 Residual Error가 줄어들 수 있습니다.

Noise가 줄어들면 Treatment Test에는 어떤 영향이 있을까?

Fertilizer F Statistic은:

Fertilizer Mean Square / Error Mean Square

입니다.

분모인 Error Mean Square가 줄면, Treatment Effect가 동일하다는 조건에서 F가 커질 수 있습니다.

즉 Treatment Difference를 더 민감하게 Detect할 수 있습니다.

이것이 Blocking의 가장 중요한 Statistical Benefit 중 하나입니다.

실제 Fertilizer Result를 비교해보자

Fertilizer-only Model에서는:

F = 1.96

p = 0.1432

였습니다.

즉 α=.05에서 Fertilizer Mean Difference를 Detect하지 못했습니다.

하지만 Sector를 포함한 Block Model에서는 Fertilizer Effect가:

F = 4.31

p = 0.0162

가 됩니다.

즉 같은 Fertilizer Data인데 Block Variation을 Control한 뒤 Statistical Conclusion이 달라졌습니다.

이것은 p-value를 만들기 위해 Sector를 추가한 것일까?

아닙니다.

이 점을 정확하게 이해해야 합니다.

Sector는 Result를 보고 사후에 Significant Result를 만들기 위해 추가한 Variable이 아닙니다.

실험 단계에서 이미 Blocking Variable로 Design에 포함되어 있던 Variable입니다.

따라서 Analysis에서도 포함하는 것이 올바른 것입니다.

Randomized Block Design의 목적은 p-value를 작게 만드는 것이 아니라, Experimental Design에서 알려진 Nuisance Variation을 올바르게 분리하여 Treatment Effect를 더 정확하게 추정하는 것입니다.

Block Effect 자체가 Significant해야 Blocking이 성공한 것일까?

반드시 그런 방식으로만 평가할 수는 없습니다.

첨부 교재에서는 Blocking Variable Sector의 F Value를 이용해 Blocking의 유용성을 생각할 수 있다고 설명합니다.

일부 Statistician은:

Block F > 1

이면 Blocking이 유용할 수 있고:

Block F < 1

이면 Block 추가가 Analysis에 불리할 수 있다고 제안한다고 교재는 설명합니다.

하지만 이것을 모든 상황에 적용되는 절대 Rule로 생각하면 안 됩니다.

교재의 Sector Effect

Sector의 Result는:

DF = 7

Type III SS = 0.01798632

Mean Square = 0.00256947

F = 6.53

p = 0.0004

입니다.

즉 Sector에 따라 Bulb Weight가 상당히 달라지는 Evidence가 있습니다.

이는 Sector를 Block으로 설정한 것이 실제로 큰 Variation을 분리하는 데 도움이 되었음을 보여줍니다.

Block Effect가 유의하다는 것은 Primary Research Result일까?

이 Study에서는 그렇지 않습니다.

농부가 가장 관심 있는 것은:

Sector Effect

가 아니라:

Fertilizer Effect

입니다.

Sector는 Nuisance Variation을 통제하기 위한 Block입니다.

즉 Sector의 Statistical Significance는 Blocking이 Variation을 많이 설명하고 있다는 정보를 주지만 연구의 Primary Treatment Question은 Fertilizer입니다.

Blocking의 목적을 한 문장으로 정리하면

관심 없는 Variation을 설명해서 관심 있는 Treatment Comparison의 Error를 줄이는 것

입니다.

이 원리는 Experimental Design에서 매우 중요합니다.

R-Square도 크게 달라진다

Fertilizer-only Model에서는:

R² ≈ 0.173

이었습니다.

Sector까지 포함한 Model에서는:

R² ≈ 0.736

으로 증가합니다.

즉 Model이 Sample Bulb Weight Variation을 훨씬 더 많이 설명합니다.

R-Square 증가가 모두 Blocking의 장점이라고 할 수 있을까?

교재는 R² 증가 일부는 Model Degrees of Freedom이 늘어난 것과 관련이 있지만, 그 차이의 크기를 보면 이것만으로 모두 설명되기는 어렵다고 설명합니다.

즉 Sector가 실제로 상당한 Response Variation을 설명하는 것으로 볼 수 있습니다.

하지만 단순히 R²를 높이기 위해 Variable을 계속 추가하는 것은 올바른 분석 전략이 아닙니다.

Randomized Block Design의 Assumption

첨부 교재는 Block Model에 대해 추가 Assumption을 제시합니다.

첫 번째:

Treatments are randomly assigned within each block.

두 번째:

The effects of the treatment factor are constant across the levels of the blocking variable.

입니다.

즉 각 Block 내부에서 Treatment Randomization이 이루어져야 하고 Treatment Effect가 Block마다 크게 달라지지 않는다고 가정합니다.

Treatment Effect가 Block마다 같다는 것은 무슨 뜻일까?

예를 들어 Fertilizer 1이 Fertilizer 4보다:

Sector 1에서는 +20

Sector 2에서는 -10

Sector 3에서는 +50

처럼 완전히 다른 Direction의 Effect를 보인다면 단순 Additive Block Model이 적절하지 않을 수 있습니다.

Block Model은 기본적으로:

Fertilizer Effect

Sector Effect

를 Additive하게 봅니다.

즉 Fertilizer Effect가 Sector Level에 따라 달라지는 Interaction이 없다고 가정합니다.

Interaction과 연결되는 부분

첨부 교재에서는 Treatment Effect가 다른 Variable Level에 따라 일정하지 않은 경우 이를 일반적으로 Interaction이라고 설명합니다.

하지만 Randomized Block Design에서는 Block과 Treatment 사이 Interaction이 없다고 가정합니다.

즉:

Treatment Effect constant across Blocks

↓

No Treatment × Block Interaction

이라는 구조입니다.

왜 Interaction을 추정하지 않을까?

전형적인 Randomized Complete Block Design에서는 각 Treatment-Block Combination에 Observation이 제한적일 수 있어 Block × Treatment Interaction과 Error를 별도로 분리하기 어려울 수 있습니다.

첨부 교재의 교육 Example도 Main Effects인 Fertilizer와 Sector만 Model에 포함합니다.

따라서 Treatment Effect가 Block마다 크게 다르다는 Evidence가 있는 상황은 Design과 Model을 다시 검토해야 할 수 있습니다.

Balanced Design이란 무엇인가?

첨부 교재의 Garlic Example에서는 각 Fertilizer/Sector Combination마다 동일한 수의 Garlic Sample이 있습니다.

이를 Balanced Design이라고 설명합니다.

즉:

Sector 1

↓

Fertilizer 1,2,3,4

Sector 2

↓

Fertilizer 1,2,3,4

…

Sector 8

↓

Fertilizer 1,2,3,4

처럼 균형 잡힌 구조입니다.

Randomized Complete Block Design이라고 부르는 이유

각 Block 안에 모든 Treatment가 한 번씩 또는 동일한 구조로 포함되면 Complete Block입니다.

Garlic Example에서는 각 Sector에 네 Fertilizer가 모두 배정됩니다.

즉:

각 Block이 모든 Treatment를 포함

합니다.

이것이 Randomized Complete Block Design의 전형적인 구조입니다.

Complete하지 않은 Block도 있을까?

일반적으로 Experimental Design에는 모든 Treatment가 각 Block에 들어가지 않는 Incomplete Block Design도 존재합니다.

하지만 첨부 교재의 Example은 각 Sector에 모든 Fertilizer가 포함되는 Balanced Block Design에 초점을 둡니다.

따라서 이 글에서도 해당 구조를 중심으로 설명합니다.

Block을 어떻게 정해야 할까?

좋은 Blocking Variable은 Response에 영향을 줄 가능성이 있지만 Treatment Effect 자체가 Primary Interest는 아닌 Factor입니다.

예를 들어:

Agricultural Study

Field Location

Clinical Study

Site

또는 특정 Baseline Stratification Factor

Manufacturing

Production Batch

Education

Classroom

Advertising Experiment

Region

등이 Blocking Candidate가 될 수 있습니다.

다만 실제 Block 정의는 Study Design과 Randomization Unit을 고려해야 합니다.

교재의 Advertising Example

첨부 교재 Exercise에서는 Advertising Type이 Sales에 미치는 Effect를 분석하면서 Area of the Country 때문에 발생하는 Variability를 우려합니다.

Research Interest는 Area 자체가 아니라:

Ad Effect

입니다.

따라서 Area를 Blocking Variable로 포함하여 Area Variation을 분리하도록 합니다.

이 Example도 Nuisance Factor Control이라는 Blocking의 원리를 보여줍니다.

Block 안의 Units는 서로 비슷해야 한다

Blocking이 효과적이려면 같은 Block 내부 Units는 Nuisance Factors 측면에서 가능한 한 Homogeneous해야 합니다.

반대로 Block 사이에는 Response에 영향을 줄 수 있는 Systematic Difference가 존재할 수 있습니다.

즉 좋은 Blocking은:

Within Block Similarity 높임

Between Block Difference 분리

를 목표로 합니다.

Block을 너무 많이 만들면 항상 좋을까?

아닙니다.

Block Factor가 실제 Response Variation을 거의 설명하지 않으면 Model Degrees of Freedom만 사용할 수 있습니다.

첨부 교재도 Block F Ratio가 매우 작을 경우 향후 Study에서는 그 Blocking Variable을 사용하지 않는 것을 고려할 수 있다고 설명합니다.

즉 Blocking은 사전에 충분한 Scientific Reason이 있어야 합니다.

이미 Blocked Study를 했는데 Block이 쓸모없어 보이면 이번 분석에서 빼도 될까?

첨부 교재는 아니라고 명확하게 설명합니다.

향후 Study에서는 Block Variable을 사용하지 않을 수 있지만, 이미 Blocking Restriction을 사용해 수집한 현재 Sample에서는 Block을 Analysis Model에 포함해야 합니다.

이 점은 매우 중요합니다.

왜 Future Study와 Current Study를 구분할까?

현재 Study는 이미:

Block 안에서 Treatment Randomization

이라는 Design으로 Data가 생성되었습니다.

따라서 Statistical Analysis는 그 Design을 반영해야 합니다.

하지만 Block이 실제로 거의 Variation을 설명하지 않는다는 경험을 얻었다면 다음 Study Design에서는 Blocking을 사용하지 않을 수 있습니다.

즉:

Current Data Analysis

와:

Future Design Decision

은 다른 문제입니다.

Randomized Block Design은 단순 Covariate Adjustment와 같은가?

완전히 같다고 보면 안 됩니다.

Blocking은 Experimental Design 단계에서 Randomization 자체를 제한합니다.

즉 Data Collection 이전부터 존재하는 Design Feature입니다.

반면 일반적인 Covariate Adjustment는 Randomization Restriction 없이 Analysis Model에서 Variable을 포함하는 경우도 있습니다.

따라서 Blocking은 단순히 “변수를 하나 더 넣는다”는 것보다 더 강한 Design 의미를 가집니다.

Blocking과 Stratified Randomization은 연결될까?

개념적으로 비슷한 사고가 있습니다.

중요한 Prognostic Factor가 존재할 때 비슷한 Units끼리 묶은 뒤 Treatment를 균형 있게 Randomize하면 Treatment Groups 간 Nuisance Factor Imbalance를 줄일 수 있습니다.

다만 실제 Clinical Trial의 Stratified Randomization과 Block Randomization에는 별도의 설계 개념이 있으므로 모든 Blocking을 동일하게 부르는 것은 주의해야 합니다.

이 글에서는 교재의 Experimental Randomized Block Design을 기준으로 설명합니다.

Block Factor는 Fixed Effect일까 Random Effect일까?

첨부 교재에서는 대부분의 Randomized Block Design에서 Blocking Variable을 Random Effect로 다루는 경우가 많다고 설명합니다.

Random Effect로 처리하면 Standard Error 계산이 달라질 수 있고 Fixed Effect로 다룰 때와 다른 결과를 줄 수 있습니다.

그런데 교재 Example에서는 왜 Fixed Effect처럼 분석할까?

교재는 현재 Example에서 Block을 Fixed Effect로 처리합니다.

그리고 Garlic Example처럼 Balanced Design이며 Treatment Groups끼리 비교하는 경우, Block을 Fixed 또는 Random Effect로 처리해도 Treatment Comparison Result가 동일하다고 설명합니다.

이는 이 Example에 대한 특성입니다.

모든 Block Design에서 항상 같다고 일반화하면 안 됩니다.

Fixed Effect와 Random Effect의 차이는 왜 중요할까?

Fixed Effect는 분석 대상 Level 자체에 관심이 있는 경우가 많습니다.

예:

Specific Fertilizer 1~4

반면 Random Effect는 더 큰 Population의 Random Sample로 Level을 보는 구조와 연결될 수 있습니다.

Block이 Random Effect라면 Variance Component와 Standard Error 계산 방식이 달라질 수 있습니다.

Mixed Model이란 무엇인가?

Fixed Effect와 Random Effect를 동시에 포함하는 Model입니다.

첨부 교재에서는 이러한 Model을 Mixed Model이라고 설명하며 SAS의 Mixed Models Task로 분석할 수 있다고 언급합니다.

즉:

Treatment

↓

Fixed Effect

Block

↓

Random Effect

와 같은 구조가 가능할 수 있습니다.

모든 Randomized Block Design을 일반 ANOVA로 처리해도 될까?

아닙니다.

Block의 Nature, Balanced 여부, Repeated Structure, Missing, Interaction 가능성 등에 따라 Mixed Model 같은 다른 Method가 필요할 수 있습니다.

첨부 교재도 Unbalanced Design이나 ANOVA Assumption을 충족하지 않는 Data에 대한 더 복잡한 분석은 별도의 과정에서 다룬다고 설명합니다.

따라서 이번 글은 교재의 Balanced Garlic Example에 기반한 기본 원리입니다.

Randomized Block Design의 Additional Assumption을 다시 보면

교재는 다음 두 가지를 강조합니다.

1. Treatment가 Block 내부에서 Random하게 배정되어야 한다.

2. Treatment Effect는 Block Level에 걸쳐 Constant해야 한다.

이것은 단순 One-Way ANOVA보다 Design Structure가 추가되었다는 뜻입니다.

일반 ANOVA Assumption도 여전히 필요하다

Blocking을 한다고 기존 ANOVA Assumption이 사라지는 것은 아닙니다.

예:

Independence
Residual Normality
Error Structure

등을 확인해야 합니다.

첨부 교재의 Block ANOVA Exercise에서도 Residual Normality를 확인하도록 명시합니다.

교재의 Q-Q Plot 결과

Garlic Block Model에서는 Residual Q-Q Plot을 확인한 뒤:

Error Term에서 Severe Departure from Normality가 보이지 않는다.

고 설명합니다.

즉 Block Effect만 넣고 p-value를 확인하는 것으로 분석이 끝나는 것이 아니라 Residual Diagnostic도 필요합니다.

Equal Variance Assumption은?

첨부 교재에서는 Independent Variable이 두 개 이상인 Model의 Equal Variance Validation은 해당 Course 범위를 넘어간다고 설명합니다.

따라서 Source에서 구체적인 Multi-Factor HOV Procedure를 제시하지는 않습니다.

이 부분을 임의로 Source 내용처럼 확장하면 안 됩니다.

SAS Enterprise Guide에서 Block ANOVA를 실행하는 구조

교재의 Garlic Example에서는:

MGGARLIC_BLOCK Dataset

을 사용합니다.

그리고:

BulbWeight

↓

Dependent Variable

Fertilizer

↓

Classification Variable

Sector

↓

Classification Variable

로 설정합니다.

Model에는:

Fertilizer + Sector

Main Effects를 포함합니다.

왜 Interaction Term을 넣지 않을까?

Randomized Block Design에서는 Treatment Effect가 Blocks에 걸쳐 Constant하다고 가정합니다.

즉 Treatment × Block Interaction이 없다고 가정합니다.

따라서 교재의 Basic Block Model에서는 Main Effects만 포함합니다.

SAS Output의 Class Level Information

교재 Output에서는:

Fertilizer

4 Levels:

1 2 3 4

그리고:

Sector

8 Levels:

1 2 3 4 5 6 7 8

가 나타납니다.

즉 Model에 두 개의 Categorical Variables가 포함되었음을 확인할 수 있습니다.

Overall F Test를 먼저 보면?

Block Model의 Overall Result는:

F(10,21) = 5.86

p = 0.0003

입니다.

이는 Model 전체에서 Mean Difference Evidence가 있다는 뜻입니다.

하지만 Model에는 두 Terms가 있습니다.

Fertilizer
Sector

따라서 Overall F만으로 어느 Factor 때문에 Difference가 발생했는지 알 수 없습니다.

Factor-specific Tests가 필요한 이유

첨부 교재도 Overall F가 Significant하더라도 Model에 Term이 하나 이상이므로 Difference가 Fertilizer 때문인지 Sector 때문인지 Overall Test만으로는 알 수 없다고 설명합니다.

따라서 각 Factor의 Type III Test를 확인합니다.

Fertilizer Result

DF = 3

F = 4.31

p = 0.0162

입니다.

따라서 Sector를 Adjust한 뒤에도 Fertilizer Effect가 Significant합니다.

Sector Result

DF = 7

F = 6.53

p = 0.0004

입니다.

즉 Fertilizer를 Adjust한 뒤 Sector Effect도 Significant합니다.

Type III SS는 여기서 무엇을 의미할까?

교재에서는 Type III SS Test가 각 Variable의 Effect를 다른 Variable을 Control 또는 Adjust한 상태에서 평가한다고 설명합니다.

즉:

Fertilizer Type III Test

Sector를 Adjust한 Fertilizer Effect

Sector Type III Test

Fertilizer를 Adjust한 Sector Effect

입니다.

Type I SS와 Type III SS는 같은가?

교재에서는 이 Garlic Design이 Completely Balanced이므로 Type I과 Type III Test가 정확히 같다고 설명합니다.

하지만 일반적으로는 같지 않을 수 있습니다.

Type I SS는 Sequential하기 때문입니다.

따라서 이 Example의 결과를 Unbalanced Design에 그대로 일반화하면 안 됩니다.

Blocking이 왜 Treatment Precision을 높이는지 수치로 보면

Fertilizer-only Model:

MSE = 0.00077966

Block Model:

MSE = 0.00039369

입니다.

즉 Sector가 Response Variation 일부를 설명하면서 Residual Error가 줄었습니다.

이것이 Treatment Comparison의 Standard Error와 F Statistic에 영향을 줄 수 있습니다.

Blocking은 Sample Size를 늘리는 것과 같은가?

아닙니다.

Sample Size는 그대로:

32 Observations

입니다.

하지만 Data를 더 효율적으로 설명합니다.

즉 새로운 Observation을 추가하지 않고도 Nuisance Variation을 분리하여 Statistical Precision을 개선할 수 있습니다.

좋은 Experimental Design은 단순히 더 많은 Sample을 모으는 것만큼이나 중요할 수 있습니다.

Blocking과 Sample Size의 관계

Sample Size를 늘리면 Sampling Error를 줄일 수 있습니다.

Blocking은 기존 Sample 안에서 Nuisance Variation을 분리하여 Residual Error를 줄이는 접근입니다.

따라서 두 전략은 다릅니다.

Larger n

더 많은 Information

Blocking

같은 Information을 더 효율적으로 구조화

라고 생각할 수 있습니다.

Blocking이 항상 p-value를 작게 만들까?

아닙니다.

Block이 Response Variation을 거의 설명하지 않으면 Error Reduction이 크지 않을 수 있습니다.

또 Block Factor 때문에 Model Degrees of Freedom이 사용됩니다.

따라서 Blocking이 항상 Power를 높인다고 단정하면 안 됩니다.

첨부 교재도 Block F가 매우 작으면 Future Study에서는 해당 Block을 사용하지 않는 것을 고려할 수 있다고 설명합니다.

그런데 왜 이미 Blocked Data에서는 Block을 빼면 안 될까?

다시 강조하면 Randomization Structure 때문입니다.

Treatment Assignment가 Block 안에서 제한되었으므로 Analysis도 그 Design을 반영해야 합니다.

즉:

Block Usefulness

과:

Current Model Inclusion Requirement

는 다른 문제입니다.

Randomized Block Design에서 Treatment Effect가 더 명확해지는 원리

전체 흐름은 다음과 같습니다.

Response Total Variation

↓

Treatment Variation

Block Variation

Residual Variation

입니다.

Block을 넣지 않으면:

Block Variation

이 Residual에 포함됩니다.

Block을 넣으면:

Block Variation

을 Model이 설명합니다.

따라서:

Residual MSE 감소 가능

↓

Treatment F 증가 가능

↓

Treatment Effect Precision 증가

입니다.

이 구조는 Confounding과 같은 것일까?

완전히 같은 개념은 아닙니다.

Blocking의 목적은 알려진 Nuisance Factor Variation을 Design 단계에서 균형 있게 통제하고 분석에서 분리하는 것입니다.

Confounding은 Treatment와 다른 Factor Effect를 분리하기 어려운 상황을 의미할 수 있습니다.

Randomization within Blocks는 Treatment와 Block 사이의 Systematic Imbalance를 줄이는 데 도움을 줄 수 있습니다.

Randomization이 여전히 중요한 이유

Block만 만들고 Treatment를 Block 안에서 Random하게 배정하지 않으면 Treatment와 다른 Unknown Factors가 연결될 수 있습니다.

따라서 Randomized Block Design의 핵심은:

Blocking

Randomization within Block

둘 다입니다.

모든 Block에 Treatment를 같은 순서로 배정하면?

예를 들어 모든 Sector에서:

북쪽 Bed = Fertilizer 1

그 다음 = Fertilizer 2

…

처럼 고정하면 위치와 Treatment가 Confounded될 수 있습니다.

따라서 각 Block 안에서 Treatment Assignment를 Randomize해야 합니다.

교재 역시 Treatment가 각 Block 안에서 Random하게 배정되어야 한다는 Assumption을 명시합니다.

Block이 너무 넓으면 어떻게 될까?

같은 Block 안의 Units가 실제로 매우 다르면 Nuisance Variation 통제 효과가 약해질 수 있습니다.

즉 좋은 Block은 내부적으로 Homogeneous해야 합니다.

예를 들어 전체 Farm을 단 두 Sector로만 나누면 각 Sector 내부 Soil Difference가 여전히 클 수 있습니다.

Block이 너무 세분화되면?

Block 수가 지나치게 많거나 Block 정의가 불필요하게 복잡하면 Degrees of Freedom과 Practical Implementation에 부담이 생길 수 있습니다.

따라서 Scientific Knowledge를 이용해 Response에 중요한 Nuisance Variation을 실제로 잘 설명하는 Block을 선택해야 합니다.

Randomized Block Design의 대표적인 오해

“Block Variable도 Treatment와 똑같이 관심 있는 Factor다”

아닙니다.

Block은 주로 Nuisance Variation을 Control하기 위해 포함합니다.

“Block p-value가 Significant하지 않으면 현재 분석에서 Block을 빼면 된다”

첨부 교재의 Blocked Sample에서는 그렇지 않습니다.

Blocking은 Randomization Restriction이므로 이미 수집된 Data의 Model에 포함해야 합니다.

“Blocking을 넣으면 무조건 Treatment p-value가 작아진다”

아닙니다.

Block이 실제 Variation을 얼마나 설명하는지에 따라 달라집니다.

“Blocking은 사후에 p-value를 보고 추가하는 방법이다”

아닙니다.

Experimental Design 단계에서 정의하는 구조입니다.

“Randomized Block Design에서는 Treatment Randomization이 필요 없다”

아닙니다.

각 Block 안에서 Treatment를 Random하게 배정해야 합니다.

“Block끼리는 비슷하고 Block 안은 달라도 된다”

반대입니다.

좋은 Blocking은 같은 Block 안 Units가 Nuisance Factors 측면에서 비슷하도록 구성합니다.

“Randomized Block Design에서는 Treatment × Block Interaction을 당연히 분석한다”

교재의 기본 Randomized Block Design에서는 Treatment Effect가 Block마다 Constant하다고 가정하며 Block Interaction이 없다고 봅니다.

“Block을 Random Effect로 처리하든 Fixed Effect로 처리하든 항상 결과가 같다”

아닙니다.

교재의 Balanced Garlic Example에서 Treatment Group Comparison Result가 동일하다고 설명하는 것이며 일반적으로 Standard Error가 달라질 수 있습니다.

“R²가 높아졌으므로 Block Model이 무조건 더 좋은 연구다”

R² 증가만으로 Model Validity를 판단해서는 안 됩니다.

Design Rationale와 Assumption을 함께 봐야 합니다.

“Blocking은 Missing Data 문제도 해결한다”

아닙니다.

Missing, Protocol Deviation, Measurement Error 같은 문제는 별도로 관리해야 합니다.

Randomized Block Design의 전체 구조

전체 과정을 하나로 정리하면 다음과 같습니다.

Research Question

↓

Treatment Effect를 알고 싶음

↓

하지만 Response에 Nuisance Factors 존재

↓

Experimental Units를 Similar Groups로 묶음

↓

Block 생성

↓

각 Block 안에서:

Treatment Randomization

↓

Response 측정

↓

Analysis Model:

Response = Treatment + Block + Error

↓

Block이 설명하는 Variation 분리

↓

Residual Error 감소 가능

↓

Treatment Comparison Precision 증가

↓

Treatment F Test

↓

Treatment Effect 평가

입니다.

Garlic Example의 전체 흐름

첨부 교재의 Design은 다음과 같습니다.

32 Garlic Beds

↓

8 Sectors

↓

각 Sector 내부에서:

Fertilizer 1

Fertilizer 2

Fertilizer 3

Fertilizer 4

Random Assignment

↓

Bulb Weight 측정

↓

Model:

BulbWt = Fertilizer + Sector + Error

입니다.

SAS에서의 분석 흐름

첨부 교재에서는 다음과 같이 설정합니다.

Dataset

MGGARLIC_BLOCK

↓

Dependent Variable

BulbWeight

↓

Classification Variables

Fertilizer

Sector

↓

Model

Fertilizer Main Effect

Sector Main Effect

↓

Run

↓

Residual Q-Q Plot 확인

↓

ANOVA Table 확인

↓

Factor-specific Type III Tests 확인

입니다.

Result를 읽는 순서

Randomized Block ANOVA에서는 다음 순서가 좋습니다.

1. Design 확인

실제로 Block 안에서 Randomization했는가?

2. Block Definition 확인

Nuisance Variation을 합리적으로 묶는 Factor인가?

3. Balance 확인

각 Treatment × Block Combination 구조는?

4. Residual Diagnostic 확인

Normality 등에 Severe Problem이 있는가?

5. Overall Model Test

Model 전체 Evidence 확인

6. Treatment Effect Test

Primary Question 확인

7. Block Effect Test

Blocking이 Variation을 얼마나 설명하는지 확인

8. MSE 비교

Blocking으로 Residual Error가 줄었는가?

9. Treatment Means / Post Hoc

어떤 Treatment가 다른지 확인

10. Practical Interpretation

실제 Difference가 중요한가?

입니다.

Garlic Example에서 가장 중요한 숫자

One-Way Fertilizer Model:

MSE = 0.00077966

Fertilizer F = 1.96

p = 0.1432

반면 Block Model:

MSE = 0.00039369

Fertilizer F = 4.31

p = 0.0162

입니다.

즉 Sector Variation을 Model에서 분리한 뒤 Fertilizer Comparison의 Error Estimate가 작아지고 Treatment Effect가 Statistical하게 Detect됩니다.

그러나 Block Model의 Overall p=.0003만 보면 안 된다

Overall Model에는:

Fertilizer
Sector

두 Terms가 있기 때문입니다.

첨부 교재도 Overall F:

F(10,21)=5.86

p=.0003

만으로 Difference가 Fertilizer 때문인지 Sector 때문인지 알 수 없다고 명확하게 설명합니다.

따라서 Factor-specific Test를 봐야 합니다.

Treatment와 Block의 역할을 분리해야 한다

Fertilizer

Primary Treatment Factor

↓

실제 비교 관심

Sector

Blocking Factor

↓

Nuisance Variation Control

입니다.

둘 다 Model에 들어가지만 Scientific Role은 다릅니다.

Blocking은 좋은 설계가 분석보다 먼저 시작된다는 것을 보여준다

Statistical Analysis 단계에서 아무리 복잡한 Method를 사용해도 나쁜 Experimental Design의 모든 문제를 해결할 수는 없습니다.

반대로 Nuisance Factor를 미리 파악해 Blocking하면 같은 Sample Size에서도 더 정밀한 Treatment Comparison이 가능할 수 있습니다.

즉:

Analysis의 품질은 Data가 생성되는 Design 단계에서 이미 상당 부분 결정됩니다.

다음 Two-Way ANOVA와 무엇이 다를까?

Randomized Block Design에도 두 개의 Categorical Variables가 있습니다.

Treatment
Block

따라서 형식적으로는 Multi-Factor ANOVA와 유사합니다.

하지만 Scientific Purpose가 다릅니다.

Randomized Block Design에서는 Block Effect 자체가 Primary Interest가 아니며 Treatment × Block Interaction이 없다고 가정합니다.

반면 일반적인 Two-Way ANOVA에서는 두 Factor 모두 관심 대상일 수 있고 Interaction Effect 자체가 중요한 Research Question일 수 있습니다.

이 차이가 이후 Two-Way ANOVA와 Interaction Effect 글에서 중요해집니다.

핵심 정리

Randomized Block Design은 Response에 영향을 주는 Nuisance Variation을 Block으로 분리하여 Treatment Effect를 더 정밀하게 비교하기 위한 Experimental Design입니다.

첨부 교재의 Garlic Example에서는 Fertilizer Effect를 평가하면서:

Weather
Soil pH
Soil Composition
Sun Exposure

등의 External Influence를 직접 Randomize할 수 없기 때문에 비슷한 환경을 가진 Farm Area를 Sector로 묶습니다.

그리고 전체 32 Beds에 Treatment를 Random하게 배정하는 대신 각 Sector 안에서 네 Fertilizer Treatment를 Random하게 배정합니다.

즉:

Blocking

↓

비슷한 Experimental Units끼리 묶음

그리고:

Randomization

↓

각 Block 안에서 Treatment Assignment

입니다.

Randomized Block ANOVA의 기본 Model은:

Response

Treatment

Block

Error

입니다.

Blocking Variable은 Model에 포함되지만 Primary Interest는 아닙니다. 그 목적은 Nuisance Factor에 의해 설명되는 Variation을 Error에서 분리하는 것입니다.

첨부 교재의 Garlic Data에서 Fertilizer-only Model의 Error Mean Square는:

0.00077966

이었지만 Sector를 포함한 Model에서는:

0.00039369

로 감소합니다.

그리고 Fertilizer Effect도:

F = 1.96, p=.1432

에서:

F = 4.31, p=.0162

로 달라집니다.

즉 Nuisance Variation을 Sector로 설명하면서 Treatment Comparison의 Precision이 향상되었습니다.

Randomized Block Design에는 추가적으로 다음 Assumption이 있습니다.

Treatment는 각 Block 안에서 Random하게 배정되어야 한다.

그리고:

Treatment Effect는 Block Level에 걸쳐 Constant해야 한다.

즉 Basic Block Model에서는 Treatment × Block Interaction이 없다고 가정합니다.

또 매우 중요한 원칙이 있습니다.

Blocking은 Randomization에 Restriction을 만드는 Experimental Design이므로 이미 Block Design으로 수집한 Data는 Analysis에서도 Blocking Variable을 포함해야 합니다.

교재는 Block이 별로 유용하지 않은 것으로 나타나면 Future Study에서는 Block 사용을 재검토할 수 있지만, 이미 Blocking을 사용해 수집한 현재 Data에서는 Block을 Model에서 제거해서는 안 된다고 설명합니다.

마지막으로 Block Factor의 Fixed/Random 처리도 구분해야 합니다.

교재에서는 일반적으로 많은 Randomized Block Design에서 Block을 Random Effect로 처리할 수 있으며, Fixed와 Random Effect를 함께 포함하는 Model을 Mixed Model이라고 설명합니다. 다만 현재 Balanced Garlic Example에서는 Treatment Group Comparison 결과가 Block을 Fixed 또는 Random으로 처리해도 동일하다고 설명합니다.

따라서 Randomized Block Design의 핵심은 단순히 ANOVA에 Variable 하나를 더 넣는 것이 아닙니다.

전체 흐름은:

Nuisance Factor 식별

↓

Similar Experimental Units를 Block으로 구성

↓

각 Block 안에서 Treatment Randomization

↓

Treatment + Block Model로 분석

↓

Block Variation 분리

↓