두 개의 서로 독립적인 Group에서 평균이 실제로 다른지 확인하고 싶을 때 사용하는 대표적인 Statistical Method가 Two-Sample t-Test입니다.

예를 들어 다음과 같은 질문을 생각할 수 있습니다.

• Male과 Female의 평균 SAT Score가 다른가?
• Treatment Group과 Control Group의 평균 Outcome이 다른가?
• 공정 A와 공정 B의 평균 생산량이 다른가?
• 두 지역의 평균 소비금액이 다른가?

Sample에서 두 Group의 Mean이 다르다고 해서 Population Mean도 반드시 다르다고 결론내릴 수는 없습니다.

Random Sampling을 하면 실제 Population Mean이 같더라도 Sample Mean 사이에는 어느 정도 Difference가 자연스럽게 발생할 수 있기 때문입니다.

따라서 Two-Sample t-Test의 핵심 질문은 단순히:

“두 Sample Mean이 다른가?”

가 아닙니다.

보다 정확하게는:

“관찰된 두 Sample Mean의 Difference가 Sampling Variability만으로 설명하기 어려울 정도로 큰가?”

입니다.

첨부 교재에서는 Two-Sample t-Test의 목적을 두 Population Mean의 Difference를 분석하고, Test의 Assumption을 확인하는 것으로 설명합니다.

Two-Sample t-Test란 무엇인가?

Two-Sample t-Test는 서로 독립적인 두 Sample에서 계산한 Mean을 비교하여 두 Population Mean이 같은지 평가하는 Statistical Test입니다.

기본 구조는 다음과 같습니다.

Population 1

↓

Sample 1

↓

Mean x̄₁

vs.

Population 2

↓

Sample 2

↓

Mean x̄₂

그리고 궁극적으로 알고 싶은 것은:

μ₁ – μ₂

입니다.

즉 Sample Mean Difference를 이용해 Population Mean Difference를 추론합니다.

왜 이름에 Two-Sample이 들어갈까?

비교 대상이 서로 다른 두 Sample이기 때문입니다.

예를 들어:

Group 1

Male Students

Group 2

Female Students

에서 각각 SATScore를 측정한다고 가정해보겠습니다.

각 Student는 한 Group에만 속합니다.

따라서 두 Sample은 서로 독립적입니다.

첨부 교재에서도 SATScore Data에 Gender를 추가하여 Male과 Female 평균 Score Difference를 Two-Sample t-Test로 평가합니다.

One-Sample t-Test와 무엇이 다를까?

앞서 살펴본 One-Sample t-Test는:

Sample Mean

vs.

고정된 Reference Value

를 비교합니다.

예를 들어:

Sample Mean BodyTemp

vs.

98.6°F

입니다.

반면 Two-Sample t-Test는:

Sample Mean 1

vs.

Sample Mean 2

를 비교합니다.

예:

Male SAT Mean

vs.

Female SAT Mean

입니다.

따라서 두 번째 Mean 역시 Sample에서 추정되는 값이라는 점이 다릅니다.

Two-Sample t-Test의 Null Hypothesis

가장 기본적인 형태는:

H₀: μ₁ = μ₂

입니다.

이를 Difference 형태로 쓰면:

H₀: μ₁ – μ₂ = 0

입니다.

즉 두 Population Mean 사이에 Difference가 없다는 가정입니다.

첨부 교재에서도 Two-Sample t-Test의 Equal Means Hypothesis를:

H₀: μ₁ – μ₂ = 0

으로 제시합니다.

Alternative Hypothesis는?

Two-Sided Test라면:

H₁: μ₁ ≠ μ₂

또는:

H₁: μ₁ – μ₂ ≠ 0

입니다.

즉 어느 Group Mean이 더 높은지 방향을 사전에 특정하지 않고 Population Mean이 서로 다른지를 평가합니다.

Sample Mean Difference가 0이 아니면 H₀가 틀린 것 아닐까?

아닙니다.

예를 들어 실제 Population Mean이 두 Group 모두:

100

이라고 가정해보겠습니다.

Random Sample을 뽑으면:

Sample 1

Mean = 101

Sample 2

Mean = 98

이 나올 수 있습니다.

Sample Difference는:

3

입니다.

하지만 Population Mean은 실제로 같습니다.

즉 Sampling Variation 때문에 Sample Mean Difference가 발생할 수 있습니다.

따라서 Two-Sample t-Test에서는 이 Difference가 Sampling Variability에 비해 얼마나 큰지를 평가합니다.

Two-Sample t-Test의 핵심 구조

개념적으로 다음과 같습니다.

Observed Mean Difference

↓

x̄₁ – x̄₂

÷

Difference의 Standard Error

↓

t Statistic

입니다.

즉:

Signal ÷ Noise

구조입니다.

Signal

두 Group Mean Difference

Noise

Sampling Variability

입니다.

Difference가 크면 t Statistic도 커질까?

다른 조건이 같다면 그렇습니다.

예를 들어:

Case A

Mean Difference = 1

Case B

Mean Difference = 20

이고 Standard Error가 동일하다면 Case B의 |t|가 더 큽니다.

따라서 H₀에서 더 Extreme한 Result가 되고 p-value는 작아지는 경향이 있습니다.

Standard Error도 중요하다

같은 Mean Difference라도 Group Variability와 Sample Size에 따라 Standard Error가 달라집니다.

예를 들어:

Difference = 5

라고 가정해보겠습니다.

Study A

SE = 10

↓

t = 0.5

Study B

SE = 1

↓

t = 5

입니다.

따라서 Two-Sample t-Test도 단순 Difference가 아니라 Difference 대비 Precision을 평가하는 Test입니다.

두 Group의 Sample Size가 중요할까?

그렇습니다.

Sample Size가 커지면 일반적으로 Mean Estimate의 Precision이 높아지고 Difference의 Standard Error가 작아질 수 있습니다.

따라서 같은 Population Difference에서도:

Large Sample

↓

Smaller SE

↓

Larger |t|

↓

Smaller p-value 가능

입니다.

이 때문에 Statistical Significance와 Practical Significance를 반드시 구분해야 합니다.

Two-Sample t-Test가 필요한 실제 질문

예를 들어 다음과 같은 질문에 사용할 수 있습니다.

Education

Male과 Female의 평균 SAT Score가 다른가?

Clinical Research

Treatment와 Placebo의 평균 Change가 다른가?

Business

Male과 Female Customer의 평균 Monthly Spending이 다른가?

첨부 교재에서도 평균 Monthly Credit Card Spending을 Male과 Female 사이에서 비교할 때 Two-Sample t-Test 또는 One-Way ANOVA를 사용할 수 있다고 제시합니다.

왜 One-Way ANOVA도 사용할 수 있을까?

두 Group만 존재하는 경우 One-Way ANOVA와 Two-Sample t-Test는 같은 Mean Equality Question을 검정할 수 있습니다.

예를 들어:

Male

Female

두 Group이라면:

Two-Sample t-Test

또는:

One-Way ANOVA

를 사용할 수 있습니다.

첨부 교재의 Poll에서도 두 방법을 모두 정답으로 제시합니다.

다만 두 Group Mean Comparison에서는 t-Test가 보다 직접적인 방식입니다.

세 Group 이상이면?

예를 들어:

Group A

Group B

Group C

가 있다면 여러 번 Two-Sample t-Test를 수행하는 것보다 ANOVA를 사용하는 것이 일반적으로 더 적절합니다.

왜냐하면 여러 Pairwise t-Test를 반복하면 Type I Error가 누적될 수 있기 때문입니다.

이 주제는 이후:

ANOVA가 여러 번의 t-Test보다 적절한 이유

에서 자세히 다루게 됩니다.

Two-Sample t-Test의 중요한 Assumption

첨부 교재는 Two-Sample t-Test에서 Assumption을 확인하는 것을 주요 학습 목표로 제시합니다.

대표적으로 다음을 생각할 수 있습니다.

• 두 Group이 서로 독립적이어야 함
• Response가 Continuous여야 함
• 각 Population 또는 Sampling Distribution의 구조가 t-Test 적용에 적절해야 함
• 어떤 t-Test를 사용할지 결정할 때 Variance Structure를 확인해야 함

특히 첨부 교재에서는 Equal Variance 여부를 매우 중요하게 다룹니다.

Independent Samples란 무엇인가?

한 Observation이 다른 Group Observation과 Pair로 연결되어 있지 않은 구조입니다.

예를 들어:

Male Students

vs.

Female Students

에서는 한 Student가 동시에 Male Group과 Female Group에 속하지 않습니다.

따라서 서로 독립적인 Sample입니다.

Independent와 Paired는 어떻게 다를까?

다음 두 상황을 비교해보겠습니다.

Independent

Treatment Group A의 Patient

vs.

Treatment Group B의 다른 Patient

Paired

같은 Patient의 Before

vs.

After

입니다.

Paired Data에서는 두 Measurement가 같은 Subject 안에서 연결되어 있으므로 일반적인 Independent Two-Sample t-Test 구조와 다릅니다.

같은 사람의 Before/After에 Two-Sample t-Test를 쓰면 왜 문제가 될까?

두 Measurement가 독립적이지 않기 때문입니다.

한 사람의 Before Value와 After Value는 보통 강하게 관련되어 있습니다.

따라서 Pairing Structure를 이용하는 Paired t-Test가 더 적절할 수 있습니다.

즉 Statistical Method 선택에서 Data Collection Design이 매우 중요합니다.

Response Variable은 어떤 형태여야 할까?

Two-Sample t-Test는 Population Mean을 비교하므로 일반적으로 Continuous Response Variable을 사용합니다.

예:

• SATScore
• Blood Pressure
• Weight
• Monthly Spending
• Strength

같은 Variable입니다.

Group을 정의하는 Variable은 Categorical입니다.

즉 구조는:

Categorical Predictor

↓

2 Levels

그리고:

Continuous Response

입니다.

Measurement Scale과도 연결된다

예를 들어 Gender가:

Male = 1

Female = 2

로 Numeric Coding되어 있다고 해도 Gender의 Mean을 비교하는 것이 아닙니다.

Gender는 Classification Variable입니다.

SATScore가 Analysis Variable입니다.

즉:

Numeric Data Type

과:

Statistical Role

을 구분해야 합니다.

첨부 교재의 SATScore Example

교재의 Chapter 3에서는 이전 Chapter에서 사용한 TESTSCORES Dataset을 다시 사용합니다.

Dataset에는 다음 Variable이 있습니다.

• Gender
• SATScore
• IDNumber

학생들은 이전에 전체 Magnet Student Population의 Mean SAT Score가 1200인지 분석했습니다.

이번에는 추가 질문을 합니다.

Boys와 Girls의 평균 SATScore가 다른가?

그래서 Gender를 이용해 두 Group을 나누고 Two-Sample t-Test를 수행합니다.

여기서 Predictor와 Response는 무엇일까?

Predictor / Group Variable

Gender

↓

Male / Female

Response Variable

SATScore

입니다.

즉:

Gender

↓

두 Group 생성

↓

SATScore Mean 비교

입니다.

Two-Sample t-Test는 Group Mean을 직접 비교한다

예를 들어:

Female Mean = 1150

Male Mean = 1230

이라고 가정해보겠습니다.

Observed Difference를:

Female – Male

로 정의하면:

-80

입니다.

반대로:

Male – Female

로 정의하면:

+80

입니다.

두 경우 Statistical Significance는 동일할 수 있지만 Sign Direction은 반대입니다.

따라서 Output에서 어떤 Group 순서로 Difference를 계산했는지 확인해야 합니다.

Difference의 부호가 중요한 이유

예를 들어:

Difference = -50

이라는 Output이 있다고 하겠습니다.

이 숫자만 보고:

“Treatment가 50 낮다.”

라고 말하면 위험합니다.

Difference가:

Group A – Group B

인지:

Group B – Group A

인지 확인해야 합니다.

따라서 SAS Output에서는 Group Order를 함께 확인해야 합니다.

Equal Variance Assumption이란 무엇인가?

두 Population의 Variance가 같다고 가정하는 것입니다.

수학적으로:

H₀: σ₁² = σ₂²

입니다.

첨부 교재에서는 먼저 Variance Equality를 검정한 뒤 그 Result에 따라 적절한 Mean t-Test Line을 사용하도록 설명합니다.

즉 두 가지 t-Test가 존재합니다.

두 종류의 Two-Sample t-Test

첨부 교재에서는 다음 두 방법을 구분합니다.

Equal Variance t-Test

Pooled

Unequal Variance t-Test

Satterthwaite

입니다.

둘 다 Mean Difference를 검정하지만 Variance를 다루는 방식이 다릅니다.

Pooled t-Test란 무엇인가?

두 Population Variance가 같다고 가정합니다.

즉:

σ₁² = σ₂²

라고 보고 두 Sample Variance를 하나의 Common Variance Estimate로 결합합니다.

이 결합된 Variance를 Pooled Variance라고 할 수 있습니다.

따라서 Equal Variance Assumption이 합리적인 경우 Pooled t-Test를 사용할 수 있습니다.

왜 Variance를 Pool할까?

두 Population Variance가 실제로 같다는 가정 아래에서는 두 Sample에서 얻은 Variance 정보를 합치면 Common Variance를 더 효율적으로 Estimate할 수 있기 때문입니다.

구조는:

Sample Variance 1

Sample Variance 2

↓

Weighted Combination

↓

Pooled Variance

입니다.

Satterthwaite t-Test란 무엇인가?

두 Population Variance가 같다고 가정하지 않는 Two-Sample t-Test입니다.

첨부 교재에서는 Unequal Variance t-Test (Satterthwaite)라고 표시합니다.

각 Group의 Variability를 별도로 반영하고 Adjusted Degrees of Freedom을 사용합니다.

Satterthwaite의 df가 정수가 아닐 수도 있을까?

그렇습니다.

첨부 교재의 Example에서는:

DF = 11.1

처럼 Non-Integer Degrees of Freedom이 나타납니다.

이는 Unequal Variance를 반영하여 Degrees of Freedom을 근사 계산하기 때문입니다.

따라서 df가 소수점이라고 Error가 아닙니다.

Pooled t-Test의 df는?

Equal Variance Two-Sample t-Test에서는 일반적으로:

df = n₁ + n₂ – 2

형태입니다.

예를 들어:

n₁ = 10

n₂ = 5

라면:

df = 13

입니다.

첨부 교재의 Pooled Example에서도:

DF = 13.0

이 표시됩니다.

Variance Equality는 어떻게 확인할까?

첨부 교재의 t Test Task Output 아래에는 F-Test for Equal Variances가 제공됩니다.

Null Hypothesis는:

H₀: σ₁² = σ₂²

입니다.

즉 두 Population Variance가 같다는 가정입니다.

Equal Variance F-Test의 p-value가 크면?

예를 들어 첨부 교재의 첫 Example에서는 F-Test p-value가:

0.7446

입니다.

α=0.05보다 큽니다.

따라서 Equal Variance H₀를 Reject할 Evidence가 충분하지 않습니다.

교재에서는 이 경우 Equal Variance t-Test Line을 사용하여 Population Mean Equality를 검정하도록 안내합니다.

Equal Variance F-Test의 p-value가 작으면?

첨부 교재의 다른 Example에서는:

F’ = 15.28

p = 0.0185

입니다.

α=.05보다 작으므로:

Reject Equal Variance H₀

입니다.

즉 두 Population Variance가 같다고 가정하기 어렵습니다.

따라서 교재에서는 Satterthwaite Unequal Variance t-Test Line을 사용하도록 안내합니다.

왜 Variance 선택이 중요한가?

같은 Data에서도 Pooled와 Satterthwaite Test의 p-value가 상당히 달라질 수 있기 때문입니다.

첨부 교재의 Unequal Variance Example에서는 다음 Result가 제시됩니다.

Pooled

t = -1.7835

df = 13

p = 0.0979

Satterthwaite

t = -2.4518

df = 11.1

p = 0.0320

α=.05를 적용하면:

Pooled에서는 Fail to Reject

하지만:

Satterthwaite에서는 Reject

입니다.

즉 어떤 Variance Assumption을 사용하는지에 따라 결론 자체가 달라질 수 있습니다.

교재가 강조하는 핵심

첨부 교재는 이 Example 다음에 적절한 t-Test를 선택하는 것이 중요하다고 명시합니다.

즉 단순히 Output에 나온 첫 번째 p-value를 읽어서는 안 됩니다.

먼저:

Variance Assumption

↓

어떤 t-Test Line이 적절한가?

를 확인해야 합니다.

F-Test p-value가 크면 Variance가 완전히 같다는 뜻일까?

엄밀하게는 아닙니다.

앞서 Hypothesis Testing에서 살펴본 것처럼:

Fail to Reject H₀

는:

H₀가 참이라고 증명

하는 것이 아닙니다.

즉 p=0.7446이라고 해서 두 Population Variance가 정확히 동일하다고 입증한 것은 아닙니다.

현재 Sample에서 Equal Variance Assumption과 충돌하는 충분한 Evidence가 없다는 의미입니다.

Variance Test만 기계적으로 사용하는 것이 항상 최선일까?

첨부 교재는 교육 과정에서 F-Test Result에 따라 Pooled와 Satterthwaite를 선택하는 구조를 명확하게 제시합니다.

실제 분석에서는 연구의 Statistical Analysis Plan과 선택한 Method를 따르는 것이 중요합니다.

또 Variance Difference의 크기, Sample Size Balance, Distribution 등을 함께 검토할 수 있습니다.

이 글에서는 첨부 교재의 학습 구조를 기준으로 설명합니다.

Variance가 다른데 Pooled를 사용하면 왜 문제가 될 수 있을까?

Pooled t-Test는 Common Variance가 존재한다고 가정합니다.

그런데 실제 Variance가 크게 다르면 Standard Error Estimate가 부적절해질 수 있습니다.

결과적으로:

• t Statistic
• Degrees of Freedom
• p-value
• Confidence Interval

이 영향을 받을 수 있습니다.

첨부 교재의 Example에서 실제 Decision이 달라지는 이유입니다.

Group Sample Size까지 불균형하면 더 주의해야 한다

예를 들어:

Group A

n = 100

SD = 5

Group B

n = 10

SD = 50

같은 구조에서는 Sample Size와 Variance가 모두 크게 다릅니다.

단순 Group Mean만 보고 비교하면 Distribution의 특성을 놓칠 수 있습니다.

따라서 t-Test 전에 Descriptive Statistics와 Plot을 확인해야 합니다.

Two-Sample t-Test 전에 확인할 Descriptive Statistics

각 Group에서 최소한 다음을 확인하는 것이 좋습니다.

• N
• Mean
• Standard Deviation
• Standard Error
• Minimum
• Maximum
• Median
• Quartile

예를 들어:

Group	N	Mean	SD
A	50	100	5
B	50	110	5

와:

Group	N	Mean	SD
A	50	100	5
B	50	110	80

은 Mean Difference는 같지만 전혀 다른 Data 구조입니다.

Mean Difference만 보면 Variability를 놓친다

두 Example 모두 Mean Difference는:

10

입니다.

하지만 두 번째 Example에서는 Group B의 SD가 매우 큽니다.

따라서 Mean Difference Estimate의 Precision이 낮아질 수 있습니다.

즉:

Difference

Variability

를 함께 봐야 합니다.

Box Plot이 유용한 이유

두 Group Distribution을 시각적으로 비교할 수 있습니다.

Box Plot에서 다음을 확인할 수 있습니다.

• Median
• IQR
• Spread
• Potential Outlier

예를 들어 두 Group Mean Difference가 Extreme Observation 하나 때문에 만들어진 것은 아닌지 확인할 수 있습니다.

Histogram도 확인해야 할까?

필요할 수 있습니다.

Group별 Distribution이:

• Symmetric한지
• Skewed한지
• Bimodal인지
• Extreme Tail이 있는지

를 확인하는 데 도움이 됩니다.

특히 Small Sample에서는 Raw Data와 Plot을 함께 보는 것이 중요합니다.

Extreme Value는 Two-Sample t-Test에 영향을 줄까?

그렇습니다.

Extreme Value는 특정 Group의:

• Mean
• SD
• Standard Error

를 바꿀 수 있습니다.

따라서 Mean Difference뿐 아니라 t Statistic과 p-value까지 영향을 받을 수 있습니다.

예를 들어 Group B에서 Extreme High Value 하나가 Mean을 크게 올릴 수 있습니다.

Outlier를 발견하면 삭제하면 될까?

아닙니다.

다음 순서가 필요합니다.

Outlier 확인

↓

Data Entry Error인가?

↓

Unit Error인가?

↓

실제 Valid Observation인가?

↓

Analysis Plan에 따라 처리

입니다.

원하는 p-value를 얻기 위해 Outlier를 선택적으로 제거해서는 안 됩니다.

Normality는 어떻게 생각해야 할까?

t-Test는 Mean-based Inference이므로 Distribution Structure가 중요합니다.

특히 Sample Size가 작고 Extreme Skewness나 Outlier가 있는 경우 Result가 민감할 수 있습니다.

따라서 Group별 Distribution을 확인하고 Statistical Assumption이 적절한지 검토해야 합니다.

첨부 교재도 Two-Sample t-Test의 주요 Objective 중 하나로 Assumption Verification을 명시합니다.

두 Group을 합친 Histogram만 보면 될까?

권장하기 어렵습니다.

전체 Distribution이 이상하지 않아 보여도 Group별로 보면 크게 다를 수 있습니다.

예를 들어:

Group A는 좁은 Distribution

Group B는 매우 넓은 Distribution

일 수 있습니다.

따라서 Group Comparison에서는 Group별 Distribution을 확인하는 것이 중요합니다.

Group Mean Difference의 Confidence Interval

Two-Sample t-Test에서는 Population Mean Difference:

μ₁ – μ₂

에 대한 Confidence Interval도 계산할 수 있습니다.

예를 들어:

Observed Difference = 8

95% CI = 3 ~ 13

이라면 Population Mean Difference의 가능한 Range를 추정할 수 있습니다.

0을 포함하지 않으므로 대응하는 Two-Sided α=.05 Test에서 Statistical Significance와 연결됩니다.

Confidence Interval이 0을 포함하면?

예:

Difference = 5

95% CI:

-2 ~ 12

입니다.

0을 포함합니다.

따라서 Two-Sided α=.05 Test에서는 H₀:

μ₁ – μ₂ = 0

을 Reject하지 않을 수 있습니다.

하지만 이것은 두 Population Mean이 정확히 같다는 증명이 아닙니다.

CI가 매우 넓으면?

예:

Difference = 5

95% CI:

-100 ~ 110

이라면 현재 Data의 Precision이 매우 낮습니다.

No Difference뿐 아니라 큰 Negative Difference와 큰 Positive Difference까지 모두 가능합니다.

따라서:

“두 Group에 Difference가 없다.”

보다:

“현재 Data에서는 Mean Difference를 정밀하게 추정하기 어렵다.”

가 더 정확할 수 있습니다.

CI가 매우 좁으면?

예:

Difference = 0.2

95% CI:

0.18 ~ 0.22

입니다.

0을 포함하지 않으므로 Statistically Significant할 수 있습니다.

하지만 Difference 0.2가 실제로 중요한지는 별도로 평가해야 합니다.

즉 Two-Sample t-Test에서도:

Statistical Significance

≠

Practical Significance

입니다.

Mean Difference의 Unit가 중요하다

예를 들어 Difference가:

5

라고 해도:

5 mmHg

인지:

5 kg

인지:

5 SAT points

인지에 따라 의미가 다릅니다.

따라서 t Statistic과 p-value뿐 아니라 Original Unit의 Mean Difference를 확인해야 합니다.

p-value는 Effect Direction을 알려주지 않는다

p=0.01이라고 해도 어느 Group Mean이 더 높은지 알 수 없습니다.

다음이 필요합니다.

• Group Means
• Difference Sign
• Confidence Interval

즉:

p-value

↓

Evidence Strength

이고:

Mean Difference

↓

Direction + Magnitude

입니다.

t Statistic의 부호는 어떻게 정해질까?

Difference 정의에 따라 달라집니다.

예:

x̄₁ – x̄₂

를 사용한다면:

t > 0

Group 1 Mean > Group 2 Mean

t < 0

Group 1 Mean < Group 2 Mean

입니다.

따라서 SAS Output에서 Group Ordering을 반드시 확인해야 합니다.

Group Label 순서가 바뀌면 p-value도 바뀔까?

Two-Sided Test에서는 Difference Direction만 반대가 되고 |t|는 동일하기 때문에 p-value는 일반적으로 동일합니다.

예:

A – B = +10

또는:

B – A = -10

입니다.

Statistical Significance는 같지만 Interpretation Direction은 달라집니다.

One-Sided Test에서는 Group Direction이 더욱 중요하다

예를 들어:

H₁: μA > μB

처럼 Directional Hypothesis를 사용하면 Group Order와 Difference Direction이 Test 자체에 직접적인 영향을 줍니다.

따라서 One-Sided Test는 사전에 Hypothesis Direction을 명확하게 정의해야 합니다.

SAS Enterprise Guide에서 Two-Sample t-Test의 기본 구조

첨부 교재에서는 TESTSCORES Dataset에서 Girls와 Boys의 SAT Math + Reading Mean Score를 비교하기 위해 t Test Task를 사용하도록 안내합니다.

개념적인 흐름은:

TESTSCORES Dataset

↓

t Test Task

↓

Two-Sample Test 선택

↓

Analysis Variable

SATScore

↓

Group Variable

Gender

↓

Run

↓

Descriptive Statistics

↓

Variance Equality Test

↓

Appropriate t-Test Line 선택

↓

Mean Difference 해석

입니다.

SAS Output에서 무엇을 먼저 볼까?

다음 순서가 좋습니다.

1. Group별 N

두 Group Sample Size 확인

2. Group별 Mean

Observed Difference 확인

3. Group별 SD

Variability 확인

4. Box Plot / Distribution

Outlier와 Shape 확인

5. Equal Variance Test

Pooled 또는 Satterthwaite 선택 판단

6. Appropriate t-Test Line

t / df / p-value 확인

7. Mean Difference CI

Effect Magnitude와 Precision 확인

8. Practical Meaning

실제 중요성 판단

입니다.

Output의 첫 번째 p-value만 보면 안 되는 이유

Two-Sample t-Test Output에는 여러 p-value가 있을 수 있습니다.

예를 들어:

• Equality of Variances Test p-value
• Pooled t-Test p-value
• Satterthwaite t-Test p-value

가 존재할 수 있습니다.

따라서:

“p-value가 0.0185니까 Mean Difference가 Significant하다.”

라고 바로 해석하면 안 됩니다.

0.0185가 Variance Test의 p-value일 수도 있기 때문입니다.

첨부 교재의 Example에서 실제로 0.0185는 Folded F Equal Variance Test의 p-value입니다.

어떤 Hypothesis의 p-value인지 반드시 확인해야 한다

예를 들어 첨부 교재의 Unequal Variance Example은 다음 세 p-value를 보여줍니다.

Equal Variance Test

p = 0.0185

Pooled Mean Test

p = 0.0979

Satterthwaite Mean Test

p = 0.0320

각각 서로 다른 질문에 답합니다.

Equal Variance p-value의 질문

H₀:

σ₁² = σ₂²

인가?

입니다.

Mean t-Test p-value의 질문

H₀:

μ₁ – μ₂ = 0

인가?

입니다.

즉 같은 Output 안에서도 Hypothesis가 다릅니다.

p-value를 해석하기 전에 반드시 어떤 Null Hypothesis에 대한 값인지 확인해야 합니다.

교재의 Equal Variance Example 흐름

첨부 교재의 첫 Example에서는:

Variance F-Test p = 0.7446

입니다.

따라서 Equal Variance H₀를 Reject하지 않습니다.

그 다음 교재는:

Equal Variance t-Test Line

을 이용하여 두 Population Mean이 같은지 평가하도록 안내합니다.

그리고 Mean Equality H₀는 α=.05에서 Reject됩니다.

즉 두 Group Mean에 Difference가 있다고 결론냅니다.

교재의 Unequal Variance Example 흐름

다른 Example에서는:

Variance Test:

p = 0.0185

입니다.

따라서:

Equal Variance H₀ Reject

↓

Satterthwaite Line 사용

입니다.

Satterthwaite Result:

t = -2.4518

df = 11.1

p = 0.0320

이므로 α=.05에서 Mean Equality H₀도 Reject합니다.

왜 이 Example이 중요한가?

Pooled Result만 보면:

p = 0.0979

이므로 H₀를 Reject하지 않습니다.

하지만 Unequal Variance를 반영한 Satterthwaite Result는:

p = 0.0320

으로 H₀를 Reject합니다.

즉 Assumption을 무시하면 Statistical Conclusion이 달라질 수 있습니다.

첨부 교재도 이 점을 직접 강조합니다.

Sample Size가 같으면 Variance 문제는 없어질까?

아닙니다.

Balanced Sample은 일부 상황에서 Statistical Method의 Robustness에 도움이 될 수 있지만 두 Population Variance가 실제로 같아지는 것은 아닙니다.

따라서 Group Variability 자체를 확인해야 합니다.

Variance가 같으면 Distribution도 같다는 뜻일까?

아닙니다.

Variance는 Spread의 한 측면입니다.

두 Group의 Variance가 같아도:

• Mean
• Skewness
• Kurtosis
• Outlier
• Shape

는 다를 수 있습니다.

따라서 Variance Equality Test만으로 Distribution 전체가 같다고 판단하면 안 됩니다.

Mean이 같으면 Distribution도 같을까?

역시 아닙니다.

예를 들어:

Group A

좁고 Symmetric

Group B

넓고 Bimodal

이어도 Mean은 같을 수 있습니다.

Two-Sample t-Test는 Population Mean Difference에 초점을 맞추는 Test입니다.

Distribution 전체가 동일한지 검정하는 Method가 아닙니다.

Two-Sample t-Test가 Significant하면 모든 Individual이 다른가?

아닙니다.

예를 들어 Group A Mean이 Group B보다 높아도 두 Group Distribution은 상당히 Overlap할 수 있습니다.

Population Mean Difference가 존재한다는 Evidence가 Individual Level의 완전한 Separation을 의미하지 않습니다.

“Male Mean이 Female Mean보다 높다”와 “모든 Male이 Female보다 높다”는 다르다

매우 중요한 해석 차이입니다.

Group Mean Difference는 Population 평균 수준의 차이입니다.

Individual Distribution에서는 많은 Overlap이 있을 수 있습니다.

따라서 Statistical Group Difference를 Individual Prediction으로 과도하게 확장하면 안 됩니다.

Statistical Significance는 Causality를 의미할까?

아닙니다.

예를 들어 Male과 Female SAT Mean에 Difference가 있다고 해서 Gender가 SAT Score Difference의 직접적인 Cause라고 t-Test 하나만으로 증명할 수는 없습니다.

다른 변수와 Study Design을 고려해야 합니다.

Two-Sample t-Test는 Mean Association/Comparison을 평가합니다.

인과 해석은 Study Design이 필요합니다.

Randomized Treatment Study에서는?

Treatment를 Random Assignment한 적절한 Experiment라면 Treatment Group Mean Difference에 대한 Causal Interpretation이 더 강해질 수 있습니다.

하지만 Statistical Test 자체가 Randomization을 만들어주는 것은 아닙니다.

즉:

Study Design

Statistical Analysis

을 함께 고려해야 합니다.

Observational Group Comparison에서 주의할 점

예를 들어 Smoker와 Non-Smoker의 Mean Outcome을 비교한다고 가정해보겠습니다.

Significant Difference가 나와도:

• Age
• Sex
• Disease Severity
• Socioeconomic Factor

등의 Confounding이 있을 수 있습니다.

따라서 t-Test Result를 Causal Effect라고 바로 해석하면 안 됩니다.

Two-Sample t-Test와 Regression은 연결될까?

두 Group만 있는 Categorical Predictor를 Regression Model로 Coding하면 Mean Difference를 Regression Coefficient로 표현할 수 있습니다.

즉 Two-Sample Comparison은 Linear Model Framework에서도 표현할 수 있습니다.

이후 Regression을 배우면 t-Test와 ANOVA가 Linear Model의 특별한 형태로 연결되는 모습을 이해할 수 있습니다.

Two-Sample t-Test와 ANOVA의 관계

두 Group에 대한 One-Way ANOVA는 같은 Mean Equality Question을 검정합니다.

Two-Sample t-Test에서는:

t Statistic

을 사용합니다.

One-Way ANOVA에서는:

F Statistic

을 사용합니다.

두 Group만 있는 특정 조건에서는:

F = t²

관계가 나타날 수 있습니다.

다만 첨부 교재에서는 주로 두 Method가 모두 평균 비교에 사용될 수 있다는 구조를 소개합니다.

그렇다면 왜 t-Test를 따로 배울까?

두 Group 비교에서:

• Difference Direction
• Mean Difference
• t Statistic

을 직접적으로 해석하기 쉽기 때문입니다.

또 Equal / Unequal Variance의 구조를 배우기에 적합합니다.

이후 ANOVA는 이를 세 Group 이상으로 확장합니다.

Two-Sample t-Test가 다음 ANOVA Chapter의 출발점인 이유

첨부 교재 Chapter 3은:

Two-Sample t-Tests

로 시작한 뒤:

One-Way ANOVA

로 확장합니다.

학습 구조는 자연스럽습니다.

2 Groups

↓

Two-Sample t-Test

↓

3+ Groups

↓

ANOVA

입니다.

두 Group을 여러 번 나누어 t-Test하면 안 되는 이유

예를 들어 4개 Group이 있으면 Pair는:

A vs B

A vs C

A vs D

B vs C

B vs D

C vs D

처럼 많아집니다.

각각 α=.05로 Test를 반복하면 적어도 하나의 False Positive가 발생할 Probability가 증가합니다.

따라서 Overall ANOVA로 먼저 Group Mean Equality를 평가하는 것이 중요합니다.

Two-Sample t-Test와 Multiple Comparison의 차이

Two-Sample t-Test에는 기본적으로 하나의 Pair Comparison이 있습니다.

반면 ANOVA 이후 여러 Pair Comparison을 하면 Multiplicity Adjustment가 필요할 수 있습니다.

따라서 Two-Sample Test Logic을 이해하면 Post Hoc Test의 필요성도 더 쉽게 이해할 수 있습니다.

Practical Significance를 어떻게 확인할까?

예를 들어:

Mean A = 100.0

Mean B = 100.2

Difference = 0.2

p < 0.001

이라고 하겠습니다.

Statistically Significant합니다.

하지만 Difference 0.2가 실제로 중요한지는 Variable Context에 따라 다릅니다.

따라서 다음을 봐야 합니다.

• Mean Difference
• CI
• Practical Threshold
• Measurement Unit

입니다.

Non-Significant인데 중요한 Difference 가능성이 있을 수도 있다

예:

Difference = 10

95% CI:

-5 ~ 25

p > 0.05

입니다.

10은 Practical하게 중요할 수 있지만 CI가 넓어 현재 Data에서는 Population Difference를 정밀하게 평가하기 어렵습니다.

따라서:

Not Significant

라고만 보고 Effect를 무시하면 안 됩니다.

두 Group Mean을 Report하는 좋은 방식

가능하다면 다음 정보를 함께 제시하는 것이 좋습니다.

Group A

N

Mean

SD

Group B

N

Mean

SD

그리고:

Mean Difference

95% CI

p-value

입니다.

이를 통해 Descriptive와 Inferential 정보를 모두 확인할 수 있습니다.

왜 Group Mean을 먼저 보여줘야 할까?

Difference Sign만 보면 실제 Group Level을 놓칠 수 있기 때문입니다.

예:

Difference = 10

이라도:

Case A

10 vs 0

Case B

1000 vs 990

은 Context가 다릅니다.

따라서 원래 Group Means를 함께 보는 것이 좋습니다.

Standard Error와 SD를 구분해야 한다

Group별 SD는 Individual Variability를 나타냅니다.

Mean Difference의 SE는 Estimated Difference의 Sampling Variability를 나타냅니다.

즉:

SD

↓

Individual Spread

반면:

SE

↓

Estimate Precision

입니다.

두 값을 혼동하면 t-Test Logic을 이해하기 어렵습니다.

Confidence Interval의 폭도 Sample Size에 영향을 받는다

Sample Size가 커지면 Difference Estimate의 SE가 줄어들 수 있고 CI도 좁아질 수 있습니다.

따라서:

Large n

↓

Higher Precision

↓

Narrower Difference CI

↓

Small Effect도 Statistical Significance 가능

입니다.

이전 글들의 내용이 Two-Sample t-Test 안에서 모두 연결됩니다.

Group Balance가 왜 중요할까?

예를 들어:

Group A n=500

Group B n=5

라면 Group B Mean과 Variance Estimate는 훨씬 불안정할 수 있습니다.

두 Group Total N만 큰 것으로 판단해서는 안 됩니다.

각 Group별 N을 확인해야 합니다.

Missing이 Group별로 다르면?

예:

Treatment Group Missing = 2%

Control Group Missing = 30%

이면 실제 Analysis Sample의 특성이 달라질 수 있습니다.

t-Test는 Available Data를 기반으로 계산할 수 있지만 Missing Mechanism에 따른 Bias까지 자동으로 해결하지 않습니다.

따라서 Analysis N과 Missing Pattern을 함께 확인해야 합니다.

t-Test가 계산되었다는 것과 Result가 Valid한 것은 다르다

SAS는 Numeric Data와 Group Variable이 적절하게 입력되면 계산을 수행할 수 있습니다.

하지만 다음 문제는 Analyst가 확인해야 합니다.

• Group Independence
• Unit
• Outlier
• Missing
• Variance Structure
• Research Question

즉 Software Execution Success는 Statistical Validity와 다릅니다.

SAS에서 Variance Test와 Mean Test를 구분해서 읽는 법

Output을 다음처럼 읽으면 이해하기 쉽습니다.

Step 1

Group Summary 확인

↓

Step 2

Equality of Variances Test 확인

↓

Step 3

Equal Variance인가?

교재의 판단 구조에서 Yes

↓

Pooled Line

No

↓

Satterthwaite Line

↓

Step 4

선택한 Mean t-Test p-value 확인

↓

Step 5

Mean Difference CI 확인

↓

Step 6

Statistical + Practical Interpretation

입니다.

p-value가 서로 다른 두 Line을 보고 원하는 것을 선택하면 안 된다

예를 들어:

Pooled p = 0.0979

Satterthwaite p = 0.0320

이라고 하겠습니다.

Significant Result가 필요하다고 Satterthwaite를 선택해서는 안 되고:

Non-Significant Result가 필요하다고 Pooled를 선택해서도 안 됩니다.

Method 선택은 Assumption과 Analysis Plan에 근거해야 합니다.

Statistical Method는 Result보다 먼저 결정되어야 한다

좋은 분석 순서는:

Data Structure

↓

Assumption

↓

Statistical Method

↓

Result

입니다.

나쁜 순서는:

Result 확인

↓

원하는 p-value가 나오는 Method 선택

입니다.

이는 Analysis Integrity의 기본 원칙입니다.

Equal Variance Test의 p-value도 Sample Size 영향을 받는다

Sample이 작으면 실제 Variance Difference가 있어도 검출하지 못할 수 있습니다.

반대로 Sample이 매우 크면 작은 Variance Difference도 Statistical Significance를 보일 수 있습니다.

따라서 Variance Test 역시 절대적인 Truth Detector는 아닙니다.

다만 첨부 교재에서는 교육 목적상 F-Test를 확인하여 Pooled와 Satterthwaite를 선택하는 흐름을 명확하게 사용합니다.

Two-Sample t-Test에서 가장 중요한 질문

분석 전에 다음을 적어보는 것이 좋습니다.

어떤 두 Population Mean을 비교하고 있는가?

그 다음:

두 Sample은 독립적인가?

그리고:

Response는 Mean Comparison에 적절한 Continuous Variable인가?

마지막으로:

Variance Structure와 Distribution은 적절한가?

입니다.

Research Question을 Statistical Hypothesis로 바꾸는 예

자연어:

Male과 Female의 평균 SATScore가 다른가?

↓

Population Parameter:

μMale – μFemale

↓

Null:

H₀: μMale – μFemale = 0

↓

Alternative:

H₁: μMale – μFemale ≠ 0

↓

Sample Data:

Male / Female SATScore

↓

Two-Sample t-Test

입니다.

Treatment Example

Research Question:

Treatment A와 Placebo의 평균 Change가 다른가?

↓

Parameter:

μTreatment – μPlacebo

↓

H₀:

Difference = 0

↓

H₁:

Difference ≠ 0

↓

Two-Sample t-Test

입니다.

단, Patient가 서로 독립적인 Group에 Randomized되어 있다는 Data Structure를 가정합니다.

Before/After Example은 왜 다른가?

Research Question:

Treatment 전후 평균이 다른가?

같은 Subject에서 두 번 측정했다면:

Before와 After가 독립적인 Sample이 아닙니다.

따라서 단순 Independent Two-Sample t-Test가 아니라 Paired Difference Structure를 고려해야 합니다.

즉 동일하게 “평균 두 개 비교”처럼 보여도 Design이 Method를 결정합니다.

“두 평균 비교 = 무조건 Two-Sample t-Test”가 아닌 이유

다음 구조를 구분해야 합니다.

One Sample vs 기준값

↓

One-Sample t-Test

Independent Group 2개

↓

Two-Sample t-Test

Paired Measurement 2개

↓

Paired t-Test

Independent Group 3개 이상

↓

ANOVA

입니다.

Research Design을 먼저 확인해야 합니다.

흔한 오해 정리

“Sample Mean 두 개가 다르면 Population Mean도 다르다”

아닙니다.

Sampling Variability 때문에 Sample Mean Difference는 자연스럽게 발생할 수 있습니다.

“Two-Sample t-Test는 두 Sample 값이 서로 같은지 확인한다”

아닙니다.

두 Population Mean Equality에 대한 Inference를 수행합니다.

“H₀는 x̄₁=x̄₂이다”

아닙니다.

H₀는:

μ₁=μ₂

입니다.

“두 Group 평균만 보면 t-Test 결과를 예상할 수 있다”

충분하지 않습니다.

SD와 Sample Size가 중요합니다.

“p<0.05이면 두 Group Distribution 전체가 다르다”

아닙니다.

Population Mean Difference에 대한 Evidence입니다.

“p<0.05이면 모든 Group A Observation이 Group B보다 높다”

아닙니다.

Individual Distribution은 크게 Overlap할 수 있습니다.

“p>0.05이면 두 Population Mean이 같다”

아닙니다.

Mean Difference를 Detect할 충분한 Evidence가 없다는 뜻입니다.

“Pooled와 Satterthwaite는 아무거나 사용해도 된다”

아닙니다.

Variance Structure를 다르게 가정합니다. 교재 Example에서는 선택에 따라 Statistical Conclusion도 달라집니다.

“Variance F-Test p<0.05이면 Mean도 다르다는 뜻이다”

아닙니다.

Variance Test의 H₀는:

σ₁²=σ₂²

이고 Mean Test의 H₀는:

μ₁=μ₂

입니다.

“Variance Test p>0.05이면 두 Variance가 정확히 동일하다고 증명되었다”

아닙니다.

Equal Variance H₀를 Reject할 충분한 Evidence가 없다는 의미입니다.

“Satterthwaite df가 11.1이면 계산 오류다”

아닙니다.

Unequal Variance를 반영한 Approximate Degrees of Freedom은 소수점이 될 수 있습니다. 첨부 교재에서도 DF=11.1이 제시됩니다.

“p-value가 가장 작은 Line을 선택하면 된다”

아닙니다.

Statistical Method는 Assumption과 Analysis Plan에 따라 선택해야 합니다.

“Two-Sample t-Test에서 Statistical Significance가 있으면 Practical Importance도 있다”

아닙니다.

Mean Difference와 CI를 함께 확인해야 합니다.

“두 Group 비교에서 t-Test만 가능하다”

아닙니다.

두 Group의 Continuous Response Mean Comparison은 One-Way ANOVA로도 표현할 수 있습니다. 교재 Poll에서도 두 방법을 모두 가능한 방법으로 제시합니다.

Two-Sample t-Test의 전체 구조

전체 과정을 하나로 연결하면 다음과 같습니다.

Research Question

↓

두 Independent Population Mean이 다른가?

↓

Population Parameters

μ₁

μ₂

↓

Null Hypothesis

H₀: μ₁ – μ₂ = 0

↓

Alternative Hypothesis

H₁: μ₁ – μ₂ ≠ 0

↓

Independent Samples 수집

↓

Group 1

n₁

x̄₁

s₁

Group 2

n₂

x̄₂

s₂

↓

Observed Mean Difference

x̄₁ – x̄₂

↓

Distribution / Outlier 확인

↓

Variance Structure 확인

↓

Equal Variance

Pooled t-Test

또는:

Unequal Variance

Satterthwaite t-Test

↓

t Statistic

↓

Degrees of Freedom

↓

p-value

↓

p < α

Reject H₀

p ≥ α

Fail to Reject H₀

↓

Mean Difference Confidence Interval

↓

Effect Magnitude + Precision

↓

Practical Interpretation

입니다.

SAS Enterprise Guide에서의 분석 흐름

첨부 교재의 SATScore Example을 기준으로 보면 다음과 같습니다.

TESTSCORES

↓

Gender

SATScore

↓

t Test Task

↓

Two-Sample Test

↓

SATScore를 Analysis Variable로 지정

↓

Gender로 Group 구분

↓

Run

↓

Group Summary 확인

↓

Equality of Variances F-Test 확인

↓

Appropriate t-Test Line 선택

↓

Mean Equality H₀ 평가

↓

Result Interpretation

첨부 교재는 이 Chapter의 Objective로 두 Population Mean의 Difference를 t Test Task로 분석하고 Assumption을 검증하는 것을 명시합니다.

교재의 가장 중요한 Example을 다시 정리하면

Variance Equality Test에서:

p = 0.0185

입니다.

따라서 α=.05에서:

Reject H₀: σ₁²=σ₂²

입니다.

즉 Equal Variance를 가정하기 어렵습니다.

따라서 Satterthwaite Result를 사용합니다.

Satterthwaite

t = -2.4518

df = 11.1

p = 0.0320

입니다.

따라서 α=.05에서:

Reject H₀: μ₁-μ₂=0

입니다.

즉 Population Means에 Difference가 있다는 Statistical Evidence가 있습니다.

반면 잘못 Pooled Line을 사용하면:

p = 0.0979

가 되어 다른 Decision에 도달합니다.

이 Example은 단순 p-value Reading보다 Assumption에 맞는 Test Selection이 먼저라는 점을 보여줍니다.

왜 Two-Sample t-Test를 이해해야 할까?

다음 주제인 ANOVA가 사실상 이 구조를 더 많은 Group으로 확장하기 때문입니다.

Two-Sample t-Test에서는:

2 Population Means

을 비교합니다.

ANOVA에서는:

3개 이상의 Population Means

까지 확장합니다.

하지만 기본 질문은 동일합니다.

Observed Group Difference가 Within-Group Variability에 비해 충분히 큰가?

Two-Sample t-Test에서는 이를 t Statistic으로 평가하고,

ANOVA에서는 F Statistic으로 확장합니다.

t-Test에서 ANOVA로 이어지는 사고 흐름

다음처럼 이해할 수 있습니다.

One-Sample t-Test

↓

Sample Mean vs Reference

↓

Two-Sample t-Test

↓

Mean 1 vs Mean 2

↓

One-Way ANOVA

↓

Mean 1 vs Mean 2 vs Mean 3 …

↓

Post Hoc Test

↓

어떤 Group Pair가 실제로 다른가?

입니다.

즉 Two-Sample t-Test는 Statistical Inference에서 Multiple Group Comparison으로 넘어가는 중요한 연결점입니다.

핵심 정리

Two-Sample t-Test는 서로 독립적인 두 Sample을 이용하여 두 Population Mean이 같은지 평가하는 Statistical Test입니다.

기본 Hypothesis는:

H₀: μ₁ – μ₂ = 0

H₁: μ₁ – μ₂ ≠ 0

입니다.

첨부 교재도 Two-Sample t-Test의 목적을 두 Population Mean의 Difference를 분석하는 것으로 설명하고 있습니다.

핵심 Logic은:

Observed Mean Difference

↓

x̄₁ – x̄₂

를:

Sampling Variability

와 비교하는 것입니다.

따라서 Mean Difference가 동일해도:

• Sample Size
• Variability

에 따라 t Statistic과 p-value가 달라질 수 있습니다.

또 Two-Sample t-Test에서는 Variance Structure가 매우 중요합니다.

첨부 교재는 다음 두 방법을 구분합니다.

Equal Variance

↓

Pooled t-Test

Unequal Variance

↓

Satterthwaite t-Test

그리고 Equality of Variances F-Test를 먼저 확인한 뒤 적절한 Mean Test Line을 사용하는 흐름을 제시합니다.

교재의 Unequal Variance Example에서는:

Variance Test

p = 0.0185

↓

Equal Variance H₀ Reject

따라서:

Satterthwaite

t = -2.4518

df = 11.1

p = 0.0320

을 사용합니다.

반면 Pooled Test는:

p = 0.0979

로 서로 다른 Decision을 제공합니다.

교재는 이를 통해 적절한 t-Test 선택의 중요성을 명확하게 강조합니다.

따라서 SAS Output을 볼 때 단순히 가장 작은 p-value를 찾는 것이 아니라 다음 순서로 해석해야 합니다.

Group별 N·Mean·SD 확인

↓

Distribution과 Extreme Value 확인

↓

Variance Structure 확인

↓

적절한 t-Test Line 선택

↓

Mean Difference 확인

↓

p-value 확인

↓

Confidence Interval 확인

↓

Practical Importance 평가

또 Statistical Significance가 있다고 해서 Difference가 실제로 크거나 중요한 것은 아닙니다.

반대로 Non-Significant Result라고 해서 두 Population Mean이 같다고 증명된 것도 아닙니다.

Two-Sample t-Test의 핵심은 “두 Sample 평균이 숫자상 다른가?”가 아니라, “관찰된 평균 차이가 두 Population Mean이 같다는 가정 아래에서 Sampling Variability만으로 설명하기 어려울 정도로 큰가?”를 평가하는 것입니다.

이 구조를 이해하면 다음 단계인 ANOVA에서 왜 여러 Group Mean을 동시에 비교해야 하고, 왜 Variability를 함께 고려하는지가 자연스럽게 연결됩니다.

함께 읽으면 좋은 글

• One-Sample t-Test의 원리: 하나의 표본 평균을 기준값과 비교하는 방법
• ANOVA가 여러 번의 t-Test보다 적절한 이유: 다중 비교와 제1종 오류의 관계
• One-Way ANOVA의 구조: 하나의 범주형 변수가 연속형 결과에 미치는 영향 분석
• p-value의 의미: 통계적 유의성을 판단할 때 실제로 계산되는 값
• Statistical Significance와 Practical Significance의 차이: 유의한 결과가 반드시 중요한 것은 아닌 이유

참고한 자료

• SAS Enterprise Guide: ANOVA, Regression, and Logistic Regression Course Notes
• Chapter 3 Analysis of Variance
• Two-Sample t-Tests
• Test Score Data Set, Revisited
• Equal Variance t-Test
• Unequal Variance t-Test
• Pooled t-Test
• Satterthwaite t-Test
• F-Test for Equal Variances