통계분석에서 p-value가 0.05보다 작으면 흔히 다음과 같이 표현합니다.

“Statistically Significant하다.”

하지만 여기서 매우 중요한 질문이 하나 남습니다.

“그래서 그 차이가 실제로 얼마나 중요한가?”

예를 들어 두 Treatment의 평균 차이가 0.1점밖에 되지 않지만 Sample Size가 매우 크다면 p-value는 0.001보다 작게 나올 수 있습니다.

통계적으로는 유의합니다.

하지만 실제 Clinical, Business, Scientific Context에서 0.1점 차이가 아무런 의미가 없을 수도 있습니다.

반대로 평균 차이가 10점으로 상당히 커 보이지만 Sample Size가 작고 Data Variability가 크다면 p-value가 0.05보다 클 수 있습니다.

이 경우 Statistical Significance는 없지만 실제로 중요한 Effect 가능성을 충분히 배제하지 못했을 수도 있습니다.

Statistical Significance는 관찰된 Result가 Null Hypothesis와 얼마나 충돌하는지를 평가하고, Practical Significance는 관찰된 Effect의 크기가 실제 상황에서 의미 있는지를 평가합니다.

첨부 교재에서는 p-value가 Effect Size뿐 아니라 Sample Size에도 영향을 받는다는 점을 Coin Experiment를 통해 설명합니다. 같은 40% Heads라는 Difference를 유지해도 Coin Flip 횟수가 증가하면 p-value가 크게 작아집니다.

이 원리를 이해하면 왜 “p-value가 작다 = Effect가 중요하다”라는 해석이 잘못될 수 있는지 알 수 있습니다.

Statistical Significance란 무엇인가?

Statistical Significance는 일반적으로 사전에 설정한 Significance Level α와 p-value를 비교하여 판단합니다.

예를 들어:

α = 0.05

이고:

p = 0.02

라면:

p < α

이므로:

Reject H₀

라고 판단할 수 있습니다.

이 경우 결과를:

Statistically Significant

하다고 표현합니다.

하지만 Statistical Significance가 직접 말해주는 것은 Effect의 실제 크기가 아닙니다.

Statistical Significance가 답하는 질문

핵심 질문은 다음과 같습니다.

“Null Hypothesis가 참이라고 가정했을 때 현재와 같거나 더 Extreme한 Result가 얼마나 이례적인가?”

즉 Statistical Significance는 기본적으로 Evidence와 Sampling Variability에 관한 개념입니다.

예를 들어:

H₀: μ₁ – μ₂ = 0

인 상황에서 Sample Difference가 Sampling Error로 설명하기 어려울 정도로 크다면 p-value가 작아질 수 있습니다.

Practical Significance란 무엇인가?

Practical Significance는 관찰된 Effect가 현실적으로 의미 있는 크기인지를 평가합니다.

분야에 따라 다음처럼 표현할 수 있습니다.

• Clinical Significance
• Business Significance
• Scientific Importance
• Operational Relevance

예를 들어 Blood Pressure Treatment를 비교했을 때 평균 차이가:

0.2 mmHg

이고:

p < 0.0001

이라고 가정해보겠습니다.

통계적으로 매우 유의할 수 있습니다.

하지만 실제 Medical Decision에 0.2 mmHg가 거의 영향을 주지 않는다면 Practical Significance는 낮을 수 있습니다.

두 개념의 가장 큰 차이

간단하게 정리하면:

Statistical Significance

Difference가 Random Sampling Variability만으로 설명하기 어려운가?

Practical Significance

그 Difference가 실제로 중요한 크기인가?

입니다.

즉:

Statistical

↓

Evidence

반면:

Practical

↓

Magnitude + Context

입니다.

Effect Size란 무엇인가?

Statistical Significance와 Practical Significance를 연결하는 중요한 개념이 Effect Size입니다.

첨부 교재에서는 Effect Size를 Sampled Population과 Null Hypothesis 사이 Difference의 Magnitude라고 설명합니다.

Coin Example에서 Fair Coin의 Null Hypothesis는:

50% Heads

입니다.

실제 Coin이:

55% Heads

가 되도록 Weighted되어 있다면 Difference는:

5 Percentage Points

입니다.

교재에서는 이를 Effect Size의 예로 설명합니다.

즉 Effect Size는 단순히:

“Difference가 존재하는가?”

보다:

“Difference가 얼마나 큰가?”

에 초점을 맞춥니다.

Coin Experiment로 Statistical Significance를 이해해보자

Null Hypothesis가 다음과 같다고 가정합니다.

H₀

Coin은 Fair하다.

↓

Expected Heads = 50%

100번 Coin을 던졌을 때 관찰 결과가 다르면 Evidence의 강도도 달라집니다.

첨부 교재에서는 예를 들어:

37 Heads / 63 Tails

40 Heads / 60 Tails

55 Heads / 45 Tails

15 Heads / 85 Tails

같은 Result를 비교합니다.

50%에서 멀리 떨어질수록 Effect Size가 커지고 H₀에 대한 Evidence도 강해지는 구조입니다.

Effect Size가 커지면 p-value는 어떻게 될까?

다른 조건이 같다면 일반적으로 Effect Size가 커질수록 H₀에서 더 멀리 떨어진 Result가 됩니다.

예를 들어 Expected Heads가:

50

인데:

49 Heads

가 나온 경우보다:

15 Heads

가 나온 경우가 훨씬 더 Extreme합니다.

따라서:

Effect Size ↑

↓

H₀와 Difference ↑

↓

Test Statistic 더 Extreme

↓

p-value ↓ 경향

입니다.

첨부 교재도 Difference의 Magnitude가 증가할수록 Coin이 Fair하지 않다는 Evidence가 강해진다고 설명합니다.

그런데 p-value는 Effect Size만으로 결정되지 않는다

이것이 가장 중요한 부분입니다.

첨부 교재에서는 명확하게 다음과 같이 설명합니다.

p-value is not only affected by the effect size. It is also affected by the sample size.

즉 p-value는 Effect Size뿐 아니라 Sample Size에도 영향을 받습니다.

이 때문에 매우 작은 Effect도 Large Sample에서는 Statistically Significant할 수 있습니다.

같은 Effect Size, 다른 Sample Size를 비교해보자

교재에서는 계속:

Heads = 40%

를 관찰했다고 가정합니다.

Null Hypothesis에서는:

50%

를 기대합니다.

즉 Difference는 항상:

10 Percentage Points

입니다.

하지만 Sample Size를 바꿉니다.

10번 Flip

4 Heads

6 Tails

40번 Flip

16 Heads

24 Tails

100번 Flip

40 Heads

60 Tails

400번 Flip

160 Heads

240 Tails

관찰된 Proportion은 모두 40%입니다.

즉 Effect Size는 동일합니다.

하지만 p-value는 크게 달라집니다.

왜 4/10과 160/400은 다르게 느껴질까?

10번 던졌는데 4번 Heads가 나온 것은 Fair Coin에서도 충분히 우연히 발생할 수 있습니다.

하지만 400번 던졌는데 계속 40%만 Heads가 나온다면 우연한 Sampling Variation만으로 설명하기 훨씬 어려워집니다.

즉:

Small Sample

↓

Sampling Variability 큼

반면:

Large Sample

↓

Sampling Variability 작음

입니다.

따라서 동일한 10 Percentage Point Difference라도 Sample Size가 커질수록 더 강한 Statistical Evidence가 됩니다.

첨부 교재에서는 실제 p-value가 어떻게 달라질까?

Coin Experiment에서 같은 40% Heads를 유지하면서 Sample Size가 증가할수록 다음과 같이 p-value가 감소합니다.

• 작은 Sample에서는 큰 p-value
• Sample이 증가하면 p-value 감소
• 매우 큰 Sample에서는 p-value < .0001

형태가 나타납니다.

즉:

같은 Effect Size라고 같은 Statistical Significance를 가지는 것은 아닙니다.

왜 Large Sample에서는 아주 작은 Difference도 Significant할까?

Standard Error가 작아지기 때문입니다.

개념적으로 Statistical Test는 다음을 비교합니다.

Observed Effect

÷

Sampling Variability

입니다.

예를 들어 Mean Difference가:

0.1

로 매우 작아도 Standard Error가:

0.001

이라면 Effect는 Standard Error에 비해 매우 크게 보입니다.

따라서 Test Statistic이 커지고 p-value가 작아질 수 있습니다.

예를 들어 보자

Study A

Difference = 0.1

n = 20

↓

p = 0.70

이라고 가정해보겠습니다.

Study B

Difference = 0.1

n = 1,000,000

↓

p < 0.0001

이 될 수도 있습니다.

두 Study의 Effect Magnitude는 동일합니다.

하지만 Precision이 크게 다릅니다.

따라서 Statistical Significance가 달라질 수 있습니다.

그렇다면 Study B의 Effect가 더 큰 것일까?

아닙니다.

Effect Size는 여전히:

0.1

입니다.

달라진 것은 Evidence의 Precision입니다.

즉 다음을 구분해야 합니다.

Effect Magnitude

↓

0.1

과:

Evidence for Effect

↓

Sample Size에 따라 달라짐

입니다.

Statistical Significance는 Effect Size 자체가 아니라 Effect Size가 Sampling Uncertainty와 비교해 얼마나 명확하게 관찰되었는지를 반영합니다.

Practical Significance는 Sample Size에 의해 자동으로 커질까?

아닙니다.

실제 Difference가 0.1이라면 Sample Size를 아무리 늘려도 Difference 자체는 0.1입니다.

p-value는 작아질 수 있지만 Effect Magnitude는 커지지 않습니다.

따라서:

n ↑

↓

Statistical Significance ↑ 가능

하지만:

Practical Importance

↓

자동 증가하지 않음

입니다.

Clinical Example로 이해해보자

새로운 Drug이 Systolic Blood Pressure를 기존 Treatment보다 평균:

0.5 mmHg

더 낮춘다고 가정해보겠습니다.

Study가 매우 커서:

p < 0.0001

입니다.

Statistically Significant합니다.

하지만 Clinician이 의미 있는 Difference를:

5 mmHg

정도로 판단한다면 0.5 mmHg는 Practical 또는 Clinical Significance가 제한적일 수 있습니다.

즉:

Statistically Detectable

이지만:

Clinically Meaningful하지 않을 수 있음

입니다.

반대 상황도 가능할까?

가능합니다.

새 Treatment의 Mean Difference가:

8 mmHg

라고 가정해보겠습니다.

Clinical Threshold가:

5 mmHg

라면 Effect Magnitude는 중요할 가능성이 있습니다.

하지만 Study가 작고 SD가 커서:

95% CI = -3 ~ 19

p = 0.12

라고 가정하겠습니다.

Statistically Significant하지 않습니다.

하지만 Result가:

“Treatment Effect는 없다.”

라고 단정할 수 있을까요?

그렇지 않습니다.

CI가 -3부터 19까지 매우 넓기 때문에 Clinically Important Effect 가능성도 포함되어 있습니다.

Non-Significant가 Practical Irrelevance를 의미하지 않는 이유

Statistical Significance가 없다는 것은:

현재 Data로 Null Hypothesis를 Reject할 Evidence가 충분하지 않다.

는 의미입니다.

하지만 다음 두 상황이 모두 가능합니다.

Case A

실제 Effect가 거의 없음

Case B

Effect는 크지만 Sample Size가 작아 Precision 부족

따라서 Non-Significant Result에서는 Confidence Interval을 반드시 함께 보는 것이 중요합니다.

Statistical Significance와 Practical Significance의 네 가지 조합

두 개념을 결합하면 네 가지 상황을 생각할 수 있습니다.

1. Statistical O + Practical O

Statistically Significant

그리고 실제 Effect도 중요

↓

가장 명확한 Situation

2. Statistical O + Practical X

p-value는 작지만 Effect가 너무 작음

↓

Large Sample에서 흔히 가능

3. Statistical X + Practical 가능

Effect Estimate는 중요하지만 CI가 넓음

↓

Sample Size 부족 가능

4. Statistical X + Practical X

Effect Estimate도 작고 Statistical Evidence도 부족

↓

실제 중요성이 제한적일 가능성

입니다.

첫 번째 상황: 둘 다 중요한 경우

예를 들어:

Treatment Difference = 10

95% CI = 7 ~ 13

p < 0.001

Clinical Threshold = 5

라고 가정해보겠습니다.

전체 CI도 5를 초과합니다.

이 경우:

• Statistical Evidence 강함
• Effect Estimate 큼
• Confidence Interval도 Clinically Important 영역

이라는 정보를 얻을 수 있습니다.

두 번째 상황: Statistical하지만 Practical하지 않은 경우

예:

Difference = 0.2

95% CI = 0.15 ~ 0.25

p < 0.0001

Practical Threshold = 5

입니다.

Result는 매우 Precise하고 Statistical Evidence도 강합니다.

하지만 실제 Difference는 Practical Threshold보다 훨씬 작습니다.

즉:

확실하게 작은 Effect를 발견했다.

라고 해석할 수 있습니다.

“유의하므로 중요하다”라고 하면 왜 잘못일까?

위 Example에서 p-value는 매우 작지만 Effect는 실제로 거의 의미가 없습니다.

p-value는 Effect Magnitude를 평가하는 숫자가 아니기 때문입니다.

따라서 다음 표현은 피하는 것이 좋습니다.

“p<0.001이므로 매우 큰 효과가 있다.”

p<0.001은 Statistical Evidence가 강하다는 의미이지 Effect가 크다는 의미가 아닙니다.

세 번째 상황: Practical하게 중요해 보이지만 Statistical Evidence가 부족한 경우

예:

Difference = 8

95% CI = -5 ~ 21

p = 0.20

Clinical Threshold = 5

입니다.

Point Estimate 8은 중요한 Effect처럼 보입니다.

하지만 CI가 매우 넓습니다.

현재 Data에서는:

• Harm
• No Effect
• Important Benefit

모두 가능할 수 있습니다.

따라서:

“중요한 Effect가 있다.”

라고 확정할 수도 없고:

“Effect가 없다.”

라고 결론낼 수도 없습니다.

정확한 핵심은 Uncertainty가 크다는 것입니다.

네 번째 상황: 둘 다 제한적인 경우

예:

Difference = 0.1

95% CI = -0.2 ~ 0.4

p = 0.50

Practical Threshold = 5

입니다.

CI 전체가 Practical Threshold와 매우 멀리 떨어져 있습니다.

이 경우 현재 Data는 큰 Practical Effect 가능성을 상당히 제한할 수 있습니다.

단순한 p>0.05보다 CI가 훨씬 많은 정보를 제공합니다.

Confidence Interval이 Practical Significance 평가에 중요한 이유

Confidence Interval은 Effect가 어느 정도 Range에 있을 수 있는지를 보여줍니다.

예를 들어 Practical Threshold가:

5

라고 하겠습니다.

CI = 6 ~ 10

↓

전체가 Practical Threshold 이상

CI = -2 ~ 10

↓

No Effect와 Meaningful Effect 모두 가능

CI = -1 ~ 1

↓

Practical Threshold 5보다 훨씬 작음

입니다.

즉 Confidence Interval을 Practical Threshold와 비교하면 Result를 훨씬 더 풍부하게 해석할 수 있습니다.

Practical Threshold는 어디에서 나올까?

p-value처럼 Statistical Formula가 자동으로 정하는 값이 아닙니다.

분야별 Knowledge와 Decision Context가 필요합니다.

예를 들어:

Clinical Research

Minimal Clinically Important Difference

Manufacturing

허용 가능한 Tolerance

Business

최소 Revenue Improvement

Education

교육적으로 의미 있는 Score Change

등이 Practical Threshold가 될 수 있습니다.

Practical Significance는 주관적인 것일까?

Context-dependent하다는 의미이지 임의적이어야 한다는 뜻은 아닙니다.

가능하면 다음에 근거해야 합니다.

• Prior Research
• Domain Standards
• Clinical Guidance
• Business Requirement
• Predefined Decision Rule

즉 Result를 본 뒤 Effect Size에 맞춰 Threshold를 조정하면 안 됩니다.

Practical Threshold도 사전에 정의하는 것이 좋은 이유

예를 들어 Result가:

Difference = 3

이라고 나왔는데 이후:

“3 이상이면 중요한 것으로 하자.”

라고 정하면 Data-driven Decision이 됩니다.

가능하면 분석 전에:

어떤 Difference를 실제 의미 있는 Effect로 볼 것인가?

를 정의하는 것이 좋습니다.

Effect Size와 Practical Threshold는 같은 것일까?

아닙니다.

Effect Size

실제 또는 추정된 Difference의 크기

Practical Threshold

중요하다고 판단하기 위한 기준

입니다.

예:

Observed Effect = 4

Practical Threshold = 5

라면:

Effect는 4이지만 사전 기준 5에는 미치지 못합니다.

Raw Effect Size란 무엇인가?

두 Group Mean Difference를 그대로 사용하는 방식입니다.

예:

Treatment Mean = 80

Control Mean = 70

↓

Raw Mean Difference = 10

입니다.

Unit가 유지되므로 해석하기 쉽습니다.

예:

10 points

5 mmHg

2 kg

등입니다.

Standardized Effect Size도 있을까?

있습니다.

서로 다른 Scale이나 Study를 비교할 때 Effect를 Standard Deviation 단위로 표현하는 방법이 있습니다.

예를 들어 Cohen’s d 같은 Standardized Effect Size를 사용할 수 있습니다.

다만 첨부 교재의 해당 부분은 Effect Size를 Null Hypothesis로부터의 Difference Magnitude라는 기본 개념에 초점을 두고 있습니다.

따라서 실제 분석에서는 연구 질문과 Reporting Context에 맞는 Effect Measure를 선택해야 합니다.

Effect Size가 크면 항상 Practical하게 중요할까?

Scale을 봐야 합니다.

예를 들어 Difference가:

10

이라고 해도 Variable Range가:

0~10

인지:

0~1,000,000

인지에 따라 의미가 다릅니다.

따라서 Effect Size 숫자 자체만 보는 것이 아니라 Measurement Scale과 Context를 확인해야 합니다.

Relative Effect와 Absolute Effect도 다를 수 있다

예를 들어 어떤 Event Rate가:

1%

에서:

2%

로 증가했다고 가정해보겠습니다.

Absolute Difference

1 Percentage Point

Relative Increase

100%

입니다.

어느 표현을 사용하느냐에 따라 Effect가 매우 다르게 느껴질 수 있습니다.

따라서 Practical Significance를 평가할 때 Effect Measure를 명확하게 제시해야 합니다.

같은 Relative Effect라도 실제 중요성이 다를 수 있다

예를 들어 Risk가:

0.001%

→ 0.002%

로 증가한 경우 Relative Risk는 2배입니다.

하지만 Absolute Difference는 매우 작습니다.

반면:

20%

→ 40%

도 Relative Risk는 2배지만 Absolute Difference는 20 Percentage Points입니다.

따라서 Relative Effect만 보고 Practical Importance를 판단하면 안 됩니다.

Statistical Significance와 Sample Size의 관계를 다시 정리하면

첨부 교재의 Coin Experiment는 매우 중요한 원리를 보여줍니다.

Observed Proportion:

40%

Null:

50%

로 Effect Size를 동일하게 유지해도 Sample Size가 커질수록 p-value가 감소합니다.

즉:

Effect 동일

n 증가

↓

Evidence Precision 증가

↓

p-value 감소 가능

입니다.

그렇다면 Sample Size가 크면 나쁜 것일까?

전혀 아닙니다.

Large Sample은 Estimate Precision을 높이고 작은 Effect까지 정확하게 Detect할 수 있다는 큰 장점이 있습니다.

문제는 Detection 가능성을 Importance와 혼동하는 것입니다.

Large Sample이 잘못된 것이 아니라 Result Interpretation이 중요합니다.

Large Sample에서 해야 하는 질문

p<0.0001이라는 결과를 발견하면 다음 질문을 해야 합니다.

Effect Estimate는 실제로 얼마인가?

그리고:

이 Difference가 실제 Context에서 중요한가?

또:

Confidence Interval이 어느 Range인가?

입니다.

즉 p-value가 작을수록 Effect Size 확인이 더 불필요해지는 것이 아니라 오히려 더 중요할 수 있습니다.

Small Sample에서도 같은 원리가 적용된다

p=0.20이라는 Result를 보고:

“아무 차이가 없다.”

라고 결론내리지 말고 다음을 확인합니다.

• Effect Estimate
• Confidence Interval
• Sample Size
• Variability

예를 들어 Effect가 크지만 CI가 넓다면 Inconclusive Result일 수 있습니다.

Statistical Power와 Practical Effect의 관계

Power는 실제 Effect가 있을 때 Statistical Test가 이를 Detect할 가능성과 연결됩니다.

Power 계산에는 일반적으로 다음이 중요합니다.

• Effect Size
• Sample Size
• Variability
• α

첨부 교재에서도 Power를 1-β로 정의하며 True Population Mean, Standard Deviation, Sample Size와 연결해서 설명합니다.

따라서 Study Planning에서는 Practical하게 의미 있는 Effect Size를 먼저 정의한 뒤 이를 Detect할 Sample Size를 계산하는 접근이 중요할 수 있습니다.

Sample Size Planning에서 Practical Significance가 중요한 이유

Sample Size를 단순히:

“p<0.05를 만들기 위해”

결정해서는 안 됩니다.

먼저:

우리가 Detect하고 싶은 최소한의 의미 있는 Effect는 얼마인가?

를 생각해야 합니다.

그 다음:

• Expected Variability
• α
• Desired Power

를 이용해 필요한 Sample Size를 결정합니다.

즉 Practical Significance가 Statistical Design 이전부터 중요할 수 있습니다.

아주 작은 Effect를 Detect하도록 Study를 크게 만들 수 있을까?

수학적으로는 가능합니다.

하지만 비용과 연구 목적을 고려해야 합니다.

예를 들어 실제로 의미 없는 0.01 Difference를 Detect하기 위해 수백만 명을 모집한다면 Statistical Significance는 얻을 수 있어도 Decision Value는 낮을 수 있습니다.

따라서 Statistical Power와 Practical Relevance 사이의 균형이 필요합니다.

Underpowered Study의 문제

반대로 Practical하게 중요한 Effect를 Detect할 Sample Size가 부족하면 실제 Effect가 존재해도 p-value가 크게 나올 수 있습니다.

이 경우:

Not Significant

라는 결과만 보고 Effect가 없다고 결론내리면 위험합니다.

Confidence Interval이 중요한 이유입니다.

Confidence Interval이 Power 부족을 어떻게 보여줄까?

예를 들어:

Effect Estimate = 8

95% CI = -10 ~ 26

이라면 매우 넓습니다.

이는 현재 Sample이 Effect를 Precise하게 Estimate하지 못했다는 의미입니다.

실제로 중요한 Positive Effect도 Interval에 포함되어 있습니다.

따라서 단순 p>0.05보다 Precision 부족이라는 해석이 더 중요할 수 있습니다.

Statistical Significance는 Relevance를 평가하지 않는다

Statistical Test는 연구자가 중요하다고 생각하는 Threshold를 자동으로 알지 못합니다.

Test가 기본적으로 평가하는 것은:

H₀: Difference = 0

일 수 있습니다.

하지만 현실에서는:

Difference = 0.01

과:

Difference = 0

의 차이가 아무 의미가 없을 수도 있습니다.

즉 Statistical Null과 Practical Null이 다를 수 있습니다.

Practical Null Range를 생각할 수도 있다

실제로 중요하지 않은 Effect 범위를 정의할 수 있습니다.

예를 들어:

-1 ~ +1

사이는 실질적으로 의미 없다고 가정할 수 있습니다.

그러면 단순히:

H₀: Difference = 0

만 보는 것보다 CI가 이 Practical Equivalence Range 안에 있는지 평가하는 것이 실제 의사결정에 더 직접적일 수 있습니다.

이 개념은 Equivalence와 Noninferiority Testing으로 확장될 수 있습니다.

“Difference가 정확히 0”이라는 H₀의 한계

현실의 Population에서는 매우 작은 Difference가 존재할 가능성이 높습니다.

Sample Size가 충분히 크면 이러한 미세한 Difference도 Detect할 수 있습니다.

따라서 Large Dataset에서:

“통계적으로 다르다.”

라는 사실 자체보다:

얼마나 다른가?

가 훨씬 중요한 질문이 될 수 있습니다.

p<0.0001을 “매우 중요하다”고 표현하면 안 되는 이유

p-value의 크기와 Practical Importance는 다른 Scale입니다.

예:

p < 0.0001

은 H₀ 아래에서 Data가 매우 이례적이라는 Evidence를 의미할 수 있습니다.

하지만 Effect가:

0.00001

일 수도 있습니다.

따라서:

“Highly Significant”

라는 표현을 사용할 때도 Effect Magnitude가 크다는 의미로 오해되지 않도록 주의해야 합니다.

“Highly Statistically Significant”와 “Large Effect”는 구분해야 한다

예를 들어:

Result A

Effect = 0.1

p < 0.000001

Result B

Effect = 10

p = 0.06

입니다.

A는 Statistical Evidence가 훨씬 강합니다.

하지만 Effect Magnitude는 B가 훨씬 큽니다.

어느 Result가 더 중요한지는 실제 Context와 Precision을 함께 봐야 합니다.

Statistical Significance가 Practical Significance보다 더 객관적일까?

Statistical Significance는 정해진 Statistical Rule에 따라 계산되므로 비교적 명확합니다.

하지만 α=0.05 자체도 연구자가 선택한 Threshold입니다.

Practical Significance 역시 Domain Knowledge에 근거해 객관적인 기준을 설정할 수 있습니다.

따라서 둘 중 하나가 “진짜”이고 다른 하나가 “주관적”이라고 단순화할 필요는 없습니다.

Statistical Result를 의사결정과 연결하려면 무엇이 필요할까?

다음 요소를 함께 봐야 합니다.

Effect Estimate

↓

얼마나 큰가?

Confidence Interval

↓

얼마나 Precise한가?

p-value

↓

H₀와 Evidence 관계는?

Practical Threshold

↓

실제로 중요한가?

Study Design

↓

Bias와 Causality는?

이 정보들이 함께 있어야 실제 Decision에 도움이 됩니다.

Clinical Trial Example

예를 들어 Cognitive Score에서:

Treatment Difference = 1.2 points

95% CI = 0.8 ~ 1.6

p < 0.001

이라고 가정하겠습니다.

만약 Clinically Meaningful Difference가 사전에:

3 points

라고 정의되어 있다면 Statistical Significance는 강하지만 CI 전체가 3보다 아래에 있습니다.

따라서:

Treatment Difference는 Statistically Significant하지만 사전에 정의한 Clinical Importance Threshold에는 미치지 못한다.

라는 해석이 가능합니다.

반대 Clinical Example

Treatment Difference:

4 points

95% CI:

-1 ~ 9

p = 0.10

Clinical Threshold:

3 points

라고 가정하겠습니다.

Point Estimate는 Clinically Important합니다.

하지만 CI는:

• Harm
• No Effect
• Important Benefit

을 모두 포함합니다.

따라서 현재 Study만으로 Clinical Benefit을 확정하기 어렵습니다.

이 경우 “유의하지 않음”보다 Uncertainty가 큼이라는 표현이 더 informative합니다.

Business Example

새로운 Website Design이 Conversion Rate를:

20.00%

에서:

20.05%

로 증가시켰다고 가정해보겠습니다.

사용자가 수천만 명이면:

p < 0.001

이 나올 수 있습니다.

하지만 개발·운영 비용을 고려하면 0.05 Percentage Point Increase가 실제 Business Value를 만들지 못할 수도 있습니다.

따라서 Business Decision에는 Revenue Impact와 Implementation Cost가 필요합니다.

Manufacturing Example

새로운 Process가 Product Length 평균을 기존보다:

0.01 mm

변화시켰다고 가정합니다.

Sample Size가 매우 크면 Statistical Significance는 나타날 수 있습니다.

하지만 허용 Tolerance가:

±1 mm

라면 0.01mm Difference는 실제 품질관리에서 중요하지 않을 수 있습니다.

즉 Practical Significance는 Domain Tolerance와 연결됩니다.

Statistical Significance가 Safety에서는 다르게 중요할 수 있을까?

가능합니다.

Effect Magnitude가 작더라도 매우 심각한 Outcome이라면 작은 Risk Increase도 중요할 수 있습니다.

예를 들어 매우 심각한 Adverse Event의 Risk가 조금 증가한다면 Absolute Difference가 작더라도 Safety Context에서는 중요하게 판단될 수 있습니다.

따라서 Practical Significance는 단순 Effect Number만 아니라 Outcome Consequence도 고려합니다.

Rare Event에서는 Relative와 Absolute Effect를 함께 봐야 한다

예를 들어 Serious Event Risk가:

0.01%

→ 0.02%

가 되었다고 가정합니다.

Relative Risk는 2배입니다.

하지만 Absolute Increase는 0.01 Percentage Point입니다.

Practical Interpretation에는:

• Event Severity
• Exposed Population Size
• Alternative Treatment
• Absolute Risk

등이 함께 필요합니다.

Effect Size가 작아도 Population Impact가 클 수 있다

Individual-level Effect는 작지만 적용되는 Population이 매우 크다면 전체 Public Health 또는 Business Impact는 클 수 있습니다.

예를 들어 한 사람당 Benefit이 작더라도 수천만 명에게 적용된다면 Total Impact는 커질 수 있습니다.

따라서 Practical Significance는 Effect Size만을 기계적으로 평가하는 것도 아닙니다.

Practical Significance는 반드시 “큰 Effect”를 의미할까?

아닙니다.

Context에 따라 작은 Effect도 중요할 수 있습니다.

예를 들어:

• Safety
• Rare Disease
• Population-wide Intervention
• Low-cost Intervention

에서는 작은 Effect도 중요한 의사결정을 만들 수 있습니다.

즉 “얼마 이상이면 무조건 Practical”이라는 Universal Rule은 없습니다.

Statistical Significance는 Causality를 의미할까?

아닙니다.

두 Variable 사이 p<0.001 Association이 있어도 Observational Data에서는 Confounding이 존재할 수 있습니다.

따라서 Practical Action을 결정하기 전에 Study Design과 Causal Interpretation을 확인해야 합니다.

즉:

Statistically Significant Association

≠

Causal Effect

입니다.

Practical Significance는 Bias가 있으면 의미가 있을까?

Effect Estimate 자체가 Bias되어 있다면 Practical Significance 평가도 잘못될 수 있습니다.

예를 들어 Measurement Error 때문에 Difference가 10으로 보였지만 실제 Difference는 1이라면 Practical Interpretation이 완전히 달라집니다.

따라서:

Data Quality

와:

Study Validity

가 먼저 확보되어야 합니다.

매우 Precise한 Bias Estimate의 위험

Sample Size가 매우 크면 CI는 좁고 p-value는 매우 작을 수 있습니다.

하지만 Bias가 존재하면:

매우 정확하게 잘못된 값

을 추정할 수 있습니다.

따라서:

Large N

Small p

Narrow CI

가 자동으로 High Quality Evidence를 의미하지 않습니다.

Statistical Significance와 Reproducibility는 같은 것일까?

아닙니다.

한 Study에서 p<0.05가 나왔다고 다음 Study에서도 같은 결과가 나오는 것은 아닙니다.

Replication은:

• True Effect
• Sampling Variability
• Study Design
• Measurement
• Population

의 영향을 받습니다.

Effect Size와 Confidence Interval을 함께 보는 것이 Reproducibility를 이해하는 데 더 도움이 됩니다.

Small p-value보다 Stable Effect가 중요한 이유

한 Study에서:

Effect = 10

p = 0.001

다른 Study에서:

Effect = 0.2

p = 0.80

이라면 Result가 불안정합니다.

반대로 여러 Study에서 Effect가 일관되게 비슷하게 나타난다면 하나의 p-value보다 더 중요한 Evidence가 될 수 있습니다.

따라서 Scientific Interpretation에서는 Replication과 Effect Consistency도 중요합니다.

Statistical Significance와 Multiple Testing

100개의 Hypothesis를 각각 α=0.05로 검정하면 일부 p<0.05 Result가 Random Chance로 나타날 수 있습니다.

따라서 Significant Result 하나를 발견했다고 Practical Importance를 바로 논하기 전에:

• 몇 개의 Test를 수행했는가?
• Multiplicity Control을 했는가?

를 확인해야 할 수 있습니다.

즉 Statistical Significance 자체의 Reliability부터 검토해야 합니다.

Practical Significance가 있어 보여도 Exploratory Result라면?

Confirmatory Evidence가 아니라 Hypothesis Generation 단계일 수 있습니다.

Effect Estimate가 매우 커도 Data-driven Subgroup Analysis에서 발견되었다면 Independent Validation이 필요할 수 있습니다.

따라서 Effect Magnitude만으로 Evidence Level이 결정되는 것은 아닙니다.

Effect Size와 Confidence Interval을 함께 보는 이유

Point Estimate만 보면 Effect가 커 보일 수 있습니다.

예:

Effect = 10

하지만:

95% CI = -15 ~ 35

라면 Uncertainty가 매우 큽니다.

반대로:

Effect = 10

95% CI = 9 ~ 11

이라면 매우 Precise합니다.

따라서 Practical Significance도 Point Estimate 하나보다 CI를 함께 고려해야 합니다.

Practical Threshold가 CI 안에 있는 경우

예를 들어 Meaningful Threshold가:

5

라고 하겠습니다.

CI:

2 ~ 8

이면:

• Effect가 5보다 작을 가능성
• Effect가 5보다 클 가능성

이 모두 포함됩니다.

이 경우 Practical Significance에 대한 결론도 불확실합니다.

즉 Statistical Significance와 Practical Significance 모두 Binary하게만 판단해서는 안 됩니다.

CI 전체가 Practical Threshold보다 큰 경우

Effect Difference의 방향이 Positive가 좋은 것이라고 가정하면:

95% CI:

6 ~ 10

Practical Threshold:

5

라면 전체 Interval이 Threshold를 넘습니다.

현재 Data에서는 Effect가 Practical하게 중요한 Range에 있을 가능성을 강하게 지지하는 결과가 됩니다.

CI 전체가 Practical Threshold보다 작은 경우

95% CI:

0.1 ~ 0.5

Practical Threshold:

5

라면:

Statistically Significant할 수 있지만 전체 Plausible Effect Range가 Practical Threshold보다 훨씬 작습니다.

이 경우:

Statistically detectable but practically small

이라고 해석할 수 있습니다.

Statistical Significance를 좋은 Result, Non-Significance를 나쁜 Result로 보면 안 된다

연구의 목적은 p<0.05를 만드는 것이 아니라 Population에 대한 정보를 얻는 것입니다.

예를 들어 아주 좁은 CI가 0 주변에 형성되어 의미 있는 Effect를 배제할 수 있다면 Non-Significant Result도 매우 informative합니다.

반대로 p<0.05지만 CI가 넓고 Study Bias가 크다면 Result의 실제 유용성은 제한될 수 있습니다.

“Negative Study”라는 표현도 주의해야 한다

p>0.05라는 이유만으로 Study가 실패했다고 단순하게 말하면 정보가 사라집니다.

다음 질문이 더 중요합니다.

• Effect Estimate는?
• CI는?
• Clinically Important Effect를 배제할 수 있는가?
• Study가 충분한 Precision을 가졌는가?

즉 Non-Significance의 Meaning은 Study Precision에 따라 달라집니다.

Equivalence를 보여주려면 일반적인 Non-Significant Test로 충분할까?

아닙니다.

H₀: Difference = 0을 Reject하지 못했다는 사실은 Equality를 증명하지 않습니다.

두 Treatment가 Practically Equivalent하다는 것을 보이려면 Equivalence Margin과 적절한 Equivalence Test가 필요할 수 있습니다.

이 원리는:

Fail to Reject Difference

와:

Evidence of Equivalence

가 다르다는 것을 보여줍니다.

Noninferiority에서도 Practical Threshold가 중요하다

새 Treatment가 Standard보다 일정 범위 이상 나쁘지 않음을 보이는 Noninferiority Study에서는 Noninferiority Margin이 핵심입니다.

이 Margin은 Practical 또는 Clinical Judgment와 연결됩니다.

즉 Practical Significance는 단순 Interpretation 단계뿐 아니라 Study Design 자체에도 들어갈 수 있습니다.

Statistical Significance가 없는 경우에도 Decision이 가능할까?

Context에 따라 가능합니다.

예를 들어 CI가 매우 좁고 Practical Threshold를 충분히 배제한다면 중요한 의사결정을 할 수 있습니다.

반대로 Significant Result라도 Effect가 너무 작다면 실제 Action을 하지 않을 수도 있습니다.

즉 Statistical Decision과 Practical Decision은 동일하지 않습니다.

Statistical Decision과 Business Decision의 차이

예:

Statistical Decision

H₀ Reject

↓

Difference exists

하지만:

Business Decision

Implementation Cost > Expected Benefit

↓

새 Process 도입하지 않음

일 수 있습니다.

Statistical Analysis는 Decision에 필요한 Evidence를 제공하지만 최종 Decision Rule 전체를 대신하지 않습니다.

Practical Decision에는 Cost와 Risk도 들어간다

Effect Size가 동일하더라도:

• Intervention Cost
• Adverse Effect
• Implementation Difficulty
• Opportunity Cost

에 따라 Practical Significance가 달라질 수 있습니다.

따라서 Practical Significance는 숫자 하나가 아니라 Decision Context 안에서 평가됩니다.

Statistical Significance를 해석하는 올바른 순서

Result가 나오면 다음처럼 접근할 수 있습니다.

1. Effect Estimate 확인

↓

Difference가 실제로 얼마인가?

2. Confidence Interval 확인

↓

Precision은 어느 정도인가?

3. p-value 확인

↓

H₀와 Evidence 관계는?

4. Practical Threshold와 비교

↓

실제로 중요한가?

5. Study Design 확인

↓

Bias / Causality는?

즉 p-value가 첫 번째가 아니라 Effect Estimate가 먼저일 수 있습니다.

왜 Effect Estimate부터 보는 것이 좋을까?

Research Question은 보통:

“Difference가 얼마나 큰가?”

또는:

“Treatment Effect가 어느 정도인가?”

이기 때문입니다.

p-value는 그 Effect가 H₀와 얼마나 통계적으로 충돌하는지를 평가합니다.

따라서:

Magnitude

를 먼저 이해한 뒤:

Evidence

를 평가하는 흐름이 자연스럽습니다.

SAS Output에서도 Estimate와 p-value를 함께 봐야 한다

예를 들어 Regression Output에:

Coefficient = 0.02

p < 0.0001

이라고 나왔다면:

“매우 유의하다.”

로 끝내면 안 됩니다.

다음 질문이 필요합니다.

Predictor가 1 Unit 증가할 때 Response가 0.02 Unit 변하는 것이 실제로 중요한가?

이를 판단하려면:

• Variable Unit
• Predictor Range
• Outcome Scale
• Confidence Interval

을 확인해야 합니다.

ANOVA에서도 p-value만 보면 부족하다

ANOVA Overall p<0.001이면 모든 Population Mean이 같다는 H₀를 Reject할 Evidence가 있습니다.

하지만 다음은 아직 모릅니다.

• 어떤 Group이 다른가?
• Difference가 얼마인가?
• 실제로 중요한가?

따라서 Post Hoc Comparison과 Effect Magnitude를 확인해야 합니다.

t-Test에서도 Difference Estimate가 핵심이다

Two-Sample t-Test에서:

p = 0.01

이라고 나왔다고 가정해보겠습니다.

Mean Difference가:

0.2

인지:

20

인지에 따라 Practical Meaning은 완전히 다릅니다.

따라서 SAS t-Test Output에서는 p-value뿐 아니라:

• Group Mean
• Mean Difference
• CI

를 함께 확인해야 합니다.

p-value가 같아도 Practical Meaning은 완전히 다를 수 있다

두 분석 모두:

p = 0.01

이라고 하겠습니다.

Analysis A

Difference = 0.01

Analysis B

Difference = 100

입니다.

p-value는 같지만 Effect Magnitude는 완전히 다릅니다.

따라서 p-value는 Effect Size의 Substitute가 될 수 없습니다.

Effect Size가 같아도 p-value는 완전히 다를 수 있다

반대로 앞선 Coin Experiment처럼 동일한 40% vs 50% Difference라도 Sample Size가 달라지면 p-value가 달라집니다.

즉:

Same Effect

≠

Same p-value

이고:

Same p-value

≠

Same Effect

입니다.

이 두 문장을 기억하면 Statistical Significance와 Practical Significance의 차이를 이해하기 쉽습니다.

Statistical Significance를 한 줄로 정의하면

관찰된 Effect가 Null Hypothesis 아래의 Sampling Variability로 설명되기 어려운 정도를 Statistical Rule로 평가한 결과

입니다.

Practical Significance를 한 줄로 정의하면

관찰된 Effect Magnitude가 실제 의사결정이나 연구 Context에서 의미 있는 수준인지 평가한 결과

입니다.

둘은 서로 다른 질문에 답합니다.

Statistical Significance와 Practical Significance의 전체 구조

전체 과정을 하나로 정리하면 다음과 같습니다.

Research Question

↓

Practical Meaningful Effect 정의

↓

Data 수집

↓

Effect Estimate

↓

Difference Magnitude

↓

Confidence Interval

↓

Precision / Possible Effect Range

↓

Hypothesis Test

↓

p-value

↓

Statistical Significance 평가

↓

그리고 별도로:

Effect Estimate + CI

vs

Practical Threshold

↓

Practical Significance 평가

↓

Final Interpretation

입니다.

즉:

p-value

와:

Practical Importance

는 서로 다른 단계입니다.

흔한 오해 정리

“p<0.05이면 중요한 Effect다”

아닙니다.

Statistically Significant하다는 의미이지 Practical Importance를 자동으로 의미하지 않습니다.

“p<0.001이면 p=0.04보다 Effect가 더 크다”

반드시 그렇지 않습니다.

Sample Size와 Variability가 다를 수 있습니다.

“p>0.05이면 Effect가 없다”

아닙니다.

Sample Size 부족으로 중요한 Effect를 Detect하지 못했을 수도 있습니다.

“Effect Size가 크면 반드시 p<0.05다”

아닙니다.

Sample Size가 작거나 Variability가 크면 p-value가 클 수 있습니다.

“Large Sample이면 더 큰 Effect가 나타난다”

아닙니다.

Large Sample은 Estimate Precision을 높입니다. Effect Magnitude 자체가 자동으로 커지는 것은 아닙니다.

“Small p-value는 Sample Size 영향을 받지 않는다”

아닙니다.

첨부 교재는 같은 Effect Size에서도 Sample Size 증가로 p-value가 크게 감소하는 Example을 제공합니다.

“Statistical Significance와 Clinical Significance는 같은 것이다”

아닙니다.

Clinical Significance에는 Disease Context와 Clinically Meaningful Threshold가 필요합니다.

“Confidence Interval이 0을 포함하지 않으면 Practical하게 중요하다”

아닙니다.

CI 전체가 Practical Threshold보다 훨씬 작은 Effect일 수도 있습니다.

“Non-Significant Result는 연구 실패다”

아닙니다.

CI가 좁다면 큰 Effect를 배제하는 매우 유용한 결과일 수 있습니다.

“Practical Significance는 통계와 상관없는 주관적 판단이다”

아닙니다.

Domain Evidence와 사전에 정의된 Threshold를 이용해 체계적으로 평가할 수 있습니다.

“Practical Threshold는 Result를 본 뒤 정하면 된다”

바람직하지 않습니다.

가능하면 Prior Evidence와 연구 목적에 따라 사전에 정의하는 것이 좋습니다.

“Effect가 작으면 항상 Practical하게 중요하지 않다”

아닙니다.

Safety, Population Impact, Cost 등 Context에 따라 작은 Effect도 중요할 수 있습니다.

Statistical Result를 읽는 기본 순서

앞으로 t-Test, ANOVA, Regression Result를 볼 때 다음 순서가 유용합니다.

1. Effect Estimate

얼마나 차이가 나는가?

2. Unit

그 Difference의 실제 의미는 무엇인가?

3. Confidence Interval

어느 정도 Range까지 가능한가?

4. p-value

H₀와 얼마나 충돌하는가?

5. Sample Size

Precision은 충분한가?

6. Practical Threshold

실제로 중요한 수준인가?

7. Study Design

Causal Interpretation이나 Bias 문제는 없는가?

이 순서를 사용하면:

“p<0.05니까 좋은 결과”

라는 단순한 해석에서 벗어날 수 있습니다.

첨부 교재의 Coin Experiment가 중요한 이유

Coin Experiment는 Effect Size와 Sample Size가 p-value에 어떻게 다른 방식으로 영향을 주는지를 매우 명확하게 보여줍니다.

교재에서는 Effect Size를 Null Hypothesis에서 얼마나 벗어났는지의 Magnitude로 설명합니다.

또 같은 40% Heads라는 Effect를 유지하면서 Sample Size만 증가시키면 p-value가 감소하며, 그 이유를 Larger Sample에서 Mean이나 Proportion을 더 Precise하게 측정할 수 있기 때문이라고 설명합니다.

이 두 원리를 합치면 다음과 같습니다.

p-value

↓

Effect Size 영향

Sample Size 영향

Variability 영향

따라서:

p-value만으로 Effect Magnitude 판단 불가능

입니다.

왜 이 개념을 t-Test 전에 이해해야 할까?

앞으로 One-Sample t-Test와 Two-Sample t-Test에서 다음과 같은 Result를 보게 됩니다.

• Mean
• Mean Difference
• Standard Error
• t Statistic
• p-value
• Confidence Interval

여기서 p-value만 보면 중요한 정보를 놓칩니다.

예를 들어 Two-Sample t-Test의 핵심 질문은 단순히:

p<0.05인가?

가 아닙니다.

보다 완전한 질문은:

두 Population Mean Difference가 얼마로 추정되며, 그 Difference가 얼마나 Precise하고, Statistical Evidence가 있으며, 실제로 중요한 크기인가?

입니다.

핵심 정리

Statistical Significance와 Practical Significance는 서로 다른 개념입니다.

Statistical Significance는 일반적으로 p-value와 α를 이용하여 Null Hypothesis와 Sample Evidence의 관계를 평가합니다.

예를 들어:

p < 0.05

이면 H₀를 Reject할 Statistical Evidence가 있다고 판단할 수 있습니다.

하지만 이것은 Effect가 크거나 실제로 중요하다는 뜻이 아닙니다.

반면 Practical Significance는:

관찰된 Effect Magnitude가 실제 Context에서 의미 있는가?

를 평가합니다.

이를 이해하기 위해서는 Effect Size가 중요합니다.

첨부 교재에서는 Effect Size를 Null Hypothesis에서 벗어난 Difference의 Magnitude로 설명하며, Coin Example에서 Fair Coin의 50% Heads와 실제 55% Heads 사이의 5% Difference를 Effect Size의 예로 제시합니다.

하지만 p-value는 Effect Size만의 함수가 아닙니다.

교재는 동일하게 40% Heads를 관찰하더라도 Sample Size가 증가하면 p-value가 감소한다는 Example을 명확하게 제시합니다.

전체 관계는 다음과 같습니다.

Effect Size

↓

Difference Magnitude

그리고:

Sample Size

↓

Precision

그리고:

Variability

↓

Noise

이들이 함께:

Test Statistic

↓

p-value

에 영향을 줍니다.

따라서:

Small p-value ≠ Large Effect

이고:

Large p-value ≠ No Effect

입니다.

좋은 Statistical Interpretation은 다음 네 가지를 함께 봅니다.

Effect Estimate

↓

얼마나 큰가?

Confidence Interval

↓

얼마나 Precise한가?

p-value

↓

Statistical Evidence는?

Practical Threshold

↓

실제로 중요한가?

특히 Large Sample에서는 매우 작은 Difference도 Statistically Significant할 수 있으므로 Effect Magnitude를 반드시 확인해야 합니다.

반대로 Small Sample에서는 Practical하게 중요한 Effect가 있어도 Statistical Significance를 얻지 못할 수 있으므로 Non-Significant Result에서는 Confidence Interval을 확인해야 합니다.

Statistical Significance는 “차이가 존재한다는 Evidence가 얼마나 강한가?”를 말하고, Practical Significance는 “그 차이가 실제로 신경 쓸 만큼 큰가?”를 말합니다.

두 질문에 모두 답해야 Statistical Result를 제대로 해석할 수 있습니다.

함께 읽으면 좋은 글

• p-value의 의미: 통계적 유의성을 판단할 때 실제로 계산되는 값
• Confidence Interval의 의미: 단일 추정값보다 범위 추정이 중요한 이유
• One-Sample t-Test의 원리: 하나의 표본 평균을 기준값과 비교하는 방법
• Two-Sample t-Test의 구조: 두 독립 집단 평균의 차이를 검정하는 방식
• ANOVA가 여러 번의 t-Test보다 적절한 이유: 다중 비교와 제1종 오류의 관계

참고한 자료

• SAS Enterprise Guide: ANOVA, Regression, and Logistic Regression Course Notes
• Chapter 2 Introduction to Statistics
• Hypothesis Testing
• Types of Errors
• Coin Experiment – Effect Size Influence
• Coin Experiment – Sample Size Influence
• p-value and Statistical Evidence
• Statistical Power