통계 결과를 볼 때 가장 자주 확인하는 숫자 중 하나가 p-value입니다.

많은 사람이 p-value를 다음처럼 단순하게 기억합니다.

“p < 0.05면 유의하다.”

하지만 이 한 문장만 기억하면 p-value를 상당히 잘못 해석할 수 있습니다.

p-value는 Null Hypothesis가 참일 확률이 아닙니다.

또 p-value가 작다고 해서 Effect가 반드시 크거나 중요하다는 뜻도 아닙니다.

정확한 의미를 이해하려면 먼저 Null Hypothesis가 참이라고 가정해야 합니다.

p-value는 Null Hypothesis가 참이라는 가정 아래에서, 현재 관찰된 Test Statistic 또는 그보다 더 Extreme한 Result가 우연히 발생할 확률을 나타냅니다.

첨부 교재에서도 p-value를 Null Hypothesis가 참일 때 관찰한 값만큼 또는 그보다 더 Extreme한 Statistic이 단순한 Chance에 의해 나타날 Probability로 설명합니다.

p-value를 이해하기 위한 출발점

p-value는 독립적으로 존재하는 숫자가 아닙니다.

항상 다음 구조 안에서 계산됩니다.

Null Hypothesis H₀

↓

H₀가 True라고 가정

↓

Sample Data 관찰

↓

Test Statistic 계산

↓

현재 Statistic 또는 더 Extreme한 Statistic이 얼마나 자주 나타날까?

↓

p-value

입니다.

즉 p-value를 이해하려면 먼저:

“어떤 Null Hypothesis 아래에서 계산된 p-value인가?”

를 알아야 합니다.

가장 중요한 조건은 “H₀가 참이라면”이다

예를 들어 동전이 공정한지 확인한다고 가정해보겠습니다.

Null Hypothesis는:

H₀

동전은 Fair하다.

즉:

P(Head) = 0.5

입니다.

동전을 100번 던졌는데:

40 Heads

60 Tails

가 나왔다고 가정해보겠습니다.

질문은 다음과 같습니다.

정말 Fair Coin이라면 40 Heads처럼 50%에서 이 정도 이상 벗어난 Result가 Random Chance만으로 얼마나 자주 발생할까?

이 Probability가 p-value와 연결됩니다.

첨부 교재의 Coin Experiment에서도 Fair Coin이라는 Null Hypothesis 아래에서 관찰된 Head 비율만큼 또는 그보다 더 Extreme한 Difference가 발생할 Probability로 p-value를 설명합니다.

p-value는 H₀의 Probability가 아니다

가장 흔한 오해입니다.

예를 들어:

p = 0.03

이 나왔다고 해서:

“Null Hypothesis가 참일 확률이 3%다.”

라는 의미가 아닙니다.

p-value가 계산하는 것은:

P(Data 또는 더 Extreme한 Data | H₀)

입니다.

즉:

H₀가 참이라는 조건에서 이런 Data가 얼마나 드문가?

를 묻습니다.

반면 사람들이 흔히 알고 싶어 하는 것은:

P(H₀ | Data)

입니다.

두 Probability는 서로 다릅니다.

조건부 확률의 방향이 왜 중요할까?

예를 들어:

“비가 오면 길이 젖을 확률”

과:

“길이 젖어 있으면 비가 왔을 확률”

은 같은 질문이 아닙니다.

길이 젖은 이유가:

• 비
• 청소
• 스프링클러

일 수도 있기 때문입니다.

p-value도 마찬가지입니다.

H₀가 참일 때 Data가 나타날 Probability

와:

Data를 관찰했을 때 H₀가 참일 Probability

는 같은 것이 아닙니다.

p = 0.03을 어떻게 읽어야 할까?

예를 들어 Null Hypothesis가:

H₀: μ = 100

이라고 가정하겠습니다.

p = 0.03이면 개념적으로:

Population Mean이 실제로 100이라는 Null Hypothesis가 참이라고 가정했을 때, 현재 관찰된 Test Statistic 또는 그보다 H₀와 더 충돌하는 Extreme Result가 우연히 발생할 확률이 약 3%다.

라고 이해할 수 있습니다.

즉 Data가 H₀와 상당히 Compatibility가 낮다는 Evidence가 됩니다.

p-value가 작다는 것은 무엇을 의미할까?

H₀가 참이라면 현재 정도로 Extreme한 Result를 보기 어렵다는 의미입니다.

따라서 Sample Data는 H₀와 강하게 충돌하는 Evidence를 제공합니다.

간단히:

Small p-value

↓

H₀ 아래에서 현재 Data가 Rare

↓

H₀와 Data의 Compatibility 낮음

↓

H₀ Reject를 지지하는 Evidence

입니다.

첨부 교재에서도 작은 p-value는 Fair Coin에서 현재와 같은 큰 Difference가 드물게 나타난다는 의미이며, 따라서 Coin이 Fair하지 않다는 Evidence가 된다고 설명합니다.

p-value가 크다는 것은 무엇을 의미할까?

H₀가 참더라도 현재와 같은 Test Statistic이 비교적 자주 발생할 수 있다는 의미입니다.

즉 Sample Data가 H₀와 강하게 충돌하지 않습니다.

구조는:

Large p-value

↓

H₀ 아래에서도 충분히 발생 가능한 Result

↓

H₀ Reject할 Evidence 부족

↓

Fail to Reject H₀

입니다.

하지만 여기서 중요한 점이 있습니다.

Large p-value는 H₀가 참이라는 증거가 아닙니다.

p = 0.40이면 H₀가 40% 확률로 참일까?

아닙니다.

p-value는 H₀ 자체의 Probability를 계산하지 않습니다.

p = 0.40이라는 것은 H₀가 참이라고 가정했을 때 현재와 같거나 더 Extreme한 Result가 비교적 흔하게 나타날 수 있다는 의미입니다.

따라서 H₀를 Reject할 Evidence가 부족하다고 판단할 수 있습니다.

p-value와 α는 무엇이 다를까?

두 숫자는 자주 함께 사용되지만 역할이 다릅니다.

Significance Level α

연구자가 사전에 정하는 Decision Threshold

예:

α = 0.05

p-value

실제 Sample Data에서 계산되는 Evidence Measure

입니다.

즉:

Before Data

↓

α 설정

그리고:

After Data

↓

p-value 계산

입니다.

Decision Rule은 어떻게 될까?

일반적인 Rule은 다음과 같습니다.

p-value < α

↓

Reject H₀

p-value ≥ α

↓

Fail to Reject H₀

입니다.

예를 들어:

α = 0.05

p = 0.03

이라면:

0.03 < 0.05

↓

Reject H₀

입니다.

p = 0.08이라면?

α = 0.05에서:

0.08 ≥ 0.05

이므로:

Fail to Reject H₀

입니다.

하지만:

“H₀가 참이다.”

라고 결론내려서는 안 됩니다.

현재 Evidence가 H₀를 Reject하기에는 충분하지 않다는 의미입니다.

왜 0.05를 많이 사용할까?

0.05는 Statistical Convention으로 매우 널리 사용되어 왔습니다.

하지만 자연법칙은 아닙니다.

연구 목적이나 Type I Error의 Cost에 따라:

• 0.10
• 0.05
• 0.01

등 다른 α를 사용할 수 있습니다.

중요한 것은 Result를 본 뒤 마음대로 Threshold를 바꾸지 않는 것입니다.

p = 0.049와 p = 0.051은 완전히 다른 Evidence일까?

통상적인 α = 0.05 기준에서는:

p = 0.049

↓

Significant

p = 0.051

↓

Not Significant

로 분류될 수 있습니다.

하지만 Statistical Evidence의 강도가 갑자기 절벽처럼 변한 것은 아닙니다.

두 값은 매우 가깝습니다.

따라서 p-value를:

0.05보다 작다 / 크다

라는 이분법만으로 해석하는 것은 제한적입니다.

p-value는 연속적인 Evidence Measure로 보는 것이 좋다

예를 들어:

p = 0.049

와:

p = 0.000001

은 둘 다 α=0.05에서 Significant합니다.

하지만 H₀ 아래에서 Result가 얼마나 Extreme한지에 대한 Evidence Strength는 크게 다를 수 있습니다.

따라서 단순히:

“둘 다 유의함”

으로 끝내면 정보가 줄어듭니다.

p-value가 작으면 Effect Size도 큰가?

아닙니다.

p-value는 Effect Size뿐 아니라:

• Sample Size
• Variability
• Test Structure

의 영향을 받습니다.

첨부 교재의 Coin Experiment에서도 같은 Effect가 관찰되어도 Sample Size가 증가하면서 p-value가 크게 작아질 수 있음을 보여줍니다.

즉:

Small p-value

≠

Large Effect

입니다.

첨부 교재의 Sample Size Example

교재에서는 Fair Coin이라면 50% Heads를 기대하는 상황에서 실제 Observed Proportion을 계속:

40%

로 유지합니다.

하지만 Coin Flip 수를 다르게 합니다.

예를 들어:

작은 Sample

40% Heads

↓

p-value가 비교적 큼

큰 Sample

40% Heads

↓

p-value가 매우 작음

동일한 10 Percentage Point Difference인데 Sample Size가 커질수록 Random Chance로 설명하기 어려워지는 것입니다.

왜 Sample Size가 커지면 p-value가 작아질 수 있을까?

Sample Size가 커질수록 Estimate의 Sampling Variability가 작아지기 때문입니다.

예를 들어 10번 Coin Flip에서:

4 Heads

6 Tails

은 충분히 우연히 발생할 수 있어 보입니다.

하지만 10,000번 던졌는데 정확히 40%만 Heads가 나온다면 Fair Coin의 50% Expectation에서 지속적으로 크게 벗어났다는 훨씬 강한 Evidence가 됩니다.

즉:

같은 Effect Size

Larger n

↓

Higher Precision

↓

H₀와 Difference가 더 명확

↓

Smaller p-value 가능

입니다.

큰 Sample에서 아주 작은 Difference도 유의할 수 있다

예를 들어 두 Group의 Mean Difference가:

0.1

밖에 되지 않는다고 가정하겠습니다.

n이 매우 크다면 Standard Error가 매우 작아질 수 있습니다.

그 결과:

p < 0.001

이 나올 수도 있습니다.

하지만 0.1 Difference가 실제로 중요한지는 별도의 문제입니다.

따라서:

Statistical Significance

과

Practical Significance

를 반드시 구분해야 합니다.

작은 Sample에서는 큰 Effect도 유의하지 않을 수 있다

반대 상황도 가능합니다.

Mean Difference가:

10

으로 상당히 커도:

• n이 매우 작고
• SD가 매우 크다면

Standard Error가 커질 수 있습니다.

그 결과:

p = 0.10

이 나올 수 있습니다.

따라서:

Not Significant

≠

Effect 없음

입니다.

p-value는 Effect Size와 Sample Size의 영향을 함께 받는다

첨부 교재에서는 Coin Experiment를 통해 Effect Size와 Sample Size 두 요소 모두 p-value에 영향을 준다고 설명합니다.
개념적으로:

Effect Size 증가

↓

Observed Result가 H₀에서 더 멀어짐

↓

p-value 작아지는 경향

그리고:

Sample Size 증가

↓

Sampling Variability 감소

↓

같은 Difference도 더 명확해짐

↓

p-value 작아지는 경향

입니다.

첨부 교재의 Effect Size Example

교재에서는 Fair Coin을 100번 던지는 상황에서 관찰된 Heads 수가 50에서 얼마나 떨어지는지에 따라 Evidence가 달라지는 Example을 제시합니다.

Difference가 작으면:

p-value 큼

Difference가 커지면:

p-value 작아짐

이라는 구조입니다.

즉 H₀에서 멀리 떨어진 Result일수록 H₀ 아래에서 보기 어려운 Result가 됩니다.

“Extreme”이란 무엇을 의미할까?

p-value 정의에서 매우 중요한 단어입니다.

단순히 현재 Observation의 Probability만 계산하는 것이 아닙니다.

현재 Result와 같거나 H₀와 더 충돌하는 방향의 Result까지 포함합니다.

예를 들어 Two-Sided Test에서는 양쪽 방향의 Extreme Result를 고려할 수 있습니다.

Coin Example에서 “더 Extreme”은 무엇일까?

Fair Coin을 100번 던졌을 때 40 Heads가 나왔다고 가정해보겠습니다.

Expected Heads는:

50

입니다.

Observed Difference는:

10

입니다.

Two-Sided 관점에서는:

40 Heads 이하

뿐 아니라:

60 Heads 이상

처럼 50에서 같은 정도 이상 멀어진 Result도 포함하여 Probability를 계산할 수 있습니다.

즉 p-value는 단순히 “정확히 40 Heads일 Probability”가 아닙니다.

p-value는 관찰값 자체의 Probability가 아니다

예를 들어 Continuous Data에서는 특정 정확한 숫자 하나가 나타날 Probability가 사실상 0일 수도 있습니다.

p-value는 보통 Test Statistic Distribution에서:

현재 Statistic만큼 또는 더 Extreme한 영역

의 Probability를 계산합니다.

따라서:

P(Observed Data exactly)

와:

p-value

는 다릅니다.

Test Statistic이란 무엇인가?

Sample Evidence를 Null Hypothesis와 비교할 수 있도록 하나의 Scale로 변환한 Statistic입니다.

대표적으로:

• t Statistic
• F Statistic
• Chi-Square Statistic
• z Statistic

등이 있습니다.

p-value는 해당 Test Statistic이 H₀ 아래에서 얼마나 Extreme한 위치에 있는지 평가합니다.

One-Sample t-Test에서는 어떻게 계산될까?

예를 들어:

H₀: μ = μ₀

일 때:

Sample Mean – Hypothesized Mean

을:

Standard Error

와 비교합니다.

개념적으로:

t

=

Observed Difference

÷

Sampling Variability

입니다.

Difference가 Standard Error에 비해 클수록 |t|가 커지고 p-value가 작아지는 경향이 있습니다.

Two-Sample t-Test에서도 같은 원리일까?

그렇습니다.

두 Sample Mean Difference를:

Difference = x̄₁ – x̄₂

로 계산한 뒤 그 Difference를 Standard Error와 비교합니다.

즉:

Large Difference

Small SE

↓

Large |t|

↓

Small p-value

가능성이 높아집니다.

ANOVA에서는 어떤 Statistic을 사용할까?

ANOVA에서는 F Statistic을 사용합니다.

핵심은:

Between-Group Variation

과

Within-Group Variation

을 비교하는 것입니다.

F Value가 Null Hypothesis 아래에서 보기 어려울 정도로 크면 p-value가 작아집니다.

따라서 ANOVA p-value 역시 같은 Logic을 따릅니다.

Regression에서는 p-value가 무엇을 검정할까?

Regression Output에는 여러 p-value가 나타날 수 있습니다.

예를 들어 특정 Coefficient에서는:

H₀: β = 0

을 검정할 수 있습니다.

Overall Model F Test에서는 여러 Regression Coefficient가 동시에 0인지 평가할 수 있습니다.

따라서 Regression Output의 p-value를 볼 때는 어떤 H₀에 대한 p-value인지 확인해야 합니다.

Chi-Square Test에서도 p-value의 원리는 같다

Categorical Data의 Association을 평가하는 Pearson Chi-Square Test에서는:

H₀

두 변수 사이 Association 없음

이라고 가정합니다.

그리고 Observed Frequency와 H₀에서 기대되는 Expected Frequency의 Difference를 이용해 Chi-Square Statistic을 계산합니다.

그 Statistic 또는 더 큰 Statistic이 H₀에서 발생할 Probability가 p-value와 연결됩니다.

첨부 교재에서도 Exact Chi-Square p-value를 이러한 방식으로 설명합니다.

Exact p-value란 무엇일까?

일부 Test에서는 Large-Sample Approximation을 이용하여 p-value를 계산합니다.

하지만 Sample Size가 작으면 이러한 Asymptotic Approximation이 충분히 정확하지 않을 수 있습니다.

이 경우 가능한 Result들의 정확한 Probability를 이용해 Exact p-value를 계산할 수 있습니다.

첨부 교재에서는 Small Sample 상황에서 Exact p-value가 유용할 수 있다고 설명합니다.

왜 Small Sample에서 Asymptotic p-value가 문제가 될 수 있을까?

일부 Statistical Test의 p-value는 Sample Size가 충분히 클 때 Test Statistic이 특정 Distribution을 Approximate한다는 이론에 기반합니다.

Sample Size가 너무 작거나 Expected Count가 너무 작으면 Approximation이 부정확할 수 있습니다.

따라서 계산된 p-value 자체보다 먼저 Test Assumption을 확인해야 합니다.

Chi-Square Test에서는 Expected Count가 중요한 이유

첨부 교재에서는 Chi-Square Test의 Validity 기준이 Observed Count가 아니라 Expected Count에 기반한다고 설명합니다.

Expected Count가 너무 작은 Cell이 많으면 Asymptotic Chi-Square p-value가 적절하지 않을 수 있습니다.

즉:

p-value 숫자가 출력됨

≠

그 p-value가 항상 Valid

입니다.

Exact p-value도 기본 정의는 같다

첨부 교재에서는 Exact p-value를 계산할 때 Null Hypothesis가 참이라면 현재 Observed Table만큼 또는 그보다 더 큰 Chi-Square Evidence를 가진 가능한 Table들의 Probability를 합산합니다.

즉 Method는 달라도 핵심 정의는 동일합니다.

H₀ True

↓

현재 또는 더 Extreme한 Result Probability

↓

p-value

입니다.

p-value가 0이라고 출력되면 정말 Probability가 0일까?

보통 아닙니다.

Software Output에서:

p < .0001

처럼 표시될 수 있습니다.

이는 p-value가 매우 작아서 표시 자릿수 아래로 내려갔다는 의미입니다.

정확히 0이라는 뜻이 아닙니다.

따라서:

p = 0

이라고 쓰기보다:

p < 0.0001

처럼 보고하는 것이 적절합니다.

p < 0.001이면 Effect가 거의 확실하다는 뜻일까?

통계적으로 H₀와 강하게 충돌하는 Evidence가 있다는 의미는 될 수 있습니다.

하지만:

• Effect Magnitude
• Bias
• Confounding
• Study Design
• Measurement Error

는 별도로 평가해야 합니다.

즉 매우 작은 p-value가 Study Validity 전체를 보장하지는 않습니다.

Data Error도 매우 작은 p-value를 만들 수 있다

예를 들어 두 Group의 Unit가 서로 다르게 입력되었다고 가정해보겠습니다.

Group A는 kg

Group B는 lb

인데 그대로 Mean을 비교하면 매우 큰 Difference와 매우 작은 p-value가 나올 수 있습니다.

Statistical Calculation 자체는 정확합니다.

하지만 Scientific Interpretation은 완전히 잘못됩니다.

작은 p-value는 Data Quality Certificate가 아닙니다.

Outlier 하나가 p-value를 바꿀 수 있을까?

가능합니다.

특히 Mean, Correlation, Regression 기반 Test에서는 Extreme Observation이:

• Effect Estimate
• Variance
• Standard Error
• Test Statistic

에 영향을 줄 수 있습니다.

따라서 p-value를 보기 전에 Distribution과 Outlier를 확인하는 것이 중요합니다.

Outlier를 제거해서 p-value가 작아졌다면 삭제해도 될까?

아닙니다.

원하는 Statistical Significance를 얻기 위해 Observation을 선택적으로 제거해서는 안 됩니다.

Observation Exclusion에는:

• 사전 정의된 Rule
• 객관적인 Data Error 근거
• 명확한 Analysis Plan

등이 필요합니다.

Result에 따라 Data를 조정하면 Analysis Integrity가 훼손될 수 있습니다.

p-value는 Replication Probability일까?

아닙니다.

p = 0.03이라고 해서 동일 연구를 반복했을 때:

97% 확률로 같은 Result가 나온다

는 의미가 아닙니다.

Replication은:

• True Effect
• Sample Size
• Variability
• Study Design
• Sampling

등 여러 요소에 영향을 받습니다.

p-value 하나로 Replication Probability를 계산할 수 없습니다.

p-value는 H₁가 참일 Probability일까?

아닙니다.

p = 0.01이라고 해서:

H₁가 99% 확률로 참

이라는 의미가 아닙니다.

p-value는 H₀와 Data 사이의 Conditional Probability를 계산할 뿐 H₀와 H₁의 Posterior Probability를 직접 제공하지 않습니다.

p-value는 “우연일 확률”일까?

이 표현도 지나치게 단순합니다.

흔히:

“p-value는 이 결과가 우연일 확률이다.”

라고 말하지만 정확하지 않습니다.

더 정확하게는:

H₀가 참이라는 조건에서 현재 Test Statistic과 같거나 더 Extreme한 Result가 Random Sampling에 의해 나타날 Probability

입니다.

즉 어떤 현상이 “우연 때문에 발생했는지”라는 원인 Probability를 직접 계산하지 않습니다.

첨부 교재의 표현을 어떻게 이해해야 할까?

교재에서는 Coin Example에서 Difference가 “purely by chance” 발생할 Probability와 p-value를 연결합니다.

이를 엄밀하게 이해하면:

Fair Coin이라는 H₀가 참일 때 Random Sampling만으로 현재 정도의 Difference가 나타날 Probability

라는 뜻입니다.

H₀가 참일 Probability 자체를 말하는 것은 아닙니다.

p-value가 매우 크면 H₀ Evidence가 강한가?

반드시 그렇지 않습니다.

예를 들어 p = 0.90이라고 해도:

H₀가 90% 확률로 맞다.

는 의미가 아닙니다.

Sample Size가 작아 Test가 Difference를 거의 검출하지 못하는 상황일 수도 있습니다.

따라서 Large p-value를 H₀를 적극적으로 지지하는 확률로 해석해서는 안 됩니다.

Non-Significant Result에서 Confidence Interval이 중요한 이유

예를 들어 두 연구 모두:

p = 0.20

이라고 가정하겠습니다.

Study A

Difference = 0.1

95% CI = -0.1 ~ 0.3

Study B

Difference = 10

95% CI = -100 ~ 120

둘 다 p > 0.05이지만 의미는 크게 다릅니다.

Study A는 Effect가 아주 작을 가능성을 비교적 정밀하게 보여줍니다.

Study B는 매우 큰 Negative와 Positive Effect를 모두 배제하지 못합니다.

따라서 p-value만 보면 중요한 차이를 놓칩니다.

p-value와 Confidence Interval은 어떻게 연결될까?

Two-Sided Test에서 α=0.05이면 대응하는 95% Confidence Interval과 연결됩니다.

예를 들어 Mean Difference의 95% CI가:

2 ~ 8

이라면 Null Value 0을 포함하지 않습니다.

대응하는 Two-Sided Test에서는 p < 0.05와 연결됩니다.

반대로:

-2 ~ 8

이라면 0을 포함하므로 p ≥ 0.05와 연결될 수 있습니다.

즉 두 방법은 같은 Statistical Evidence를 서로 다른 방식으로 표현합니다.

Confidence Interval이 더 많은 정보를 주는 이유

p-value는 주로 H₀와 Evidence의 Compatibility를 보여줍니다.

Confidence Interval은 동시에:

• Effect Direction
• Effect Magnitude
• Precision
• Plausible Range
• Null Value 포함 여부

를 보여줍니다.

따라서 Result Report에서는 가능하다면 Effect Estimate와 CI를 함께 보는 것이 좋습니다.

Statistical Significance란 무엇인가?

일반적으로 사전에 정한 α보다 p-value가 작을 때 Statistical Significance가 있다고 표현합니다.

예:

α = 0.05

p = 0.02

↓

Statistically Significant

입니다.

하지만 이 표현은:

실제로 중요한 Effect다.

라는 의미가 아닙니다.

단지 해당 Hypothesis Test에서 H₀와 충분히 충돌하는 Evidence가 있다는 의미입니다.

Practical Significance란 무엇인가?

Effect가 실제 현실에서 의미 있는 크기인지 평가하는 개념입니다.

예를 들어:

Treatment Mean Difference = 0.1

p < 0.0001

이라고 하더라도 임상적으로 0.1이 거의 의미가 없을 수 있습니다.

반대로:

Difference = 10

p = 0.08

이라면 Statistical Significance는 없지만 잠재적으로 중요한 Effect를 충분히 배제하지 못했을 수 있습니다.

다음 글에서 이 차이를 자세히 다루게 됩니다.

p-value는 Effect Direction을 알려줄까?

p-value 자체만으로는 충분하지 않습니다.

예를 들어 p = 0.01이라고 해도 Effect가:

Positive인지

Negative인지

p-value 숫자만으로는 알 수 없습니다.

Effect Estimate를 확인해야 합니다.

따라서:

Estimate

Confidence Interval

p-value

를 함께 보는 것이 좋습니다.

Two-Sided p-value와 One-Sided p-value는 다를까?

그렇습니다.

Two-Sided Test는 Null Value에서 양쪽 방향으로 Extreme한 Result를 고려합니다.

One-Sided Test는 사전에 정의한 한 방향의 Extreme Result에 초점을 맞춥니다.

따라서 동일한 Test Statistic에서도 One-Sided와 Two-Sided p-value가 다를 수 있습니다.

Result를 보고 One-Sided p-value를 선택하면 안 되는 이유

예를 들어 Two-Sided p=0.08이 나왔는데 Observed Effect가 원하는 방향이므로 One-Sided p≈0.04를 보고 Significant라고 하는 것은 분석 계획에 따라 문제가 될 수 있습니다.

One-Sided Alternative는 Research Question에 따라 Data를 보기 전에 정의해야 합니다.

p-value가 “경계에 있다”는 표현은 조심해야 한다

예를 들어:

p = 0.051

을:

“거의 유의하다.”

라고 표현하는 경우가 있습니다.

하지만 Threshold는 사전에 정의되어 있고 p-value 자체는 연속적인 Evidence Measure입니다.

0.051을 별도의 특별한 Category로 취급하기보다:

• Effect Estimate
• CI
• Sample Size
• Study Context

를 함께 해석하는 것이 더 적절합니다.

p = 0.06과 p = 0.60은 같은 “비유의”인가?

둘 다 α=0.05에서 H₀를 Reject하지 않을 수 있습니다.

하지만 Evidence Pattern이 동일하다는 의미는 아닙니다.

p = 0.06은 H₀와 어느 정도 Tension이 있을 수 있지만 Threshold를 넘지 않은 상태입니다.

p = 0.60은 현재 Data가 H₀ 아래에서도 훨씬 흔하게 발생할 수 있는 Result일 수 있습니다.

따라서 Binary Label만으로 모든 정보를 표현하기 어렵습니다.

p-value를 여러 번 보면 False Positive가 늘어날 수 있다

예를 들어 실제로 모든 Null Hypothesis가 True인데 100개의 독립적인 Test를 각각 α=0.05로 수행한다고 가정해보겠습니다.

각 Test에서 우연히 p<0.05가 나올 가능성이 있습니다.

따라서 많은 Hypothesis를 동시에 검정하면 적어도 하나의 False Positive를 얻을 가능성이 증가합니다.

이것이 Multiple Testing 문제입니다.

20번 Test하면 반드시 한 번 Significant할까?

아닙니다.

α=0.05라고 해서 정확히 20번마다 하나가 Significant하다는 뜻은 아닙니다.

장기적인 Probability 개념입니다.

어떤 20개 Test에서는 0개일 수도 있고, 다른 경우에는 2개 이상이 나올 수도 있습니다.

Multiple Comparison Correction이 필요한 이유

여러 Pairwise Comparison을 수행하면 Family-wise Type I Error를 관리해야 할 수 있습니다.

예를 들어 ANOVA 이후 여러 Group을 동시에 비교할 때 Tukey 같은 Post Hoc Method를 사용하는 이유 중 하나입니다.

즉 개별 p-value를 해석할 때 전체 Testing Structure도 고려해야 합니다.

p-hacking이란 무엇과 관련될까?

많은 Analysis를 시도한 뒤 p<0.05인 Result만 선택적으로 보고하면 False Positive Risk가 크게 증가할 수 있습니다.

예를 들어:

• 여러 Endpoint 시험
• 여러 Subgroup 시험
• 여러 Transformation 시험
• 여러 Covariate 조합 시험

을 반복한 뒤 Significant Result만 제시하는 방식입니다.

따라서 Pre-Specified Analysis와 Transparent Reporting이 중요합니다.

Exploratory Analysis에서 p-value를 사용할 수 없다는 뜻일까?

아닙니다.

Exploratory Analysis에서도 p-value를 계산할 수 있습니다.

다만 Confirmatory Evidence와 같은 수준으로 해석하지 않고 Hypothesis Generation의 Context를 명확하게 설명하는 것이 중요합니다.

즉 분석 목적이 중요합니다.

p-value와 Type I Error의 관계

α는 사전에 허용할 Type I Error Rate와 연결됩니다.

p-value는 실제 Data에서 계산됩니다.

예를 들어:

α = 0.05

이면 Decision Rule:

p < 0.05

에서 H₀를 Reject하도록 설정할 수 있습니다.

이 Procedure를 반복하면 H₀가 참인 조건에서 장기적인 False Rejection Rate를 관리하는 것이 α의 역할입니다.

p-value 자체가 Type I Error Probability일까?

아닙니다.

특정 Result에서 p=0.03이라고 해서 이번 Decision의 Type I Error Probability가 3%라는 의미가 아닙니다.

α는 Testing Procedure의 Error Rate와 연결되고 p-value는 Sample Evidence를 측정합니다.

두 개념을 구분해야 합니다.

Type II Error와 p-value는 어떻게 연결될까?

p-value는 직접적으로 Type II Error Probability를 제공하지 않습니다.

하지만 Sample Size가 작거나 Effect가 작고 Variability가 크면 p-value가 작아지기 어려워 실제 Effect를 놓칠 가능성이 커질 수 있습니다.

이를 Power Analysis와 연결해서 생각할 수 있습니다.

Statistical Power가 낮으면 p-value를 어떻게 해석해야 할까?

Non-Significant p-value가 나왔을 때 실제 No Effect인지, Sample이 Effect를 검출하기에 충분하지 않았는지 구분이 어려울 수 있습니다.

따라서:

• Effect Estimate
• Confidence Interval
• Sample Size
• Study Power

를 함께 고려해야 합니다.

사후에 “Power가 낮아서 유의하지 않았다”라고만 말하면 충분할까?

주의가 필요합니다.

Observed Result를 이용한 Post-hoc Power는 p-value와 밀접하게 연결되어 추가 정보가 제한적인 경우가 있습니다.

Non-Significant Result를 해석할 때는 Confidence Interval을 이용해 어떤 Effect Size까지 배제할 수 있는지 보는 것이 더 직접적으로 유용할 수 있습니다.

p-value에 단위가 있을까?

없습니다.

p-value는 Probability이므로 0과 1 사이의 Unitless 값입니다.

반면 Effect Estimate는 Variable의 Unit을 가질 수 있습니다.

예:

Mean Difference = 5 mmHg

p = 0.03

여기서 5 mmHg가 실제 Effect Magnitude입니다.

p-value 자체에는 mmHg 같은 Unit이 없습니다.

p-value를 Percent로 표현할 수 있을까?

수학적으로 p=0.03을 3%라고 표현할 수 있지만 Interpretation을 잘못 유도할 가능성이 있습니다.

특히:

“Null이 틀릴 확률 97%”

처럼 잘못 이어질 수 있습니다.

따라서 Statistical Reporting에서는 일반적으로:

p = 0.03

과 같이 표기하는 것이 명확합니다.

p-value는 항상 0과 1 사이일까?

그렇습니다.

Probability이기 때문에:

0 ≤ p ≤ 1

입니다.

하지만 Software에서는 매우 작은 값을:

p < .0001

처럼 표시할 수 있습니다.

p-value가 1일 수도 있을까?

가능합니다.

Observed Test Statistic이 H₀에서 기대하는 값과 완전히 일치하는 상황 등에서 매우 큰 p-value가 나올 수 있습니다.

하지만 p=1이라고 H₀가 확실히 참이라는 의미는 아닙니다.

단지 현재 Statistic이 H₀와 매우 Compatible한 Result일 수 있다는 의미입니다.

같은 Data라도 다른 Test를 쓰면 p-value가 달라질까?

가능합니다.

Statistical Test마다:

• Null Hypothesis
• Test Statistic
• Assumption
• Sampling Distribution

이 다를 수 있기 때문입니다.

예를 들어 Equal Variance t-Test와 Welch t-Test가 다른 p-value를 낼 수 있습니다.

따라서 원하는 p-value를 얻기 위해 Test를 선택해서는 안 됩니다.

Data Structure와 Research Question에 맞는 Method를 사용해야 합니다.

Statistical Assumption이 p-value에 중요한 이유

p-value는 특정 Null Distribution을 기반으로 계산됩니다.

Assumption이 심하게 깨지면 Test Statistic의 실제 Distribution이 이론과 달라질 수 있습니다.

그 결과 p-value의 Validity가 떨어질 수 있습니다.

따라서 Statistical Test 전에 Assumption Check가 필요합니다.

첨부 교재의 Levene’s Test Example

교재의 ANOVA Section에서는 Variance Homogeneity를 평가하기 위해 Levene’s Test를 사용합니다.

Null Hypothesis는 각 Fertilizer Group의 Variance가 동일하다는 것입니다.

Result:

p = 0.4173

이고 α=0.05보다 크므로 H₀를 Reject하지 않습니다.

따라서 Equal Variance Assumption과 충돌하는 충분한 Evidence가 없다고 해석합니다.

여기서 “Assumption이 증명되었다”고 말해도 될까?

엄밀하게는 주의해야 합니다.

p=0.4173은 Variance가 완전히 동일하다는 것을 증명한 것은 아닙니다.

현재 Data에서 Equal Variance H₀를 Reject할 충분한 Evidence가 없다는 의미입니다.

특히 Assumption Test도 Sample Size 영향을 받습니다.

따라서 Graphical Diagnostics와 Context를 함께 확인하는 것이 좋습니다.

큰 Sample에서는 Assumption Test도 너무 민감할 수 있다

Sample Size가 매우 크면 Practical하게 작은 Departure도 p<0.05로 나타날 수 있습니다.

따라서 Normality Test나 Homogeneity Test에서 p-value만으로:

“Assumption Failed”

라고 자동 판단하면 지나치게 엄격할 수 있습니다.

실제 Statistical Procedure의 Robustness와 Departure Magnitude를 함께 봐야 합니다.

작은 Sample에서는 반대로 문제를 발견하지 못할 수 있다

Sample이 작으면 큰 Assumption Violation이 있어도 Statistical Test의 Power가 부족하여 p-value가 크게 나올 수 있습니다.

따라서:

Large p-value in Assumption Test

≠

Assumption 확실히 만족

입니다.

p-value와 Data Visualization을 함께 봐야 하는 이유

예를 들어 Regression Coefficient p<0.001이라고 해도 Scatter Plot을 확인했더니 Extreme Point 하나가 Relationship을 만들었다면 해석이 달라질 수 있습니다.

따라서:

Numerical Test

Graphical Review

가 필요합니다.

이는 첨부 교재에서 Descriptive Statistics와 Distribution Analysis를 Hypothesis Testing 전에 다루는 이유와도 연결됩니다.

p-value를 보기 전 반드시 확인할 것

다음 질문을 사용할 수 있습니다.

1. Research Question은 무엇인가?

무엇을 알고 싶은가?

2. H₀는 무엇인가?

어떤 Null을 검정하는가?

3. H₁는 무엇인가?

Two-Sided / One-Sided?

4. α는 얼마인가?

사전에 정했는가?

5. Effect Estimate는 얼마인가?

Difference의 실제 크기는?

6. Standard Error / Variability는?

Estimate Precision은?

7. Test Assumption은 적절한가?

Method가 Valid한가?

그 다음 p-value를 해석해야 합니다.

SAS Output에서 “Pr > F”는 무엇일까?

ANOVA나 Regression의 F Test Output에서 자주 볼 수 있는 표현입니다.

이는 관찰된 F Statistic 또는 그보다 더 Extreme한 F Statistic을 Null Hypothesis 아래에서 관찰할 Probability와 연결된 p-value입니다.

예를 들어 Levene’s Test Output에서도 Pr > F = 0.4173이 표시됩니다.

“Pr > |t|”는 무엇일까?

Two-Sided t-Test에서 흔히 나타나는 형태입니다.

현재 관찰된 |t|와 같거나 더 큰 Absolute t Statistic이 H₀ 아래에서 나타날 Probability와 연결됩니다.

즉 양쪽 Tail을 고려하는 Two-Sided p-value입니다.

“Pr > ChiSq”는?

Chi-Square Statistic과 연결된 p-value입니다.

현재 Chi-Square Value 또는 더 큰 Value가 H₀ 아래에서 발생할 Probability를 나타냅니다.

SAS Procedure에 따라 Output Label은 다르지만 p-value의 기본 Logic은 같습니다.

Output에서 별표가 있다고 의미를 대신해주는 것은 아니다

Software가 p<0.05에 별표나 강조를 표시할 수 있습니다.

하지만 Analyst는 여전히:

• 어떤 H₀인지
• Effect Size가 얼마인지
• CI가 어떤지
• Assumption이 어떤지

를 확인해야 합니다.

Significance Marker는 Interpretation의 시작점일 뿐입니다.

p-value는 연구 질문의 답 자체가 아니다

예를 들어 질문이:

Treatment가 얼마나 효과적인가?

라면 p-value만으로 답할 수 없습니다.

p-value는:

No Effect H₀와 Data가 얼마나 충돌하는가?

를 평가합니다.

하지만 “얼마나 효과적인가?”에는:

Effect Estimate

가 필요합니다.

따라서 질문에 맞는 Statistic을 봐야 합니다.

p-value와 Effect Estimate를 함께 보는 구조

예를 들어:

Mean Difference

= 8.5

95% CI

= 2.1 ~ 14.9

p-value

= 0.01

이라면:

• Effect Direction: Positive
• Estimated Magnitude: 8.5
• Uncertainty: 2.1~14.9
• H₀ Difference=0에 대한 Evidence: Strong

이라는 정보를 얻을 수 있습니다.

이것이 p-value 하나보다 훨씬 완전한 Interpretation입니다.

p-value가 Significant해도 CI가 넓을 수 있을까?

가능합니다.

예:

Difference = 50

95% CI = 1 ~ 99

라면 0을 포함하지 않아 Significant할 수 있습니다.

하지만 가능한 Effect Magnitude가 1부터 99까지 매우 넓습니다.

즉 Direction에 대한 Evidence는 있지만 Effect Size Estimate는 부정확할 수 있습니다.

아주 정밀한 Non-Significant Result도 가능하다

예:

Difference = 0.01

95% CI = -0.01 ~ 0.03

p > 0.05

입니다.

Statistically Significant하지 않지만 큰 Effect를 상당히 배제할 수 있을 정도로 Precise할 수 있습니다.

따라서 “유의하지 않다”라는 한 문장만으로 Result를 평가하면 안 됩니다.

p-value를 소수점 몇 자리까지 보고할까?

Reporting Standard에 따라 다를 수 있습니다.

일반적으로:

p = 0.032

처럼 적절한 Precision으로 보고합니다.

매우 작은 경우:

p < 0.001

또는 Software Output에 맞추어:

p < 0.0001

처럼 표현할 수 있습니다.

불필요하게 많은 소수점 자리를 제시하는 것은 실제 Statistical Precision보다 과도한 정확성을 암시할 수 있습니다.

p = .0000이라고 보고하면 안 되는 이유

Probability가 정확히 0이라고 오해할 수 있기 때문입니다.

Software Display Limit 때문이라면:

p < 0.0001

처럼 표현하는 것이 더 정확합니다.

p-value의 전체 구조

전체 흐름을 정리하면 다음과 같습니다.

Research Question

↓

H₀ 설정

↓

No Difference / No Association

↓

H₁ 설정

↓

Difference / Association

↓

α 사전 결정

↓

Sample Data 수집

↓

Effect Estimate

↓

Test Statistic

↓

H₀ 아래 Sampling Distribution에서 위치 확인

↓

현재 또는 더 Extreme한 Result의 Probability

↓

p-value

↓

p < α

Reject H₀

p ≥ α

Fail to Reject H₀

↓

Effect Size + CI + Context와 함께 최종 해석

입니다.

흔한 오해 정리

“p=0.03이면 H₀가 참일 확률이 3%다”

아닙니다.

H₀가 참이라는 조건에서 현재 또는 더 Extreme한 Result가 나타날 Probability입니다.

“p=0.03이면 H₁가 참일 확률이 97%다”

아닙니다.

p-value는 H₁의 Probability를 계산하지 않습니다.

“p-value는 Result가 우연일 확률이다”

지나치게 단순한 표현입니다.

H₀가 참일 때 현재 Test Statistic 이상으로 Extreme한 Result가 Random Sampling으로 나타날 Probability입니다.

“p<0.05이면 Effect가 크다”

아닙니다.

Sample Size가 크면 매우 작은 Effect도 Significant할 수 있습니다.

“p>0.05이면 Effect가 없다”

아닙니다.

Sample Size와 Precision이 부족할 수도 있습니다.

“p>0.05이면 H₀를 Accept한다”

아닙니다.

Fail to Reject H₀입니다.

“p=0.049와 p=0.051은 완전히 다른 Evidence다”

아닙니다.

Threshold 기준 Decision은 달라질 수 있지만 Evidence는 연속적입니다.

“큰 p-value는 H₀가 맞다는 강한 증거다”

반드시 그렇지 않습니다.

Low Power 때문에 Difference를 검출하지 못했을 수도 있습니다.

“p-value가 작으면 Data Quality도 좋다”

아닙니다.

Data Error나 Bias에서도 매우 작은 p-value가 나올 수 있습니다.

“같은 Effect Size면 p-value도 같다”

아닙니다.

Sample Size와 Variability가 영향을 줍니다. 첨부 교재의 Coin Experiment가 이를 직접 보여줍니다.

“Statistical Software가 p-value를 출력하면 Test가 Valid하다”

아닙니다.

Sample Size와 Statistical Assumption을 확인해야 합니다. Small-Sample Chi-Square에서는 Asymptotic p-value가 적절하지 않을 수 있습니다.

“p-value만 보고 연구 결과를 해석할 수 있다”

아닙니다.

Effect Estimate와 Confidence Interval, Data Quality, Study Design을 함께 봐야 합니다.

p-value를 실제로 읽는 기본 순서

SAS Output에서 p-value를 발견하면 다음 순서가 좋습니다.

1. 어떤 Statistical Test인가?

↓

t?

F?

Chi-Square?

2. H₀는 무엇인가?

↓

무엇이 0 또는 동일하다고 가정하는가?

3. α는 얼마인가?

↓

Decision Threshold 확인

4. Effect Estimate는 얼마인가?

↓

Difference Magnitude 확인

5. Sample Size와 Variability는?

↓

Precision 확인

6. p-value는?

↓

H₀와 Data Compatibility 평가

7. Confidence Interval은?

↓

Effect Range 확인

8. Assumption은 적절한가?

↓

p-value Validity 확인

9. Practical Meaning은?

↓

실제 중요성 평가

입니다.

왜 p-value를 정확히 이해해야 할까?

앞으로 다룰 모든 주요 Statistical Test에서 p-value가 반복해서 등장하기 때문입니다.

One-Sample t-Test

↓

Mean Hypothesis p-value

Two-Sample t-Test

↓

Mean Difference p-value

ANOVA

↓

Overall F Test p-value

Post Hoc Test

↓

Pairwise Comparison p-value

Regression

↓

Coefficient / Overall Model p-value

따라서 p-value를:

“0.05보다 작으면 성공”

정도로만 이해하면 이후 Statistical Output을 올바르게 해석하기 어렵습니다.

핵심 정리

p-value는 Statistical Hypothesis Testing에서 Sample Evidence를 평가하는 핵심 Statistic입니다.

하지만 가장 중요한 것은 조건부 구조입니다.

p-value는 Null Hypothesis가 참이라고 가정했을 때, 현재 관찰된 Test Statistic 또는 그보다 더 Extreme한 Statistic이 Random Chance에 의해 나타날 Probability입니다.

첨부 교재도 Coin Experiment에서 p-value를 Fair Coin이라는 H₀가 참일 때 현재 Difference와 같거나 더 큰 Difference가 나타날 Probability로 설명합니다.

따라서 다음 해석은 잘못되었습니다.

p = 0.03

↓

“H₀가 참일 확률 3%”

X

그리고:

“H₁가 참일 확률 97%”

X

정확한 구조는 다음과 같습니다.

H₀가 True라고 가정

↓

Sample Data

↓

Test Statistic

↓

현재 또는 더 Extreme한 Result Probability

↓

p-value

입니다.

또 p-value는 Effect Size만으로 결정되지 않습니다.

첨부 교재의 Coin Experiment에서는 관찰된 Head Proportion Difference가 동일하더라도 Sample Size가 커질수록 p-value가 작아지는 모습을 보여줍니다.

따라서:

Small p-value

≠

Large Effect

이고:

Large p-value

≠

No Effect

입니다.

p-value는 반드시 다음과 함께 해석해야 합니다.

Effect Estimate

Confidence Interval

Sample Size

Variability

Study Design

Statistical Assumption

그리고 SAS가 p-value를 출력했다고 그 값이 자동으로 Valid한 것도 아닙니다.

첨부 교재의 Small-Sample Chi-Square Section에서는 Expected Count가 작을 때 Asymptotic p-value가 적절하지 않을 수 있으며 Exact p-value가 필요할 수 있다고 설명합니다.

또 ANOVA의 Levene’s Test Example에서는 Equal Variance라는 H₀에 대해 p=0.4173이 α=0.05보다 크므로 H₀를 Reject하지 않는다고 설명합니다.

여기서도 중요한 표현은:

Accept H₀

가 아니라:

Fail to Reject H₀

입니다.

p-value는 Null Hypothesis가 맞는지 틀리는지를 직접 알려주는 확률이 아니라, Null Hypothesis가 맞다고 가정했을 때 현재 Sample Evidence가 얼마나 이례적인지를 수치화한 값입니다.

따라서 좋은 Statistical Interpretation은 p-value 숫자에서 끝나지 않습니다.

무엇을 검정했고, 얼마나 큰 Effect가 관찰되었으며, 그 Effect가 얼마나 Precise하고 실제로 중요한지를 함께 해석하는 것이 핵심입니다.

함께 읽으면 좋은 글

• Null Hypothesis와 Alternative Hypothesis의 구조: 통계적 가설검정이 시작되는 방식
• Statistical Significance와 Practical Significance의 차이: 유의한 결과가 반드시 중요한 것은 아닌 이유
• One-Sample t-Test의 원리: 하나의 표본 평균을 기준값과 비교하는 방법
• Two-Sample t-Test의 구조: 두 독립 집단 평균의 차이를 검정하는 방식
• 95% Confidence Interval의 정확한 해석: 흔히 오해하는 확률 개념 정리

참고한 자료

• SAS Enterprise Guide: ANOVA, Regression, and Logistic Regression Course Notes
• Chapter 2 Introduction to Statistics
• Hypothesis Testing
• Coin Experiment – Effect Size Influence
• Coin Experiment – Sample Size Influence
• Levene’s Test for Homogeneity of Variance
• Exact p-Values for Chi-Square Tests of Association