두 Continuous Variables 사이의 관계를 하나의 숫자로 요약하고 싶을 때 가장 널리 사용하는 Statistic 가운데 하나가 Pearson Correlation Coefficient입니다.

예를 들어 다음과 같은 질문을 생각할 수 있습니다.

• Runtime이 길수록 Oxygen Consumption은 낮아지는가?
• Performance가 높을수록 Oxygen Consumption도 높아지는가?
• Weight와 Fitness Measure는 어떤 방향의 관계를 가지는가?
• Predictor Variables끼리 너무 강하게 관련되어 있지는 않은가?

Scatter Plot을 보면 두 Variables가 어떤 Pattern을 보이는지 시각적으로 확인할 수 있습니다.

하지만 여러 Variable Pair를 비교하려면 하나의 숫자로 Relationship의 방향과 Linear Association의 강도를 요약하는 것도 유용합니다.

이때 사용하는 대표적인 Measure가 Pearson Correlation입니다.

Pearson Correlation Coefficient는 두 Continuous Variables 사이의 Linear Association이 어느 방향으로 얼마나 강하게 나타나는지를 -1부터 +1 사이의 값으로 표현하는 Statistic입니다.

첨부 교재에서는 Correlation Statistics가 두 Variables 사이의 Linear Association 정도를 측정하며 Continuous Variables에 흔히 사용하는 Statistic으로 Pearson Correlation Coefficient를 제시합니다. 값은 -1과 +1 사이에 존재하고, 양의 값은 Positive Linear Association, 음의 값은 Negative Linear Association을 의미한다고 설명합니다.

Pearson Correlation에서 가장 먼저 기억해야 할 것

Pearson Correlation은 단순한 “관계의 크기”가 아닙니다.

두 가지 정보를 동시에 제공합니다.

첫 번째

Direction

즉 Positive인지 Negative인지

두 번째

Strength of Linear Association

즉 Straight-Line Relationship이 얼마나 강한지

입니다.

따라서 Correlation Coefficient를 읽을 때는:

부호

↓

Direction

그리고:

절댓값

↓

Linear Association Strength

로 나누어 생각하면 이해하기 쉽습니다.

Pearson Correlation의 기호

Sample에서 계산한 Pearson Correlation은 일반적으로:

r

로 표시합니다.

Population의 Correlation Parameter는:

ρ

즉 Greek Letter rho로 표시합니다.

따라서:

r

↓

Sample Statistic

ρ

↓

Population Parameter

입니다.

이 구조는 이전에 배운 Parameter와 Statistic의 차이와 동일합니다.

Pearson r의 범위

Pearson Correlation Coefficient는:

-1 ≤ r ≤ 1

범위를 가집니다.

첨부 교재도 Pearson Correlation 값이 -1과 1 사이에 존재한다고 설명합니다.

따라서:

r = 2

r = -1.5

같은 값은 Pearson Correlation으로 나올 수 없습니다.

r=+1은 무엇을 의미할까?

Perfect Positive Linear Relationship

입니다.

즉 모든 Observation이 하나의 Positive-Slope Straight Line 위에 정확히 위치합니다.

예를 들어:

X가 1 증가할 때 Y가 정확히 2 증가한다고 가정해보겠습니다.

X:

1, 2, 3, 4

Y:

2, 4, 6, 8

이라면 Perfect Positive Linear Relationship입니다.

r=-1은?

Perfect Negative Linear Relationship

입니다.

X가 증가할수록 Y가 정확한 Straight Line을 따라 감소합니다.

예:

X:

1, 2, 3, 4

Y:

8, 6, 4, 2

입니다.

이 경우:

r = -1

입니다.

r=0은?

Linear Association이 없다는 의미입니다.

이 표현이 매우 중요합니다.

다음처럼 말하면 안 됩니다.

“두 Variables 사이에 아무 관계도 없다.”

Pearson Correlation은 Linear Relationship만 측정하기 때문입니다.

첨부 교재도 Pearson Correlation이 0에 가깝다고 해서 두 Variables 사이에 어떠한 종류의 Relationship도 없다는 뜻은 아니다라고 명확하게 설명합니다. Curvilinear Relationship이 존재해도 Pearson r은 낮을 수 있습니다.

Correlation에서 Linear라는 단어가 왜 중요한가?

Pearson Correlation은 Point들이 얼마나 Straight-Line Pattern에 가깝게 배열되는지를 측정합니다.

따라서 다음과 같은 Pattern에서는 문제가 생깁니다.

U-shaped

또는:

Inverted U-shaped

Relationship입니다.

이런 Data는 매우 규칙적인 Relationship을 가지고 있어도 Positive와 Negative Direction이 서로 상쇄되어 r이 0에 가까워질 수 있습니다.

예를 들어 U-shaped Relationship

다음 값을 생각해보겠습니다.

X:

-2, -1, 0, 1, 2

Y:

4, 1, 0, 1, 4

X와 Y 사이에는 명백한 Relationship이 있습니다.

Y = X²

같은 Curve입니다.

하지만 Straight-Line Association은 약합니다.

따라서 Pearson r은 0에 가까워질 수 있습니다.

즉:

r≈0

↓

No strong linear relationship

이지:

No relationship

이 아닙니다.

첨부 교재도 이 오류를 직접 다룬다

교재는 낮은 Pearson Correlation을 가진 Scatter Plot Example을 제시한 뒤 왜 r이 낮은지 질문합니다.

그리고 다음을 설명합니다.

• Pearson Correlation은 Linear Relationship을 측정한다.
• r이 0에 가까우면 Strong Linear Relationship이 없다는 뜻이다.
• r이 0에 가깝다고 모든 Relationship이 없다는 뜻은 아니다.
• Example에는 Curvilinear Relationship이 존재한다.

즉 Scatter Plot을 함께 봐야 하는 이유입니다.

Positive Correlation의 의미

r > 0

이면 Positive Linear Association입니다.

즉 X가 높은 Observation에서는 Y도 높은 경향이 있습니다.

개념적으로:

X ↑

↓

Y ↑

입니다.

예:

Height

와:

Weight

에서 Positive Association이 나타날 수 있습니다.

Negative Correlation의 의미

r < 0

이면 Negative Linear Association입니다.

즉:

X ↑

↓

Y ↓

경향입니다.

첨부 교재의 Fitness Example에서:

Runtime

과:

Oxygen Consumption

의 Correlation이:

r = -0.86219

입니다.

즉 Runtime이 길어질수록 Oxygen Consumption은 낮아지는 강한 Negative Linear Pattern입니다.

부호가 Strength를 의미할까?

아닙니다.

예를 들어:

r = -0.9

와:

r = +0.9

는 Direction은 반대지만 Linear Association의 Strength는 동일합니다.

즉:

|r| = 0.9

입니다.

따라서 Strength는 절댓값을 기준으로 봅니다.

r=-0.8이 r=+0.3보다 약한가?

아닙니다.

절댓값을 비교하면:

|-0.8| = 0.8

|0.3| = 0.3

입니다.

따라서 -0.8이 훨씬 강한 Linear Association입니다.

Negative Sign은 약하다는 뜻이 아니라 Direction을 나타냅니다.

Correlation의 절댓값이 커진다는 의미

첨부 교재에서는 Pearson Correlation이:

• -1 또는 +1에 가까울수록 높은 Degree of Linear Association
• 0에 가까울수록 Linear Association이 약함

이라고 설명합니다.

즉:

|r| → 1

↓

Strong Linear Association

|r| → 0

↓

Weak Linear Association

입니다.

“0.3은 약함, 0.5는 중간, 0.7은 강함”처럼 외워도 될까?

분야별로 관행적인 기준이 존재할 수 있지만 Universal Rule로 사용하는 것은 조심해야 합니다.

왜냐하면 Practical Meaning은 Domain에 따라 다르기 때문입니다.

예를 들어:

r=.3

이 어떤 분야에서는 중요한 Association일 수 있고,

다른 분야에서는 매우 약한 값일 수 있습니다.

따라서 숫자의 절대 Cutoff보다:

• 연구 Context
• Measurement Reliability
• Sample
• Practical Relevance

를 함께 봐야 합니다.

Correlation이 0.8이면 Y를 80% 설명한다는 뜻일까?

아닙니다.

r=.8을 “80% 설명한다”고 해석하면 안 됩니다.

Simple Linear Regression Context에서는:

r²

가 Explained Variation과 연결됩니다.

예:

r=.8

↓

r²=.64

입니다.

즉 단순 두 Variable Linear Relationship에서는 약 64%의 Variation과 연결될 수 있습니다.

하지만 Pearson r 자체 0.8을 80%로 해석하지는 않습니다.

r²는 Correlation과 어떻게 연결될까?

Simple Linear Regression에서 Predictor가 하나일 때:

R² = r²

관계가 성립합니다.

예를 들어:

r=-0.862

이면:

r²≈0.743

입니다.

즉 Strong Negative Relationship이더라도 Squaring하면 Positive Explained Variance Measure가 됩니다.

따라서 R²에는 Direction 정보가 없습니다.

이 내용은 이후 Simple Linear Regression에서 더 자세히 다룹니다.

Pearson Correlation Formula의 핵심 원리

Pearson r은 두 Variables가 각각 자신의 Mean에서 얼마나 벗어났는지를 함께 비교합니다.

개념적으로:

X가 Mean보다 높을 때 Y도 Mean보다 높은가?

또는:

X가 Mean보다 높을 때 Y는 Mean보다 낮은가?

를 모든 Observations에서 종합합니다.

Covariance와 연결된다

Pearson Correlation은 기본적으로 Standardized Covariance입니다.

개념적으로:

r = Cov(X,Y) / (SDₓ × SDᵧ)

입니다.

즉 Covariance를 두 Variables의 Standard Deviations로 나누어 Unit을 제거합니다.

이 때문에 r은 -1과 +1 사이의 Unitless Statistic이 됩니다.

Covariance가 Positive한 경우

Observation에서:

X > X̄

일 때:

Y > Ȳ

가 자주 나타나고,

X < X̄

일 때:

Y < Ȳ

가 자주 나타나면:

Covariance가 Positive합니다.

따라서 r도 Positive가 됩니다.

Covariance가 Negative한 경우

X가 Mean보다 높을 때 Y가 Mean보다 낮고,

X가 Mean보다 낮을 때 Y가 Mean보다 높은 Pattern이 반복되면:

Covariance가 Negative입니다.

따라서 r도 Negative가 됩니다.

왜 Standardization이 필요할까?

Covariance는 Measurement Unit에 영향을 받습니다.

예를 들어 Height를:

cm

로 측정했을 때와:

m

로 측정했을 때 Covariance 값은 달라집니다.

하지만 Correlation은 SD로 Standardize하기 때문에 Unit 변경의 영향을 받지 않습니다.

즉:

cm → m

로 Scale이 바뀌어도 Pearson r은 동일합니다.

Correlation은 Unit가 없다

예를 들어:

Weight는 kg

Oxygen Consumption은 ml/kg/min

이라고 해도 Pearson r 자체에는 Unit가 없습니다.

두 Standardized Variables의 Linear Co-movement를 측정하기 때문입니다.

따라서 서로 다른 Measurement Scale의 Variable Pair도 Correlation Strength를 비교할 수 있습니다.

Linear Transformation에는 어떻게 반응할까?

X를:

kg

에서:

g

으로 바꾸는 것처럼 Positive Constant를 곱해도 r은 변하지 않습니다.

또 일정한 Constant를 더해도 r은 변하지 않습니다.

예:

Celsius

→

Fahrenheit

같은 Positive Linear Transformation에서도 Correlation Direction과 Strength는 유지됩니다.

다만 Negative Constant를 곱하면 Direction Sign은 반전될 수 있습니다.

Fitness Example을 자세히 보자

첨부 교재에서는 Response:

Oxygen_Consumption

과 여러 Potential Predictors의 Pearson Correlation을 계산합니다.

N은:

31

입니다.

결과는 다음과 같습니다.

RunTime

r = -0.86219

p < .0001

Performance

r = 0.77890

p < .0001

Rest_Pulse

r = -0.39935

p = .0260

Run_Pulse

r = -0.39808

p = .0266

Age

r = -0.31162

p = .0879

Maximum_Pulse

r = -0.23677

p = .1997

Weight

r = -0.16289

p = .3813

가장 강한 Association은?

절댓값을 보면:

Runtime

|r|=.86219

가 가장 큽니다.

두 번째는:

Performance

|r|=.77890

입니다.

교재도 Runtime과 Oxygen Consumption Correlation이 -0.86219이며 두 번째로 큰 절댓값의 Correlation은 Performance 0.77890이라고 설명합니다.

Runtime의 Negative Sign은 무엇을 의미할까?

Runtime이 증가할수록 Oxygen Consumption은 낮아지는 경향입니다.

즉:

Longer Runtime

↓

Lower Oxygen Consumption

입니다.

Fitness Context에서 더 좋은 Performance를 보이는 사람은 같은 Distance를 더 짧은 시간에 뛰기 때문에 이러한 Negative Direction이 자연스럽게 나타날 수 있습니다.

하지만 이것은 Association Interpretation이지 Causality를 의미하는 것은 아닙니다.

Performance는 왜 Positive일까?

Performance가 높을수록 Oxygen Consumption도 높은 방향입니다.

즉:

Performance ↑

↓

Oxygen Consumption ↑

입니다.

Correlation:

r=.77890

으로 Strong Positive Linear Association을 보입니다.

p-value는 r과 다른 정보를 준다

예를 들어:

r=-0.862

은 Association의 Direction과 Strength를 나타냅니다.

p<.0001

은 Population Correlation:

ρ=0

이라는 Null Hypothesis에 대한 Statistical Evidence를 나타냅니다.

두 숫자는 역할이 다릅니다.

SAS Output의 H₀는 무엇인가?

첨부 교재 Output에는:

Prob > |r| under H0: Rho=0

또는 한국어 Output에서:

H0: Rho=0 가정하에서 Prob > |r|

가 표시됩니다.

즉 Hypothesis는:

H₀: ρ = 0

입니다.

Alternative는 Two-Sided Test에서:

H₁: ρ ≠ 0

입니다.

p<.0001이면 무엇을 의미할까?

Runtime Example에서는 Population Linear Correlation이 0이라는 H₀와 Data가 매우 강하게 충돌합니다.

따라서:

Reject H₀

입니다.

즉 Population에서 Runtime과 Oxygen Consumption 사이에 Nonzero Linear Association이 있다는 Statistical Evidence가 있습니다.

“ρ가 0일 확률이 .01% 미만이다”라고 말하면 안 된다

p-value는 H₀ 자체의 Probability가 아닙니다.

즉:

P(H₀|Data)

가 아닙니다.

H₀가 참이라고 가정했을 때 현재 Sample r 또는 그보다 더 Extreme한 |r|이 나타날 Probability와 연결됩니다.

앞서 p-value 글에서 배운 Conditional Probability Direction이 그대로 적용됩니다.

p>.05이면 Correlation이 0이라는 뜻일까?

아닙니다.

예를 들어 Weight와 Oxygen Consumption은:

r=-0.16289

p=.3813

입니다.

이는:

Population Correlation이 0과 다르다고 결론낼 충분한 Statistical Evidence가 없다.

는 의미입니다.

다음과 같이 말하면 안 됩니다.

“Weight와 Oxygen Consumption은 완전히 무관하다.”

특히 Nonlinear Relationship 가능성도 Scatter Plot으로 확인해야 합니다.

작은 r인데 p<.05가 될 수 있을까?

가능합니다.

Sample Size가 매우 크면 작은 Correlation도 Statistical하게 Significant할 수 있습니다.

예를 들어:

r=.10

이라도 n이 수천 명이라면 p<.05가 될 수 있습니다.

따라서:

p-value 작음

≠

Correlation 강함

입니다.

반대로 큰 r인데 p>.05가 될 수 있을까?

Sample Size가 매우 작으면 가능합니다.

예를 들어:

r=.70

이어도 n이 5라면 Uncertainty가 매우 클 수 있습니다.

따라서 Effect Magnitude와 Statistical Significance를 분리해야 합니다.

Pearson r을 Report할 때 N도 중요한 이유

Correlation은 Sample Size에 따라 Precision이 달라집니다.

따라서:

r = .50

만 보고하는 것보다:

r=.50, n=30

처럼 N을 함께 확인하는 것이 좋습니다.

SAS Output에서도:

Pearson Correlation Coefficients, N=31

이라고 표시합니다.

Missing Data가 있으면 N이 달라질 수 있다

두 Variables 중 하나라도 Missing이면 해당 Pair의 Correlation 계산에 사용되지 않을 수 있습니다.

따라서 여러 Correlations을 비교할 때 Pair마다 Effective N이 동일한지 확인해야 합니다.

예:

X1-Y:

N=100

X2-Y:

N=60

이면 단순 r 크기 비교뿐 아니라 Missing Pattern도 확인해야 합니다.

Correlation Matrix란 무엇인가?

여러 Variables의 모든 Pairwise Pearson Correlations을 Matrix 형태로 표시한 것입니다.

예를 들어:

Runtime

Age

Weight

Performance

가 있다면 각각의 Pair Correlation을 동시에 볼 수 있습니다.

첨부 교재에서는 Regression 준비 단계에서 Potential Predictors끼리 Correlation Matrix를 확인하는 것이 Good Practice라고 설명합니다.

왜 Predictor끼리의 Correlation이 중요할까?

Multiple Regression에서 Predictor들이 서로 강하게 관련되어 있으면 각 Predictor의 Unique Effect를 구분하기 어려워질 수 있기 때문입니다.

즉 Multicollinearity Risk가 있습니다.

Fitness Predictor Correlation Example

첨부 교재에서는 다음과 같은 강한 Correlations을 제시합니다.

Run_Pulse vs Maximum_Pulse

r = 0.92975

p < .0001

Runtime vs Performance

r = -0.82049

p < .0001

Age vs Performance

r = -0.71257

p < .0001

교재도 특히 Run_Pulse와 Maximum_Pulse, 그리고 Runtime과 Performance 사이 Strong Correlation을 명시적으로 지적합니다.

Predictor끼리 r=.93이면 하나를 반드시 삭제해야 할까?

자동으로 그렇게 하면 안 됩니다.

High Pairwise Correlation은 Potential Multicollinearity Signal입니다.

하지만 다음을 추가로 고려해야 합니다.

• Scientific Role
• Measurement Meaning
• VIF
• Model Purpose
• Prediction vs Explanation

입니다.

즉 Correlation Matrix는 Screening Tool입니다.

Pairwise Correlation이 낮으면 Multicollinearity가 없다는 뜻일까?

아닙니다.

한 Predictor가 여러 다른 Predictors의 Linear Combination으로 잘 설명될 수도 있습니다.

즉 Pairwise r이 모두 Moderate하더라도 Multivariate Collinearity가 존재할 수 있습니다.

그래서 이후 VIF 같은 Regression Diagnostics를 사용합니다.

Pearson Correlation과 Regression Slope는 같은가?

아닙니다.

둘 다 Linear Relationship을 다루지만 역할이 다릅니다.

Pearson r

Standardized Association

Unit 없음

Regression Slope β₁

X가 1 Unit 변할 때 Y Mean이 얼마나 변하는가

Original Units 포함

입니다.

예:

r=-.86

은 Standardized Linear Association을 나타냅니다.

반면 Regression Slope:

-2.5 ml/kg/min per minute

는 실제 Unit의 Effect를 표현합니다.

r은 X와 Y를 바꾸어도 동일하다

Correlation은 Symmetric합니다.

즉:

Corr(X,Y)

=

Corr(Y,X)

입니다.

Runtime과 Oxygen Consumption의 Correlation은 X/Y Axis를 바꿔도:

r=-.86219

로 같습니다.

Regression은 Symmetric하지 않다

반면 Regression에서는:

Y on X

와:

X on Y

가 다른 Model입니다.

왜냐하면 Predictor와 Response의 역할이 구분되기 때문입니다.

따라서:

Correlation

↓

Symmetric Association

Regression

↓

Directional Modeling

입니다.

Pearson Correlation은 Prediction Equation을 제공할까?

아닙니다.

r=-.86이라는 값으로는 X가 1 증가할 때 Y가 몇 Unit 변화하는지 직접 알 수 없습니다.

Prediction Equation을 만들려면 Regression이 필요합니다.

즉:

Correlation

↓

Association summary

Regression

↓

Equation + prediction

입니다.

Pearson Correlation은 Causality를 알려줄까?

아닙니다.

이 부분은 다음 글의 핵심 주제입니다.

예를 들어 Runtime과 Oxygen Consumption이 강하게 Correlated되어 있어도:

Runtime을 인위적으로 늘리면 Oxygen Consumption이 떨어진다.

라고 결론낼 수 없습니다.

둘 모두 underlying Fitness Level의 결과일 수 있습니다.

즉:

Correlation

≠

Causation

입니다.

Reverse Causation도 가능하다

X와 Y가 Correlated되어 있을 때:

X → Y

인지:

Y → X

인지 Correlation 자체는 알려주지 않습니다.

왜냐하면 Corr(X,Y)=Corr(Y,X)이기 때문입니다.

따라서 Directional Causal Question에는 Study Design과 Temporal Ordering이 필요합니다.

Third Variable Problem

X와 Y가 Strongly Correlated되어 있어도 제3의 Variable Z가 둘 모두에 영향을 줄 수 있습니다.

예:

Ice Cream Sales

와:

Swimming Accidents

가 Positive Correlation을 보일 수 있습니다.

그 이유는:

Temperature

가 둘 모두를 증가시키기 때문일 수 있습니다.

즉 Correlation은 Confounding을 자동으로 통제하지 않습니다.

Pearson Correlation은 Outlier에 민감하다

Correlation Formula에는 Mean과 Standard Deviation이 사용됩니다.

따라서 Extreme Observation의 영향을 받을 수 있습니다.

특히 Scatter Plot에서 멀리 떨어진 Point 하나가 r을 크게 변화시킬 수 있습니다.

그래서 Pearson Correlation은 Scatter Plot과 함께 확인해야 합니다.

Outlier가 Correlation을 인위적으로 크게 만들 수 있다

대부분의 Points가 Random Cloud인데:

한 Observation이:

X 매우 큼

Y 매우 큼

이면 Positive Correlation이 크게 증가할 수 있습니다.

이 경우 r만 보면 Strong Relationship처럼 보일 수 있습니다.

하지만 실제 Relationship은 한 Point에 의해 만들어진 것일 수 있습니다.

반대로 진짜 Linear Relationship을 약화시킬 수도 있다

대부분 Points가 Strong Positive Line을 이루는데 한 Point가:

X 매우 큼

Y 매우 낮음

이라면 r이 크게 낮아질 수 있습니다.

따라서:

Correlation Coefficient

만으로 Relationship Validity를 판단하면 안 됩니다.

Range Restriction도 r에 영향을 준다

전체 Population에서는 X가 넓은 Range를 가지지만 Sample에서는 좁은 Range만 포함할 수 있습니다.

예:

Population Age:

20~80

Sample:

20~30

이면 Age Variation이 작아집니다.

이 경우 Age와 Y 사이 Correlation이 Population보다 작게 나타날 수 있습니다.

즉 r은 Sample의 Observed Range에도 영향을 받습니다.

Heterogeneous Groups도 Correlation을 왜곡할 수 있다

두 Subgroups를 합치면 Group Difference 때문에 Strong Correlation이 생길 수 있습니다.

예:

Group A:

X 낮음, Y 낮음

Group B:

X 높음, Y 높음

각 Group 내부에서는 관계가 없어도 전체에서는 Positive r이 나타날 수 있습니다.

따라서 Scatter Plot에서 Cluster가 보이면 Group Structure를 확인해야 합니다.

Simpson’s Paradox와 연결될 수도 있다

전체 Data에서는 Positive Correlation이지만 Group별로 보면 Negative Correlation이 나타날 수도 있습니다.

이런 현상은 Aggregation이 Relationship Direction을 바꿀 수 있다는 것을 보여줍니다.

따라서 전체 r 하나만으로 모든 Subgroup에 동일한 Relationship이 있다고 가정하면 안 됩니다.

Pearson Correlation의 주요 Assumption을 어떻게 이해할까?

첨부 교재에서 가장 직접적으로 강조하는 부분은 Pearson Correlation이 Linear Relationship을 측정한다는 것입니다.

따라서 가장 먼저 확인해야 하는 것은:

Linearity

입니다.

또 Practical Analysis에서는 다음을 함께 확인하는 것이 중요합니다.

• Continuous Variables
• Extreme Outlier
• Pairwise Structure
• Meaningful Range

입니다.

모든 Data가 Normal해야 Correlation을 계산할 수 있을까?

Pearson r 자체는 Data에서 계산할 수 있습니다.

다만 Population Correlation에 대한 Hypothesis Test나 CI의 정확한 Inference에서는 Distributional Assumptions가 중요해질 수 있습니다.

첨부 교재의 핵심 교육 포인트는 Scatter Plot과 Linear Relationship 확인에 있습니다.

따라서 Source가 직접 강조하지 않는 Assumption을 과도하게 추가하여 “Normality가 아니면 Pearson을 사용할 수 없다”고 단정하면 안 됩니다.

Nonlinear Data에서 Pearson 대신 무엇을 써야 할까?

먼저 Relationship Shape를 이해해야 합니다.

단순히 Pearson 대신 다른 Correlation Statistic으로 바꾸는 것이 항상 해결책은 아닙니다.

예를 들어 U-shaped Relationship은 Rank Correlation에서도 충분히 표현되지 않을 수 있습니다.

따라서:

Scatter Plot

↓

Relationship Type 확인

↓

그 Relationship에 맞는 Model 선택

이 더 중요합니다.

Spearman Correlation과 무엇이 다를까?

Pearson은 Linear Association을 중심으로 합니다.

Spearman은 Rank를 이용해 Monotonic Relationship을 평가하는 대표적인 Measure입니다.

하지만 첨부 교재의 해당 Section은 Pearson Correlation을 중심으로 설명합니다.

따라서 이 글에서는 Pearson의 구조에 집중합니다.

핵심은:

Pearson r이 낮다고 자동으로 다른 Correlation Statistic을 선택하는 것이 아니라 Scatter Plot에서 Relationship Shape를 먼저 이해해야 한다.

입니다.

Monotonic Relationship이란?

X가 증가할수록 Y가 계속 증가하거나 계속 감소하지만 반드시 Straight Line일 필요는 없는 Relationship입니다.

예:

X가 증가하면서 Y도 증가하지만 점점 증가 폭이 줄어드는 Curve

입니다.

이런 경우 Pearson과 Spearman이 서로 다른 Association Strength를 보일 수 있습니다.

다만 Method Selection은 연구 목적에 따라 결정해야 합니다.

Pearson r의 크기는 Practical Importance를 의미할까?

반드시 그렇지 않습니다.

예를 들어 Medical Research에서 r=.20이 작아 보여도 중요한 Biological Signal일 수 있습니다.

반대로 r=.90이라도 사실상 같은 Construct를 두 번 측정한 것이라면 새로운 Scientific Information은 제한적일 수 있습니다.

따라서 Strength와 Importance는 다릅니다.

Statistical Significance와 Practical Significance는 Correlation에도 적용된다

예:

r=.08

p<.001

이라면:

Population Correlation이 0이 아니라는 Evidence는 강할 수 있습니다.

하지만 Linear Association Magnitude는 매우 작습니다.

따라서:

“매우 강한 상관관계가 있다.”

라고 해석하면 안 됩니다.

p-value가 매우 작다고 r이 강한 것은 아니다

이전 글에서 배운 원리가 그대로 적용됩니다.

p-value

↓

Sample Size와 Estimate Precision 영향

r

↓

Association Magnitude

입니다.

따라서 좋은 Correlation Report는:

r + p-value + N + Scatter Plot

을 함께 봅니다.

Confidence Interval도 중요하다

Sample r은 Population ρ의 Point Estimate입니다.

따라서 Confidence Interval을 이용하면 Population Correlation의 가능한 Range와 Precision을 평가할 수 있습니다.

예:

r=.50

95% CI:

.05~.75

라면 Estimate Uncertainty가 큽니다.

반면:

r=.50

95% CI:

.45~.55

라면 훨씬 정밀합니다.

p-value만으로는 이러한 Precision 차이가 잘 보이지 않습니다.

Correlation Coefficient를 비교할 때 주의해야 한다

예를 들어:

r₁=.60

r₂=.40

이라고 해서 두 Population Correlations이 Statistical하게 서로 다르다고 자동으로 말할 수 없습니다.

각 r의 Sampling Variability를 고려한 별도의 Comparison이 필요합니다.

즉 숫자 크기가 다르다는 것과 Statistical Difference는 다른 문제입니다.

Subgroup Correlations도 마찬가지다

Male:

r=.60, p=.01

Female:

r=.30, p=.20

이라고 해서:

Male에서 Correlation이 Female보다 Significant하게 더 크다.

고 말할 수 없습니다.

“한쪽 Significant, 다른 쪽 Non-Significant”는 두 Effects가 서로 다르다는 증거가 아닙니다.

앞서 Interaction Effect에서 배운 원리와 같습니다.

r의 Difference를 검정하려면?

Population Correlations의 Difference를 직접 평가하는 별도 방법이 필요합니다.

첨부 교재는 이 Topic을 직접 다루지 않습니다.

따라서 이 글에서는:

p-value를 Subgroup 간 비교 도구로 사용하지 않는다.

는 원칙만 기억하면 충분합니다.

Pearson Correlation Matrix에서 Diagonal이 1인 이유

Variable을 자기 자신과 Correlate하면:

r=1

입니다.

따라서 Correlation Matrix의 Diagonal은 모두:

1.00000

입니다.

첨부 교재의 Predictor Correlation Matrix에서도 각 Variable 자신의 값은 1.00000으로 표시됩니다.

Matrix가 대칭인 이유

Corr(X,Y)

=

Corr(Y,X)

이기 때문입니다.

따라서 Matrix에서:

Runtime vs Performance

와:

Performance vs Runtime

은 같은 값:

-0.82049

입니다.

이 때문에 한쪽 Triangle만 확인해도 모든 Pair 정보를 알 수 있습니다.

Correlation Matrix에서 p-value도 함께 나온다

첨부 교재 Output에는 Correlation Coefficient 아래에 해당 H₀:ρ=0 Test의 p-value가 함께 표시됩니다.

예:

Runtime vs Performance:

r=-.82049

p<.0001

입니다.

따라서 하나의 Cell에서:

Effect Magnitude

Statistical Significance

를 함께 볼 수 있습니다.

하지만 p-value가 많은 Matrix에서는 Multiple Testing도 생각해야 한다

Predictor가 20개라면 Pairwise Correlations 수가 매우 많아집니다.

각 Cell의 p<.05만 보고 Interesting Pair를 선택하면 우연한 Significant Result가 포함될 수 있습니다.

첨부 교재는 해당 Section에서 Multiplicity Adjustment를 직접 다루지는 않지만, 앞선 ANOVA Multiple Comparison 원칙과 동일하게 많은 Exploratory Tests를 Confirmatory Evidence처럼 해석하지 않는 것이 중요합니다.

Correlation Matrix의 목적을 명확히 하자

Regression 준비 단계에서는 Matrix의 Primary Purpose가:

• Strong Predictor Relationships 발견
• Redundancy Screening
• Potential Collinearity 확인

입니다.

즉 p<.05 Pair를 최대한 많이 찾는 것이 아닙니다.

EDA에서 Pearson r을 Predictor Selection에 바로 사용하면 안 된다

첨부 교재는 Scatter Plot과 Correlation 분석이 몇몇 Variables를 좋은 Predictor Candidate처럼 보이게 할 수 있지만, 이러한 Bivariate Result를 Predictor Inclusion/Exclusion의 기계적인 기준으로 사용하지 말라고 설명합니다.

왜냐하면 Multiple Regression에서는 다른 Variables를 Adjust한 Relationship이 중요하기 때문입니다.

Bivariate Correlation과 Partial Effect는 다르다

X와 Y Correlation은 다른 Variables를 고려하지 않은 Association입니다.

Regression Coefficient는 다른 Predictors를 포함한 Model에서 X의 Adjusted Effect를 나타낼 수 있습니다.

따라서:

Corr(X,Y)

와:

βX in multiple regression

은 다른 질문입니다.

Suppression Effect도 가능하다

어떤 Predictor가 Response와 단순 Correlation은 약하지만 다른 Predictor를 Adjust하면 Strong Effect를 보일 수 있습니다.

이런 경우 Bivariate r만 보고 Variable을 제거하면 중요한 Predictor를 놓칠 수 있습니다.

따라서 EDA와 Final Model Selection을 분리해야 합니다.

Predictor끼리 Strong Correlation이 있으면 Regression Coefficient는 어떻게 될까?

두 Predictors가 거의 같은 Information을 제공하면 각 Predictor의 Unique Contribution을 분리하기 어려워집니다.

그 결과:

• Coefficient SE 증가
• Estimate 불안정
• Sign 변화
• p-value 변화

가 발생할 수 있습니다.

이것이 Multicollinearity 문제입니다.

Fitness Example의 Run_Pulse와 Maximum_Pulse

Correlation:

r=.92975

입니다.

이는 매우 강한 Positive Linear Association입니다.

즉 두 Variables가 Fitness Subjects에서 비슷한 Physiological Information을 제공할 가능성을 생각해볼 수 있습니다.

하지만 실제 Model에서 둘 중 무엇을 사용할지는 Domain Knowledge와 Diagnostics가 필요합니다.

Runtime과 Performance

r=-.82049

입니다.

즉 Runtime이 길수록 Performance Score는 낮아지는 Strong Negative Relationship입니다.

만약 둘 다 Oxygen Consumption Model에 포함하면 서로 중복되는 Predictive Information이 있는지 확인해야 합니다.

Age와 Performance

r=-.71257

입니다.

역시 상당한 Negative Relationship입니다.

즉 Multiple Regression은 단순 Predictor-Response Pair들의 집합이 아니라 Predictor Network 전체 구조를 고려해야 합니다.

Correlation은 Measurement Error의 영향을 받을까?

그렇습니다.

Measurement Error가 많으면 Observed Linear Association이 약해질 수 있습니다.

즉 실제 Underlying Relationship이 강해도 Measurement Reliability가 낮으면 r이 작게 나타날 수 있습니다.

따라서 Correlation Magnitude는 Data Quality와 Measurement Precision의 영향을 받습니다.

Restricted Variability도 같은 문제다

X나 Y가 거의 같은 값을 가지면 Correlation을 안정적으로 추정하기 어렵습니다.

예:

모든 Subject Weight가 70±0.1kg

이라면 Weight와 다른 Variable의 Linear Association을 평가할 Information이 거의 없습니다.

즉 충분한 Variable Variability가 필요합니다.

한 Variable의 SD가 0이면?

모든 Observation 값이 동일하면 Pearson Correlation을 정의할 수 없습니다.

왜냐하면 Formula 분모에 SD가 들어가고:

SD=0

이 되기 때문입니다.

따라서 Data Quality Check에서 Variable Variation을 먼저 확인하는 것도 중요합니다.

Pearson r은 Duplicate Observation의 영향을 받을까?

같은 Record가 반복되면 특정 Pattern에 불필요한 Weight를 줄 수 있습니다.

즉 Correlation 값과 p-value가 왜곡될 수 있습니다.

따라서 Subject-level Data에서 Duplicate를 확인해야 합니다.

특히 p-value는 Effective N 증가로 더 작아질 수도 있습니다.

Repeated Measures Data에서 단순 Pearson r을 사용하면?

같은 Subject의 여러 Observations를 독립 Sample처럼 사용하면 Independence 문제와 Effective Sample Size 문제가 발생할 수 있습니다.

예:

한 Patient에서 10 Visits

×

100 Patients

=

1,000 Rows

를 모두 독립 Observation처럼 Pearson Correlation에 넣으면 실제 Independent Information은 1,000보다 적을 수 있습니다.

이 경우 Study Design에 맞는 분석 방법을 고려해야 합니다.

Correlation 계산이 된다고 Valid한 것은 아니다

SAS는 Numeric Variables가 있으면 Pearson Correlation을 계산할 수 있습니다.

하지만 Analyst는 다음을 확인해야 합니다.

• Variable 의미
• Measurement Scale
• Repeated Structure
• Outlier
• Linearity
• Missing
• Data Range

입니다.

Software가 r을 계산해준다는 사실은 그 r이 Research Question에 적절한 Statistic이라는 것을 보장하지 않습니다.

SAS Enterprise Guide에서 Pearson Correlation을 계산하는 구조

첨부 교재에서는 Fitness Dataset에서 Correlations Task를 사용합니다.

Potential Predictor Variables를 Analysis Variables에 지정하고:

Oxygen_Consumption

을 Correlate With Variable로 설정합니다.

그리고 Scatter Plot도 함께 생성합니다.

왜 Correlation과 Scatter Plot을 동시에 출력할까?

둘이 서로 보완하기 때문입니다.

r

↓

Linear Association Summary

Scatter Plot

↓

Relationship Shape와 Outlier

입니다.

교재는 Correlation Result와 Scatter Plot Analysis를 함께 사용하여 여러 Variables가 Oxygen Consumption Predictor Candidate가 될 수 있음을 탐색합니다.

절댓값 순으로 정렬하는 기능

교재에서는 Correlation Coefficients를:

절대값이 감소하는 순서

로 표시하도록 설정합니다.

이렇게 하면 Response와 Strong Linear Association을 가진 Variables를 빠르게 확인할 수 있습니다.

하지만 이는 탐색 편의를 위한 Ranking입니다.

Final Predictor Importance Ranking이 아닙니다.

SAS Output을 읽는 순서

Pearson Correlation Output은 다음처럼 읽으면 좋습니다.

1. Variables 확인

실제 관심 Pair인가?

2. N 확인

몇 개 Observations가 사용되었는가?

3. r 확인

Direction과 Strength는?

4. Scatter Plot 확인

Linear Shape인가?

5. Outlier 확인

r을 지배하는 Observation이 있는가?

6. p-value 확인

H₀:ρ=0에 대한 Evidence는?

7. Practical Meaning 확인

Association이 실제 중요한가?

입니다.

좋은 Correlation Interpretation Example

Runtime과 Oxygen Consumption Result를 예로 들면:

Runtime과 Oxygen Consumption 사이에는 강한 Negative Linear Association이 관찰되었으며, Pearson correlation coefficient는 r=-0.86219였다. H₀:ρ=0에 대한 p-value는 <.0001이었다.

정도로 표현할 수 있습니다.

그리고 Scatter Plot에서 Linear Pattern과 Outlier 여부를 함께 확인하는 것이 좋습니다.

피해야 할 표현

다음은 주의해야 합니다.

Runtime이 Oxygen Consumption을 감소시킨다.

Correlation만으로는 Causality를 말할 수 없습니다.

또:

두 Variable은 86% 관련되어 있다.

r=.86을 Percent Relationship로 해석하면 안 됩니다.

또:

p<.0001이므로 Correlation이 매우 크다.

p-value와 r Magnitude를 혼동한 표현입니다.

Correlation Coefficient를 보고 “설명력”이라는 말을 쓸 때 주의

Pearson r 자체는 Linear Association의 Standardized Measure입니다.

Simple Linear Regression에서는 r²가 R²와 연결되지만 Correlation Study 자체에서 r을 “설명력”이라고 부르면 Causal 또는 Model-based Meaning으로 오해될 수 있습니다.

따라서:

Association Strength

라는 표현이 더 안전합니다.

r=-.86과 r=.86의 r²는 같다

둘 다:

r²≈.74

입니다.

즉 Direction은 다르지만 Simple Linear Model에서 Explained Variation Magnitude는 같습니다.

그래서 R²만 보면 Positive/Negative Direction을 알 수 없습니다.

Regression Slope나 r Sign을 확인해야 합니다.

Pearson Correlation과 Standardization의 관계

두 Variables를 각각 Z-score로 변환한다고 가정하겠습니다.

Zx = (X-X̄)/SDx

Zy = (Y-Ȳ)/SDy

입니다.

Pearson r은 이 Standardized Values가 함께 움직이는 정도와 직접 연결됩니다.

따라서 Variable Units가 달라도 공통 Scale에서 Association을 평가할 수 있습니다.

r의 부호는 Coordinate Pattern을 반영한다

다음처럼 생각하면 쉽습니다.

Positive Correlation

대부분 Points가:

왼쪽 아래

↗

오른쪽 위

Negative Correlation

왼쪽 위

↘

오른쪽 아래

입니다.

따라서 Correlation Coefficient는 Scatter Plot의 Overall Slope Direction을 숫자로 표현한다고 생각할 수 있습니다.

그러나 r은 Regression Slope의 크기를 의미하지 않는다

예를 들어 두 Data에서 모두:

r=.8

일 수 있지만:

Data A

Slope = 1

Data B

Slope = 100

일 수 있습니다.

Variable SD와 Unit가 다르기 때문입니다.

따라서 r은 Standardized Association이고 Slope는 Original Unit Effect입니다.

Correlation이 Scale-Free인 장점

Runtime과 Oxygen Consumption,

Age와 Performance,

Weight와 Pulse

처럼 Unit가 서로 다른 Variable Pairs의 Linear Association Strength를 하나의 공통 Scale -1~1에서 비교할 수 있습니다.

이것이 Pearson r의 큰 장점입니다.

하지만 Scale-Free라서 Practical Unit를 잃는다

r=.7만으로는:

X가 1 Unit 증가할 때 Y가 얼마나 변하는지 알 수 없습니다.

따라서 실제 Prediction이나 Effect Interpretation에는 Regression Coefficient가 더 유용할 수 있습니다.

즉 Standardization에는 장점과 한계가 모두 있습니다.

Correlation과 Scatter Plot 중 어느 것이 더 중요한가?

둘 중 하나를 선택하는 것이 아니라 함께 사용해야 합니다.

Scatter Plot 없이 r만 보면:

• Curvature
• Cluster
• Outlier
• Restricted Range

를 놓칠 수 있습니다.

r 없이 Plot만 보면 Linear Association Strength를 정확하게 정량화하기 어렵습니다.

따라서:

Visual + Numeric

Approach가 좋습니다.

흔한 오해 정리

“Pearson r은 두 Variables 사이 모든 종류의 Relationship을 측정한다”

아닙니다.

Linear Association을 측정합니다.

“r=0이면 아무 Relationship도 없다”

아닙니다.

Curvilinear Relationship이 존재할 수 있습니다.

“r=-.9는 r=.5보다 약하다”

아닙니다.

절댓값을 비교해야 합니다.

“Negative Correlation은 나쁜 Correlation이다”

아닙니다.

Direction만 Negative입니다.

“r=.8이면 80%를 설명한다”

아닙니다.

Simple Linear Regression Context에서는 r²=.64가 R²와 연결됩니다.

“p<.001이면 매우 강한 Correlation이다”

아닙니다.

p-value는 Statistical Evidence이고 r이 Association Magnitude입니다.

“p>.05이면 Variables가 완전히 무관하다”

아닙니다.

ρ=0을 Reject할 Evidence가 부족하다는 의미입니다.

“Correlation이 높으면 X가 Y의 원인이다”

아닙니다.

Correlation은 Causality를 의미하지 않습니다.

“Correlation은 X와 Y 중 무엇을 Predictor로 두느냐에 따라 달라진다”

아닙니다.

Corr(X,Y)=Corr(Y,X)입니다.

“Regression도 X와 Y를 바꿔도 같다”

아닙니다.

Regression은 Predictor와 Response 역할이 구분됩니다.

“Strong Correlation Predictor를 모두 Regression에 넣으면 좋다”

아닙니다.

Predictors끼리 강하게 Correlated되어 있으면 Multicollinearity 문제가 생길 수 있습니다.

“Pairwise Correlation이 낮으면 Multicollinearity는 없다”

아닙니다.

Multiple Predictors의 Linear Combination으로 Collinearity가 발생할 수 있습니다.

“Outlier는 r에 큰 영향을 주지 않는다”

아닙니다.

Pearson Correlation은 Extreme Observation에 민감할 수 있습니다.

“Correlation Matrix에서 p<.05인 Pair만 보면 된다”

아닙니다.

Regression EDA에서는 Relationship Structure와 Predictor Redundancy를 이해하는 것이 더 중요합니다.

“Numeric Variable이면 모두 Pearson Correlation을 계산하면 된다”

아닙니다.

Measurement Scale과 Statistical Role을 확인해야 합니다.

“Repeated Measures Rows를 모두 Independent하게 Correlate해도 된다”

Study Design에 따라 Independence 문제가 생길 수 있습니다.

“r 값만 있으면 Scatter Plot은 필요 없다”

첨부 교재는 Pearson Correlation이 Linear Relationship만 측정하기 때문에 Scatter Plot에서 Curvilinear Pattern을 반드시 확인해야 한다는 Example을 직접 제시합니다.

Pearson Correlation의 전체 구조

전체 분석 흐름을 정리하면 다음과 같습니다.

두 Continuous Variables 선택

↓

각 Variable Distribution 확인

↓

Scatter Plot

↓

Linear Shape인가?

↓

Outlier 있는가?

↓

Range 충분한가?

↓

Pearson Correlation 계산

↓

r Sign

Positive

X ↑ → Y ↑

Negative

X ↑ → Y ↓

↓

|r|

↓

Linear Association Strength

↓

H₀: ρ=0

↓

p-value

↓

Statistical Evidence 평가

↓

필요하면 Correlation Matrix

↓

Predictor끼리 Strong Association 확인

↓

Potential Multicollinearity Screening

↓

Regression Model

입니다.

Fitness Example의 전체 Correlation 구조

Response:

Oxygen_Consumption

입니다.

Pearson Correlations은 다음과 같습니다.

Runtime

r=-.86219

p<.0001

↓

가장 강한 Negative Linear Association

Performance

r=.77890

p<.0001

↓

Strong Positive Linear Association

Rest_Pulse

r=-.39935

p=.0260

Run_Pulse

r=-.39808

p=.0266

Age

r=-.31162

p=.0879

Maximum_Pulse

r=-.23677

p=.1997

Weight

r=-.16289

p=.3813

입니다.

이 Result만으로 Predictor를 Final Selection하는 것이 아니라 Scatter Plot을 함께 보고 Relationship Shape를 확인합니다.

그 다음 Predictor Correlation Matrix에서는:

Run_Pulse vs Maximum_Pulse

r=.92975

Runtime vs Performance

r=-.82049

Age vs Performance

r=-.71257

같은 Strong Predictor Relationships가 확인됩니다.

따라서 Multiple Regression으로 넘어갈 때 Predictor Redundancy와 Multicollinearity를 주의해야 합니다.

Pearson r을 제대로 읽는 가장 간단한 방법

다음 네 질문을 순서대로 보면 됩니다.

1. 부호는 무엇인가?

Positive / Negative

2. 절댓값은 어느 정도인가?

Linear Association Strength

3. Scatter Plot Shape는 어떤가?

정말 Linear한가?

4. p-value와 N은?

Population Correlation에 대한 Statistical Evidence와 Precision은?

입니다.

다음 글과 어떻게 연결될까?

Pearson Correlation을 이해하면 자연스럽게 다음 질문이 생깁니다.

Correlation이 매우 높으면 X가 Y의 원인이라고 말할 수 있을까?

답은 아닙니다.

Correlation은:

Association

을 측정합니다.

하지만 Causality에는:

• Temporal Order
• Confounding
• Randomization
• Study Design

이 필요합니다.

따라서 다음 글에서는:

Correlation과 Causality의 차이: 높은 상관관계가 인과관계를 의미하지 않는 이유

를 다룹니다.

그 다음에는 Correlation을 넘어:

X를 이용해 Y를 어떤 Equation으로 설명하고 Predict할 수 있는가?

라는 질문으로 이동합니다.

이것이 Simple Linear Regression입니다.

핵심 정리

Pearson Correlation Coefficient는 두 Continuous Variables 사이의 Linear Association의 방향과 강도를 나타내는 Statistic입니다.

첨부 교재는 Pearson Correlation을 Continuous Variables에서 흔히 사용하는 Correlation Statistic으로 소개하며 다음과 같이 설명합니다.

-1 ≤ r ≤ 1

그리고:

r > 0

↓

Positive Linear Association

r < 0

↓

Negative Linear Association

r ≈ 0

↓

Strong Linear Association 없음

|r| → 1

↓

Strong Linear Association

입니다.

하지만 가장 중요한 주의점은 Pearson Correlation이 Linear Relationship만 측정한다는 것입니다.

첨부 교재는 낮은 Pearson r을 가진 Curvilinear Scatter Plot Example을 통해:

r이 0에 가깝다고 모든 종류의 Relationship이 없다는 뜻은 아니다.

라고 명확하게 설명합니다.

따라서 Pearson Correlation을 해석하기 전에 반드시 Scatter Plot을 확인해야 합니다.

Fitness Example에서는 Oxygen Consumption과 Runtime의 Pearson Correlation이:

r=-0.86219

p<.0001

로 나타납니다.

이는 강한 Negative Linear Association입니다.

두 번째로 큰 절댓값의 Correlation은 Performance:

r=.77890

p<.0001

입니다.

하지만 여기서:

r

과:

p-value

를 구분해야 합니다.

r

↓

Association Direction + Magnitude

p-value

↓

H₀:ρ=0에 대한 Statistical Evidence

입니다.

따라서:

p<.0001

이라고 해서 Correlation이 반드시 크다는 뜻은 아니며:

r=.8

이라고 해서 80%를 설명한다는 뜻도 아닙니다.

또 Correlation은 Causality를 의미하지 않습니다.

마지막으로 Multiple Regression을 준비할 때는 Response와 Predictor Correlation뿐 아니라 Predictor들끼리의 Correlation도 확인해야 합니다.

첨부 교재의 Predictor Matrix에서는:

Run_Pulse vs Maximum_Pulse

r=.92975

그리고:

Runtime vs Performance

r=-.82049

처럼 매우 강한 Predictor Correlations가 나타납니다.

이는 향후 Multicollinearity를 확인해야 할 Signal입니다.

따라서 Pearson Correlation을 해석하는 전체 순서는 다음과 같습니다.

Scatter Plot

↓

Relationship Shape 확인

↓

Pearson r

↓

Direction + Linear Association Strength

↓

p-value

↓

ρ=0에 대한 Evidence

↓

Predictor Correlation Matrix

↓

Potential Collinearity Screening

↓

Regression

Pearson Correlation의 핵심은 두 변수가 “관련이 있는가?”를 막연하게 측정하는 것이 아니라, 두 연속형 변수가 Straight-Line Pattern으로 함께 움직이는 정도를 -1과 +1 사이의 숫자로 표준화하여 표현하는 것입니다.

함께 읽으면 좋은 글

• Correlation과 Causality의 차이: 높은 상관관계가 인과관계를 의미하지 않는 이유
• Simple Linear Regression의 구조: 하나의 Predictor로 Response를 설명하는 원리
• Scatter Plot의 해석 원리: 두 연속형 변수의 관계와 이상 패턴을 확인하는 방법
• Exploratory Data Analysis의 역할: 회귀분석 전에 변수 관계를 점검해야 하는 이유
• Multicollinearity의 원리: 설명변수 간 높은 상관이 회귀계수를 불안정하게 만드는 이유

참고한 자료

• SAS Enterprise Guide: ANOVA, Regression, and Logistic Regression Course Notes
• Chapter 4 Regression
• Exploratory Data Analysis
• Pearson Correlation Coefficient
• Missing Another Type of Relationship
• Fitness Correlation Example
• Pearson Correlation Matrix
• Correlations Task
• Scatter Plot and Correlation Analysis