두 Continuous Variables 사이에 어떤 관계가 있는지 가장 먼저 확인할 때 사용하는 대표적인 Graph가 Scatter Plot입니다.

예를 들어 다음 두 Variables가 있다고 가정해보겠습니다.

X

Runtime

Y

Oxygen Consumption

각 Subject의 Runtime과 Oxygen Consumption 값을 하나의 Point로 표시하면 전체 Data에서 두 Variables가 어떤 Pattern을 가지는지 시각적으로 확인할 수 있습니다.

Regression이나 Correlation을 계산하기 전에 Scatter Plot을 먼저 보는 이유도 여기에 있습니다.

숫자로 계산된 Correlation Coefficient나 Regression Slope만으로는 다음과 같은 문제를 놓칠 수 있기 때문입니다.

• Relationship이 실제로 Linear한가?
• Curvature가 존재하는가?
• Outlier가 있는가?
• 한두 개 Observation이 전체 Relationship을 만들고 있는가?
• 숨겨진 Group이 존재하는가?
• Predictor Range가 충분한가?

Scatter Plot은 두 Continuous Variables를 하나의 Coordinate System에 배치하여 Relationship의 방향·형태·강도뿐 아니라 Outlier, Trend, Range와 같은 구조적 특징을 직접 확인하는 Graph입니다.

첨부 교재에서는 Scatter Plot을 한 Variable을 다른 Variable에 대해 Plot하여 만드는 Two-Dimensional Graph라고 정의하며, 각 Point의 Coordinate가 두 Variables의 값에 해당한다고 설명합니다. 또한 Relationship 탐색, Outlier 확인, Trend 발견, X와 Y의 기본 Range 확인, 분석 결과의 Communication 등에 활용된다고 설명합니다.

Scatter Plot의 기본 구조

Scatter Plot에는 두 Axis가 있습니다.

X-axis

일반적으로 Predictor 또는 Explanatory Variable

Y-axis

일반적으로 Response Variable

입니다.

예를 들어:

X = Runtime

Y = Oxygen_Consumption

이라고 하겠습니다.

한 Subject가:

Runtime = 10

Oxygen_Consumption = 45

라면 Scatter Plot에는:

(10, 45)

라는 하나의 Point가 표시됩니다.

모든 Subjects를 같은 방식으로 표시하면 Point Cloud가 만들어집니다.

각 Point는 무엇을 의미할까?

Scatter Plot의 Point 하나는 일반적으로 하나의 Observation에서 측정된 두 Variable 값의 조합입니다.

예:

Subject	Runtime	Oxygen Consumption
A	10	45
B	12	40
C	8	55

이라면 Plot에는:

A:

(10,45)

B:

(12,40)

C:

(8,55)

가 표시됩니다.

즉 Scatter Plot은 두 Variables를 따로 보는 것이 아니라 같은 Observation에서 동시에 측정된 값의 관계를 보여줍니다.

왜 두 Continuous Variables를 같이 봐야 할까?

각 Variable의 Histogram만 보면 Distribution은 알 수 있습니다.

예를 들어:

Runtime Distribution

그리고:

Oxygen Consumption Distribution

을 각각 볼 수 있습니다.

하지만 두 Variables가 서로 어떤 관계를 가지는지는 알 수 없습니다.

Scatter Plot은 바로 이 관계를 보여줍니다.

Univariate Plot은 “각 Variable이 어떻게 분포하는가?”를 보여주고, Scatter Plot은 “두 Variables가 함께 어떻게 움직이는가?”를 보여줍니다.

첨부 교재가 Scatter Plot을 중요하게 보는 이유

교재에서는 두 Continuous Variables의 관계를 설명하는 것이 Statistical Analysis의 중요한 첫 단계라고 설명합니다.

그리고 이러한 관계를 설명하는 데 가장 중요한 Tool로 Scatter Plot을 제시합니다.

교재에서는 대표적으로 다음 네 가지 Relationship Pattern을 보여줍니다.

1. Straight-Line Relationship
2. Curved Relationship
3. Cyclical Pattern
4. No Clear Relationship

이 네 가지를 구분할 수 있어야 Regression Model을 올바르게 선택할 수 있습니다.

Scatter Plot을 볼 때 가장 먼저 확인할 것은?

보통 다음 순서가 유용합니다.

1. Direction

↓

Positive인가 Negative인가?

2. Form

↓

Linear인가 Curved인가?

3. Strength

↓

Points가 Pattern에 얼마나 밀집되어 있는가?

4. Unusual Observations

↓

Outlier 또는 고립된 Point가 있는가?

5. Range

↓

X와 Y가 어느 범위에서 관찰되었는가?

입니다.

이를 간단히:

Direction → Form → Strength → Unusual Points → Range

순서로 기억할 수 있습니다.

Positive Relationship이란 무엇인가?

X가 증가할수록 Y도 증가하는 Pattern입니다.

예:

X:

Study Hours

Y:

Test Score

라고 가정해보겠습니다.

Scatter Plot에서 왼쪽 아래에서 오른쪽 위로 Point가 배열된다면:

Positive Association

입니다.

개념적으로:

X ↑

↓

Y ↑

입니다.

Negative Relationship은?

X가 증가할수록 Y가 감소하는 Pattern입니다.

예:

X:

Runtime

Y:

Oxygen Consumption

이라고 하겠습니다.

Fitness Example에서는 Runtime과 Oxygen Consumption 사이에 강한 Negative Association이 나타납니다.

즉:

Runtime ↑

↓

Oxygen Consumption ↓

입니다.

앞선 EDA 글에서 살펴본 교재의 Pearson Correlation도 이 Relationship에서:

r = -0.86219

로 나타났습니다.

하지만 그 숫자를 해석하기 전에 Scatter Plot을 통해 Relationship이 실제로 Straight-Line Pattern인지 확인하는 것이 중요합니다.

Direction이 없는 Pattern도 있다

Point들이 특정 증가 또는 감소 방향 없이 넓게 흩어져 있을 수 있습니다.

예:

X 증가

↓

Y가 위아래로 Random하게 변화

입니다.

이 경우:

No Clear Linear Relationship

이라고 볼 수 있습니다.

하지만 여기서 중요한 주의점이 있습니다.

Linear Direction이 없다고 Relationship 자체가 없다는 뜻은 아닙니다.

Curved Relationship이 있을 수 있기 때문입니다.

Straight-Line Relationship이란?

Scatter Plot에서 Point의 중심적인 Pattern을 Straight Line으로 잘 설명할 수 있는 경우입니다.

예:

X가 1 증가할 때 Y가 평균적으로 약 2씩 증가하는 Pattern

입니다.

개념적으로:

Y ≈ a + bX

형태입니다.

이러한 Relationship은 Simple Linear Regression을 고려하기 좋은 구조입니다.

모든 Point가 직선 위에 있어야 Linear한가?

아닙니다.

실제 Data에는 Random Variation이 존재합니다.

따라서:

──────── Regression Line

주변에 Point들이 일정하게 흩어져 있어도 평균적인 Pattern이 Straight Line이라면 Linear Relationship으로 볼 수 있습니다.

중요한 것은:

모든 Observation이 직선 위에 있는가?

가 아니라:

Y의 평균적인 변화 Pattern이 X에 따라 Straight Line으로 설명 가능한가?

입니다.

Perfect Linear Relationship과 실제 Data의 Linear Relationship

Perfect

모든 Points가 하나의 Line 위에 정확히 위치

Typical Real Data

Line 주변에 Point가 Scatter

입니다.

실제 Statistical Analysis에서는 두 번째 상황이 일반적입니다.

그래서 Regression에는 Error Term이 존재합니다.

Curved Relationship은 어떻게 보일까?

예를 들어:

X가 증가할수록 Y가 처음에는 감소하다가 어느 지점부터 다시 증가한다고 하겠습니다.

Scatter Plot은:

U Shape

형태가 될 수 있습니다.

이 경우 Pearson Correlation은 0에 가까울 수도 있습니다.

왜냐하면 Left Side의 Negative Association과 Right Side의 Positive Association이 서로 상쇄될 수 있기 때문입니다.

그러나 실제로는 매우 강한 Relationship이 존재합니다.

따라서 r≈0을 “관계 없음”이라고 말하면 안 된다

Scatter Plot 없이 Correlation만 보면 다음 두 Data를 구분하기 어렵습니다.

Data A

완전한 Random Cloud

Data B

완벽한 U-shaped Pattern

둘 다 Pearson r이 0에 가까울 수 있습니다.

하지만:

Data A

↓

Relationship 없음에 가까움

Data B

↓

강한 Nonlinear Relationship

입니다.

이것이 Scatter Plot을 Correlation보다 먼저 확인해야 하는 가장 중요한 이유 가운데 하나입니다.

Curvature가 있으면 Linear Regression을 쓰면 안 될까?

단순 Linear Term 하나로는 Relationship을 충분히 설명하지 못할 수 있습니다.

가능한 접근으로는:

• Polynomial Term
• Transformation
• 다른 Model Structure

등이 있을 수 있습니다.

다만 어떤 Method가 적절한지는 Research Question과 Data Structure를 추가로 확인해야 합니다.

Scatter Plot의 역할은 먼저:

“Straight Line 하나로 설명하기 어려운 Pattern이 있다.”

는 Signal을 제공하는 것입니다.

Cyclical Pattern이란?

교재에서는 Predictor가 Time일 때 Cyclical Pattern을 볼 수 있다고 설명합니다.

예를 들어:

Month

vs.

Electricity Consumption

을 생각해볼 수 있습니다.

Summer와 Winter에는 사용량이 높고:

Spring과 Fall에는 낮다면:

Up

↓

Down

↓

Up

↓

Down

형태의 반복 Pattern이 나타날 수 있습니다.

Cyclical Pattern에 Straight Line을 Fit하면 어떤 문제가 생길까?

전체 평균 Trend만 반영하고 실제 반복 구조를 놓칠 수 있습니다.

예를 들어 장기간 평균적으로 증가 Trend가 없다고 해도 계절성이 매우 강할 수 있습니다.

따라서 Time Predictor에서는:

• Trend
• Seasonality
• Cycle

을 구분해야 할 수 있습니다.

교재의 핵심은 Scatter Plot이 이러한 Pattern을 숫자로 요약되기 전에 시각적으로 발견하게 해준다는 것입니다.

Scatter Plot에서 Strength는 어떻게 볼까?

Point들이 어떤 Pattern 주변에 얼마나 밀집되어 있는지를 확인합니다.

예를 들어 Positive Linear Pattern이 있을 때:

Strong Association

Points가 직선 주변에 매우 가깝게 모임

Weak Association

대략적인 Positive Direction은 있지만 Point가 넓게 흩어짐

입니다.

이 Strength를 숫자로 정량화하는 대표적 방법이 Pearson Correlation입니다.

하지만 눈으로 판단한 Strength와 r은 항상 같을까?

대체로 Linear Pattern에서는 연결되지만 다음 상황에서는 주의해야 합니다.

• Outlier
• Restricted Range
• Curvature
• Clustering

때문입니다.

따라서 r을 계산해도 반드시 Plot과 함께 해석해야 합니다.

Scatter Plot의 중요한 역할: Outlier 확인

첨부 교재는 Scatter Plot의 주요 용도 중 하나로 Outlying 또는 Unusual Values를 찾는 것을 명시합니다.

예를 들어 대부분의 Points가:

X = 10~20

Y = 30~60

범위인데 한 Point만:

X = 100

Y = 300

이라면 즉시 눈에 띕니다.

Outlier는 한 종류만 있는가?

아닙니다.

Scatter Plot에서 이상한 Observation은 여러 형태가 있습니다.

Y-direction Outlier

X는 일반적인 범위인데 Y가 매우 특이함

X-direction Extreme Point

X가 다른 Observation보다 매우 멀리 떨어져 있음

Bivariate Outlier

X와 Y의 조합 자체가 일반 Pattern과 크게 다름

입니다.

이 구분은 이후 Regression Diagnostics에서 중요해집니다.

Y-direction Outlier Example

대부분의 Data가:

X=5

근처에서:

Y=20~30

인데 한 Point가:

X=5

Y=200

이라고 하겠습니다.

이 Point는 Predictor X는 일반적이지만 Response Y가 매우 Extreme합니다.

Regression에서는 큰 Residual을 만들 가능성이 있습니다.

X-direction Extreme Point는?

대부분 X가:

1~10

인데 Observation 하나가:

X=100

이라고 하겠습니다.

Y Value가 Regression Pattern에 잘 맞더라도 Predictor Space에서는 매우 독특합니다.

이러한 Observation은 이후 High-Leverage Point와 연결될 수 있습니다.

High Leverage와 Outlier는 같은가?

아닙니다.

예:

X가 극단적이지만 Regression Line에 잘 맞는 Point

↓

High Leverage일 수 있으나 Residual Outlier는 아닐 수 있음

반대로:

X는 평범하지만 Y가 매우 이상함

↓

Residual Outlier일 수 있지만 Leverage는 높지 않을 수 있음

입니다.

이 차이는 이후:

Outlier와 Influential Observation의 차이

에서 더 자세히 다룹니다.

Scatter Plot에서 Outlier를 발견하면 어떻게 해야 할까?

삭제부터 하면 안 됩니다.

다음 순서가 좋습니다.

Unusual Point 발견

↓

Source Data 확인

↓

Unit 확인

↓

Coding 확인

↓

Measurement Error 확인

↓

실제 Valid Observation인가?

↓

그 후 Statistical 영향 평가

입니다.

즉:

Outlier Detection ≠ Outlier Deletion

입니다.

왜 바로 삭제하면 안 될까?

실제 Population의 중요한 극단 사례일 수 있기 때문입니다.

또 Outlier를 제거하면:

• Correlation
• Regression Slope
• p-value
• R²

가 크게 변할 수 있습니다.

특히 원하는 결과가 나오도록 Observation을 선택적으로 삭제하면 Analysis Integrity 문제가 발생합니다.

Scatter Plot은 Data Quality Tool이기도 하다

예를 들어 Weight와 Blood Pressure Scatter Plot에서 한 Point가:

Weight = 900 kg

이라면 Statistical Outlier 이전에:

Data Error 가능성

을 생각해야 합니다.

즉 Scatter Plot은 Model Relationship을 확인하는 Tool이면서 동시에 Data Cleaning Signal을 제공합니다.

Unit Error도 Scatter Plot에서 드러날 수 있다

예를 들어 대부분 Weight가 kg인데 일부 Subjects만 lb로 입력되었다고 가정하겠습니다.

해당 Points는 별도의 Cluster 또는 Extreme Range를 만들 수 있습니다.

Scatter Plot에서:

주요 Cluster

멀리 떨어진 작은 Cluster

가 보일 수 있습니다.

따라서 이상 Pattern을 무조건 Biological Phenomenon으로 해석하기 전에 Unit과 Coding을 확인해야 합니다.

Cluster가 나타나면 무엇을 생각할까?

Point들이 두 개 이상의 그룹으로 나뉘어 보일 수 있습니다.

예:

Cluster 1:

X 낮음 / Y 낮음

Cluster 2:

X 높음 / Y 높음

입니다.

이 경우 숨겨진 Categorical Variable이 있을 수 있습니다.

예:

• Gender
• Treatment Group
• Region
• Disease Type

등입니다.

전체 Correlation이 Cluster 때문에 만들어질 수도 있다

예를 들어 각 Group 내부에서는 X와 Y 관계가 거의 없다고 가정합니다.

하지만 Group A가 전체적으로 낮은 X/Y,

Group B가 높은 X/Y라면:

전체 Data에서는 강한 Positive Correlation이 나타날 수 있습니다.

즉:

Between-Group Difference

가:

Within-Group Relationship

처럼 보일 수 있습니다.

따라서 Cluster가 보이면 Group Variable을 확인해야 합니다.

반대 현상도 가능하다

각 Group 안에서는 Positive Relationship이 있지만 Group을 합치면 전체 Relationship이 약하거나 반대 방향이 될 수도 있습니다.

이러한 현상은 Simpson’s Paradox 같은 개념과 연결될 수 있습니다.

핵심은:

전체 Scatter Plot만으로 Subgroup Relationship을 자동 일반화하면 안 된다.

입니다.

Group별 Scatter Plot을 보는 것이 좋은 경우

Categorical Variable이 중요하다면:

• Group별 Symbol
• Separate Panels
• Different Lines

등으로 Pattern을 분리해서 확인할 수 있습니다.

예를 들어 Treatment Group별로 Predictor-Response Relationship이 다른지 확인하면 Interaction 가능성을 탐색할 수 있습니다.

Scatter Plot과 Interaction은 어떻게 연결될까?

예를 들어:

X = Age

Y = Outcome

Group = Treatment

이라고 하겠습니다.

Treatment Group에서는 Age와 Outcome의 Slope가:

Positive

Control에서는:

Flat

이라면:

Age Effect가 Treatment에 따라 달라질 가능성이 있습니다.

즉 Regression의:

Age × Treatment Interaction

을 고려할 Signal이 될 수 있습니다.

하지만 Graph만으로 Interaction을 확정하는 것은 아닙니다.

Model에서 Interaction Term을 Test해야 합니다.

Scatter Plot에서 Range를 확인해야 하는 이유

교재는 Scatter Plot의 주요 용도로 X와 Y의 기본 Range를 확인하는 것도 제시합니다.

예를 들어 X가:

10~20

범위에서만 관찰되었다면 Regression Result도 기본적으로 이 Range에서 가장 직접적인 Evidence를 제공합니다.

Range 밖으로 예측하면 왜 위험할까?

이를 Extrapolation 문제와 연결할 수 있습니다.

예를 들어:

Observed X:

1~10

인데 Regression Line을 이용해:

X=100

에서 Y를 예측한다고 하겠습니다.

Data가 존재하지 않는 영역에서는 Relationship이 계속 Linear하다는 보장이 없습니다.

따라서 Scatter Plot에서 Predictor Range를 확인하는 것이 중요합니다.

Interpolation과 Extrapolation의 차이

Interpolation

Observed X Range 내부에서 Prediction

Extrapolation

Observed X Range 밖에서 Prediction

입니다.

Scatter Plot은 어디까지가 실제 Data Support 영역인지 보여줍니다.

Predictor Range가 좁으면 Correlation도 작아질 수 있다

예를 들어 전체 Population에서는 Height가:

140~200cm

이지만 Sample이:

170~180cm

만 포함한다고 하겠습니다.

Height Variation이 매우 좁기 때문에 Response와의 Correlation이 약하게 나타날 수 있습니다.

즉:

Range Restriction

이 Association Estimate를 변화시킬 수 있습니다.

Scatter Plot에서 Range Restriction을 쉽게 발견할 수 있다

X축 대부분이 매우 좁은 범위에 몰려 있다면:

Sample이 Predictor의 충분한 Variation을 포함하고 있는가?

를 질문할 수 있습니다.

Correlation Value만으로는 이 구조가 잘 보이지 않을 수 있습니다.

Funnel Shape란 무엇인가?

예를 들어 X가 증가하면서 Y의 Spread가 점점 넓어지는 Pattern입니다.

개념적으로:

작은 X:

• • •

큰 X:

• •
•
• •

처럼 보일 수 있습니다.

이런 Pattern을 Funnel 또는 Fan Shape라고 부를 수 있습니다.

Funnel Shape는 무엇을 시사할까?

Response Variability가 Predictor Level에 따라 달라질 수 있다는 Signal입니다.

즉 이후 Regression에서:

Constant Variance Assumption

을 주의해야 할 수 있습니다.

정식 평가는 Regression Fit 후 Residual Plot으로 수행하는 것이 중요합니다.

Scatter Plot은 사전 Signal을 제공합니다.

Constant Variance는 왜 중요할까?

Linear Regression에서는 Error Variance가 Predictor Value에 따라 크게 달라지지 않는다는 Assumption을 사용하는 경우가 일반적입니다.

첨부 교재의 Regression Diagnostics에서도 Residual vs Predictor Plot에 뚜렷한 Trend가 없어야 하며 모든 Predictor Level에서 Constant Variance가 가정된다고 설명합니다.

따라서 Scatter Plot에서 Funnel Shape를 발견하면 나중에 Residual Diagnostics를 특히 주의 깊게 봐야 합니다.

Scatter Plot 자체와 Residual Plot은 다르다

Scatter Plot

Raw X와 Y Relationship 확인

Residual Plot

Regression Model을 Fit한 뒤 남은 Error Pattern 확인

입니다.

따라서 Scatter Plot에서 Linear해 보여도 Residual Plot에서 문제가 나타날 수 있습니다.

EDA와 Model Diagnostics를 구분해야 합니다.

Ceiling Effect란 무엇인가?

Response의 Maximum 때문에 Y가 특정 값 위로 올라가지 못하는 Pattern입니다.

예:

Test Score Maximum = 100

많은 Subjects가 100점에 몰림

입니다.

Scatter Plot에서는 위쪽 경계에 Points가 쌓이는 형태로 나타날 수 있습니다.

Floor Effect는?

반대로 Minimum Value 근처에 많은 Observation이 몰리는 현상입니다.

예:

Pain Score minimum=0

많은 Subjects가 0

입니다.

이러한 Bound가 강하면 Straight-Line Relationship이 왜곡될 수 있습니다.

Scatter Plot에서 Banded Pattern이 나타나는 경우

X나 Y가 실질적으로 Discrete한 Variable일 수 있습니다.

예:

Age:

정수

Score:

0~10

등입니다.

Point가 Horizontal 또는 Vertical Lines 위에 반복적으로 나타날 수 있습니다.

이 자체가 오류는 아닙니다.

다만 Variable이 실제로 Continuous하게 측정된 것인지 Measurement Scale을 다시 확인해야 합니다.

Numeric Variable이면 Scatter Plot을 무조건 쓰면 될까?

아닙니다.

예를 들어:

Gender:

1=Male

2=Female

처럼 Numeric Coding된 Nominal Variable은 Continuous Predictor가 아닙니다.

Scatter Plot을 만들 수는 있지만 1과 2 사이의 Distance가 Quantitative Meaning을 가지는 것은 아닙니다.

따라서 Variable Data Type이 아니라 Measurement Scale을 확인해야 합니다.

Ordinal Variable도 주의해야 한다

Disease Stage:

1

2

3

4

와 같은 Variable은 순서는 있지만 Category 간 Distance가 정확히 동일하다고 보장할 수 없습니다.

Scatter Plot으로 탐색할 수 있는 경우도 있지만 Continuous Predictor처럼 해석할지는 별도 판단이 필요합니다.

Scatter Plot에서 Trend Line을 추가하면 좋은가?

관계를 쉽게 요약하는 데 도움이 될 수 있습니다.

예:

Linear Fit Line

을 추가하면 Positive/Negative Slope를 쉽게 확인할 수 있습니다.

하지만 Trend Line이 표시된다고 Model이 Valid하다는 의미는 아닙니다.

먼저 Raw Point Pattern을 봐야 합니다.

Regression Line이 Data를 가릴 수도 있다

Strong Line을 먼저 보면 사람은 Line에 맞춰 Points를 해석하기 쉽습니다.

따라서 EDA에서는 먼저:

Point Cloud

를 보고:

• Curvature
• Outlier
• Cluster

를 확인한 뒤 Trend Line을 해석하는 것이 좋습니다.

하나의 Straight Line이 모든 Data를 대표할 수 있는지 확인해야 한다

예를 들어 Point들이 두 Cluster로 나뉘어 있는데 하나의 Regression Line을 그리면 두 Group 사이를 지나가는 Line이 생성될 수 있습니다.

이 Line은 어느 Group에도 실제로 잘 맞지 않을 수 있습니다.

따라서:

Line Fit이 가능하다

와:

Line이 Data Structure를 잘 설명한다

는 다른 문제입니다.

Scatter Plot과 Pearson Correlation의 관계

Scatter Plot에서 확인한 Linear Association을 하나의 숫자로 요약하는 것이 Pearson Correlation입니다.

즉:

Scatter Plot

↓

Shape / Direction / Outlier 확인

그 다음:

Pearson r

↓

Linear Association의 Direction과 Strength 정량화

입니다.

Correlation을 먼저 계산하고 Plot을 나중에 보면 안 될까?

계산 순서 자체가 틀렸다는 뜻은 아닙니다.

하지만 Interpretation에서는 Plot을 반드시 확인해야 합니다.

예를 들어 r=.8을 보고:

강한 Positive Relationship

이라고 결론내렸는데 Scatter Plot을 보니 Outlier 하나가 Correlation을 만든 상황일 수 있습니다.

따라서 숫자를 신뢰하기 전에 Data Pattern을 확인합니다.

Anscombe’s Quartet이 알려주는 대표적인 교훈

통계 교육에서 잘 알려진 Example 중 하나로 서로 매우 다른 Scatter Plot을 가지면서:

• Mean
• Variance
• Correlation
• Regression Line

이 거의 동일한 여러 Dataset을 만들 수 있습니다.

첨부 교재의 직접 Example은 아니지만 이 개념은 Scatter Plot을 반드시 확인해야 하는 이유를 잘 보여줍니다.

즉 Summary Statistic 하나만으로 Data Structure 전체를 표현할 수 없습니다.

Scatter Plot에서 Correlation Strength를 과도하게 시각적으로 판단하면 안 된다

Axis Scale에 따라 Point Pattern이 더 가파르거나 평평하게 보일 수 있습니다.

예를 들어 Y-axis Range를 매우 넓게 잡으면 Relationship이 약해 보일 수 있습니다.

반대로 좁게 잡으면 강하게 보일 수 있습니다.

따라서 Graph의 Axis Range를 확인해야 합니다.

Axis를 잘못 설정하면 Interpretation이 왜곡될 수 있다

예:

X-axis:

0~100

실제 Data:

95~100

이면 Point가 한쪽에 몰립니다.

반대로 Axis를:

95~100

으로 확대하면 작은 Difference가 크게 보일 수 있습니다.

따라서 Graph를 볼 때:

• Axis Minimum
• Maximum
• Scale

을 확인하는 습관이 중요합니다.

Log Scale도 주의해야 한다

Axis가 Log Scale인지 Linear Scale인지에 따라 동일한 Data가 다르게 보입니다.

예를 들어 Multiplicative Relationship은 Log Scale에서 Straight Line처럼 보일 수 있습니다.

따라서 Scatter Plot 해석에서는 Axis Transformation 여부를 확인해야 합니다.

Overplotting이란 무엇인가?

Observation 수가 많거나 같은 값이 반복되면 여러 Points가 겹쳐 실제 Data Density를 볼 수 없게 되는 현상입니다.

예를 들어 1,000 Observations가 같은 영역에 겹쳐도 Plot에서는 몇 개 Point처럼 보일 수 있습니다.

Overplotting이 있으면 무엇을 할 수 있을까?

분석 Tool에 따라:

• Transparency
• Jitter
• Smaller Points
• Hexbin/Density Plot

같은 Visualization을 고려할 수 있습니다.

다만 첨부 교재는 기본 Scatter Plot 중심으로 설명합니다.

핵심은 겹쳐 보이지 않는 Point가 실제 Observation 수와 동일하다고 가정하지 않는 것입니다.

Missing Data는 Scatter Plot에서 어떻게 처리될까?

X 또는 Y가 Missing이면 해당 Observation은 Pair Point를 만들 수 없습니다.

따라서 Scatter Plot의 N이 전체 Dataset N보다 작을 수 있습니다.

Correlation도 Pairwise Complete Data를 기준으로 계산될 수 있으므로 실제 Used N을 확인해야 합니다.

Missing Pattern이 관계를 왜곡할 수 있다

예를 들어 높은 Y를 가진 Subjects에서 X가 자주 Missing이라면 Scatter Plot에서 High-Y 영역의 Relationship이 제대로 나타나지 않을 수 있습니다.

즉 Graph에 보이지 않는 Missing Data도 중요합니다.

따라서 EDA에서는 Plot뿐 아니라 Missing Counts를 함께 확인합니다.

Duplicate Observation도 Scatter Plot에서 보일까?

완전히 같은 X,Y 값을 가진 Observation이 여러 개라면 Point가 겹칠 수 있습니다.

Scatter Plot만 보고 Duplicate를 확인하기 어려울 수 있습니다.

따라서 ID-level Duplicate Check는 별도로 필요합니다.

Scatter Plot과 Causality는 관계가 없다

아주 강한 Linear Pattern이 보인다고 해서 X가 Y를 Cause한다는 뜻은 아닙니다.

예:

Ice Cream Sales

vs.

Drowning

이 Positive Association을 가질 수 있습니다.

하지만 Temperature라는 Third Variable이 둘 모두에 영향을 줄 수 있습니다.

즉:

Visual Association

≠

Causal Effect

입니다.

이 내용은 이후:

Correlation과 Causality의 차이

에서 자세히 다룹니다.

Scatter Plot에서 매우 강한 Pattern이면 Causality Evidence가 강한가?

아닙니다.

Association Strength와 Causal Validity는 다른 문제입니다.

Confounding이 있으면 r=.99라도 Causal Conclusion이 잘못될 수 있습니다.

반대로 Randomized Experiment에서 Moderate Effect가 Causal하게 매우 중요할 수 있습니다.

Scatter Plot은 Predictive Relationship을 보여줄 뿐이다

기본적으로:

X와 Y가 어떻게 함께 변화하는가?

를 보여줍니다.

그 이유가:

• Causal
• Reverse Causal
• Confounded
• Common Cause

중 무엇인지는 Study Design과 추가 분석이 필요합니다.

SAS Enterprise Guide에서 Scatter Plot은 어떻게 생성될까?

첨부 교재의 Regression EDA에서는 Correlations Task에서 Scatter Plots를 함께 생성합니다.

Potential Predictors와 Oxygen Consumption 사이의 Pearson Correlation을 계산하면서 Pairwise Scatter Plots도 출력합니다.

이는:

숫자 Correlation

Visual Relationship

을 같이 확인하기 위한 구조입니다.

교재에서 Scatter Plot이 5개까지만 보이는 이유

Correlations Task의 기본 설정에서는 Scatter Plot 수에 제한이 있을 수 있습니다.

앞선 EDA 글에서 살펴봤듯 교재에서는 모든 Variable에 대한 Plot과 Matrix를 생성하기 위해 Generated SAS Code를 수정합니다.

즉 GUI Default만으로 충분하지 않은 경우가 있습니다.

Scatter Plot Matrix란 무엇인가?

여러 Variables의 Pairwise Scatter Plots를 Matrix 형태로 배치한 Graph입니다.

예:

Runtime

Age

Weight

Oxygen

을 사용하면 각각의 Pair Relationship을 동시에 확인할 수 있습니다.

Scatter Plot Matrix의 장점

Multiple Regression 후보 Variables가 많을 때:

• Predictor vs Response
• Predictor vs Predictor

를 한 번에 볼 수 있습니다.

예를 들어 Runtime과 Oxygen Consumption 관계뿐 아니라:

Runtime vs Performance

Age vs Performance

등도 확인할 수 있습니다.

이는 Potential Multicollinearity를 Screening하는 데 도움이 됩니다.

Matrix만 보면 충분할까?

Observation이 많거나 Graph가 작으면 세부 Outlier나 Curvature를 보기 어려울 수 있습니다.

따라서 중요한 Pair는 Individual Scatter Plot으로 확대해서 보는 것이 좋습니다.

Scatter Plot Matrix는 Overview Tool입니다.

Fitness Example에서 무엇을 먼저 볼까?

교재의 EDA 흐름을 그대로 적용하면:

Runtime vs Oxygen Consumption

강한 Negative Linear Pattern인가?

↓

확인

Performance vs Oxygen Consumption

Positive Pattern인가?

↓

확인

Age / Pulse Variables

관계가 더 약한가?

↓

확인

Unusual Points

존재하는가?

↓

확인

입니다.

그 후 Pearson Correlation을 통해 Association을 정량화합니다.

Runtime과 Oxygen Consumption Correlation

교재에서는:

r = -0.86219

로 제시합니다.

이는 강한 Negative Linear Association입니다.

하지만 좋은 Interpretation은 단순히:

r=-.86이므로 강한 상관이다.

에서 끝나지 않습니다.

다음처럼 연결합니다.

Scatter Plot

↓

Negative Direction 확인

↓

Straight-Line Pattern이 합리적인가?

↓

Outlier가 Relationship을 지배하지 않는가?

↓

그 다음:

r=-0.86219

로 Linear Association Strength를 정량화

입니다.

Scatter Plot은 Regression Predictor를 자동 선택하는 Tool이 아니다

이전 EDA 글에서 강조했듯 첨부 교재는 Bivariate Scatter Plot과 Correlation을 Predictor Inclusion/Exclusion의 기계적인 기준으로 사용하지 말라고 설명합니다.

따라서 Scatter Plot이 약해 보여도:

Predictor 삭제

라고 바로 결정하면 안 됩니다.

왜 약한 Bivariate Relationship도 중요할 수 있을까?

Multiple Regression에서는 다른 Variables를 Adjust한 후 Relationship이 달라질 수 있습니다.

또:

• Interaction
• Confounding
• Suppression

구조가 있을 수 있습니다.

따라서 Scatter Plot은 Model 후보를 이해하기 위한 탐색 도구이지 Final Model Selection Algorithm이 아닙니다.

Regression 전에 Scatter Plot을 보는 이유를 다시 정리하면

다음 위험을 미리 확인할 수 있기 때문입니다.

1. Nonlinearity

Straight-Line Model 부적절 가능

2. Outlier

Regression Estimate 영향 가능

3. High-Leverage Point

Predictor Range 극단

4. Cluster

Hidden Group 가능

5. Funnel Pattern

Variance Problem 가능

6. Restricted Range

Correlation / Slope Interpretation 제한

7. Data Error

Unit / Coding 문제 가능

입니다.

Scatter Plot 이후에는 무엇을 해야 할까?

Relationship이 Linear해 보인다면 다음 단계로:

Pearson Correlation

을 계산할 수 있습니다.

그 다음:

Simple Linear Regression

으로 이동합니다.

즉 전체 학습 흐름은:

Scatter Plot

↓

Relationship Shape 확인

↓

Pearson Correlation

↓

Direction + Linear Association Strength

↓

Simple Linear Regression

↓

Regression Equation과 Prediction

입니다.

Correlation과 Scatter Plot의 역할을 분리하면

Scatter Plot이 답하는 질문

“Relationship이 어떻게 생겼는가?”

Correlation이 답하는 질문

“Linear Association이 어느 방향으로 얼마나 강한가?”

Regression이 답하는 질문

“X를 이용해 Y의 평균적인 변화를 어떤 Equation으로 표현할 수 있는가?”

입니다.

세 개는 서로 연결되지만 동일한 분석이 아닙니다.

Scatter Plot을 해석하는 실전 체크리스트

Graph를 보면 다음 질문을 순서대로 확인하면 좋습니다.

1. 두 Variables가 Continuous인가?

Measurement Scale 확인

2. X와 Y는 무엇인가?

Predictor / Response 역할 확인

3. Direction은?

Positive / Negative / None

4. Form은?

Linear / Curved / Cyclical

5. Strength는?

Pattern 주변 Scatter 정도

6. Outlier가 있는가?

고립된 Point 확인

7. Cluster가 있는가?

숨겨진 Group 가능성

8. Range는?

Observed Support 확인

9. Funnel Pattern은?

Variance Change Signal

10. Data Quality Problem은?

Unit / Coding / Impossible Value 확인

입니다.

흔한 오해 정리

“Scatter Plot에서 오른쪽 위로 올라가면 X가 Y의 원인이다”

아닙니다.

Positive Association만 보여줍니다.

“Scatter Plot이 직선처럼 보이면 모든 Point가 Line 위에 있어야 한다”

아닙니다.

평균적인 Pattern이 Linear하면 됩니다.

“r=0이면 Scatter Plot은 볼 필요가 없다”

반대입니다.

r=0에서도 Strong Nonlinear Relationship이 있을 수 있습니다.

“Scatter Plot이 Linear하면 Regression Assumption은 모두 만족한다”

아닙니다.

Residual Normality, Constant Variance, Independence 등은 Model Fit 이후 추가로 확인해야 합니다.

“Outlier가 보이면 제거한다”

아닙니다.

Source Data와 Validity를 먼저 확인해야 합니다.

“가장 멀리 떨어진 Point가 항상 Influential Observation이다”

아닙니다.

Influence는 Regression Coefficient에 미치는 영향을 평가해야 합니다.

“X값이 극단적이면 무조건 Y Outlier다”

아닙니다.

High Leverage와 Response Outlier를 구분해야 합니다.

“Cluster가 보이면 하나의 Linear Regression을 Fit하면 된다”

숨겨진 Group이나 Interaction Structure를 확인할 필요가 있습니다.

“Scatter Plot에서 Correlation Strength를 정확히 숫자로 읽을 수 있다”

시각적으로 Pattern을 볼 수 있지만 정확한 Linear Association Strength는 Correlation Coefficient로 정량화합니다.

“Numeric Variable끼리는 모두 Scatter Plot을 해석할 수 있다”

Measurement Scale을 확인해야 합니다.

Nominal Code를 Continuous Measurement처럼 해석하면 안 됩니다.

“Observed Range 밖에서도 같은 Line이 계속된다”

보장할 수 없습니다.

Extrapolation에 주의해야 합니다.

“Strong Scatter Plot Pattern이면 Causality가 입증된다”

아닙니다.

Study Design이 필요합니다.

“Scatter Plot Matrix가 있으면 개별 Plot은 필요 없다”

중요한 Pair는 더 큰 Individual Plot으로 확인하는 것이 좋습니다.

“Plot만 보고 Predictor를 제거하면 된다”

첨부 교재는 Bivariate EDA를 Predictor Inclusion/Exclusion의 기계적 기준으로 사용하지 말라고 설명합니다.

Scatter Plot을 잘못 읽는 대표적인 Example

다음과 같은 Scatter Plot이 있다고 가정하겠습니다.

대부분의 Points:

X 1~10

Y 1~10

강한 Positive Pattern

그리고 한 Point:

X=100

Y=-100

입니다.

전체 Correlation은 크게 낮아질 수 있습니다.

이때:

“X와 Y Relationship이 약하다.”

고만 결론내리면 안 됩니다.

실제 핵심 질문은:

저 한 Point는 무엇인가?

입니다.

반대 상황도 가능하다

대부분의 Points:

Random Cloud

그런데 한 Point만:

X=100

Y=100

이라면 전체 Correlation이 Strong Positive처럼 나타날 수 있습니다.

즉 Correlation 숫자가 Outlier 하나에 의해 만들어질 수 있습니다.

따라서 Scatter Plot이 반드시 필요합니다.

Regression Line도 Outlier 때문에 크게 달라질 수 있다

Point 하나를 포함한 Regression Line:

↗ 매우 가파름

Point를 제외하면:

→ 거의 Flat

일 수 있습니다.

이 경우 해당 Observation은 Influential할 가능성이 있습니다.

EDA에서 이러한 후보를 먼저 식별해두면 Regression Diagnostics 단계에서 더 체계적으로 평가할 수 있습니다.

Scatter Plot에서 Relationship이 약해 보여도 분석 가치가 있을 수 있다

Business나 Clinical Context에서 매우 작은 Effect도 중요할 수 있습니다.

또 Sample Size가 작아 Point Cloud가 넓게 보일 수도 있습니다.

따라서 Visual Strength만으로 Practical Importance를 판단해서는 안 됩니다.

Scatter Plot에서 매우 강한 Relationship도 연구적으로 불필요할 수 있다

예를 들어 같은 Construct를 사실상 중복 측정한 Variables끼리 Strong Relationship이 있을 수 있습니다.

Prediction에서는 유용할 수 있지만 Scientific Question에서는 새로운 Information이 아닐 수도 있습니다.

따라서 Graph는 Domain Context와 함께 해석해야 합니다.

Scatter Plot은 좋은 Communication Tool이기도 하다

첨부 교재는 Scatter Plot을 Data Analysis Result Communication에도 유용하다고 설명합니다.

Correlation Table에서:

r=-.86

만 보여주는 것보다 실제 Point Cloud를 함께 보여주면:

• Direction
• Spread
• Outlier
• Range

를 독자가 직접 확인할 수 있습니다.

즉 Transparency가 높아집니다.

하지만 좋은 Graph는 Label이 명확해야 한다

적어도 다음이 필요합니다.

• X-axis Variable Name
• Y-axis Variable Name
• Unit
• 의미 있는 Title

예:

Runtime (minutes)

vs.

Oxygen Consumption (ml/kg/min)

처럼 Unit가 있어야 실제 Effect를 이해하기 쉽습니다.

Axis Label을 생략하면 어떤 문제가 생길까?

Slope가 2라고 해도 Unit를 모르면 의미가 없습니다.

예:

2 kg per year

인지:

2 mmHg per mg

인지 전혀 다릅니다.

Scatter Plot도 Statistical Context를 전달해야 합니다.

Data Transformation 후 Scatter Plot은 다시 확인해야 한다

예를 들어:

log(X)

또는:

log(Y)

Transformation을 적용했다면 원래 Scatter Plot과 Relationship Shape가 달라질 수 있습니다.

따라서 Model에서 사용하는 Scale에 맞는 Plot을 확인하는 것이 좋습니다.

Transformation의 목적은 Line을 “예쁘게” 만드는 것이 아니다

Transformation은:

• Relationship Linearization
• Variance Stabilization
• Interpretation

등의 Statistical 목적에 따라 수행해야 합니다.

단순히 Correlation을 높이기 위해 Transformation을 반복해서 선택하면 Data-driven Overfitting 위험이 있습니다.

Scatter Plot에서 판단하지 못하는 것

Scatter Plot은 강력하지만 모든 것을 알려주지는 않습니다.

다음은 직접 알려주지 않습니다.

• Population Slope의 Statistical Significance
• Confidence Interval
• Adjusted Association
• Causal Effect
• Multivariable Relationship
• Residual Assumption 전체

따라서 EDA 이후 Formal Model이 필요합니다.

Scatter Plot의 전체 분석 구조

다음 흐름으로 생각하면 좋습니다.

두 Continuous Variables 선택

↓

X / Y 역할 확인

↓

Scatter Plot 생성

↓

Direction

Positive / Negative / None

↓

Form

Linear / Curved / Cyclical

↓

Strength

Pattern 밀집도

↓

Unusual Observations

Outlier / Extreme X

↓

Range

Observed X/Y Support

↓

Additional Pattern

Cluster / Funnel / Floor / Ceiling

↓

Data Quality 확인

↓

필요하면 Group별 Plot

↓

Pearson Correlation

↓

Linear Association 정량화

↓

Regression Model

↓

Residual Diagnostics

입니다.

첨부 교재의 핵심 구조와 연결하면

교재는 Scatter Plot을:

두 Variables의 Coordinate를 이용한 Two-Dimensional Graph

로 설명합니다.

그리고 다음 다섯 가지 용도를 제시합니다.

• 두 Variables Relationship 탐색
• Outlying 또는 Unusual Value 발견
• Possible Trend 확인
• X와 Y의 기본 Range 확인
• Data Analysis Result Communication

또 Continuous Variables의 관계를 분석할 때 대표적인 Pattern으로:

Straight Line

Curvature

Cyclical Pattern

No Clear Relationship

을 제시합니다.

이 구분이 중요한 이유는 Linear Regression이 Straight-Line Relationship을 중심으로 Model을 만들기 때문입니다.

따라서 Scatter Plot은 단순히 Regression Result를 꾸미는 Graph가 아니라 Regression Model을 Fit하기 전에 그 Model Structure가 Data에 적절한지 검토하는 첫 번째 도구입니다.

핵심 정리

Scatter Plot은 두 Continuous Variables 사이의 관계를 가장 직접적으로 확인할 수 있는 Graph입니다.

첨부 교재는 Scatter Plot을 하나의 Variable을 다른 Variable에 대해 Plot하는 Two-Dimensional Graph로 정의하며, 각 Point의 Coordinates가 두 Variables의 실제 값에 해당한다고 설명합니다.

Scatter Plot을 볼 때 가장 중요한 것은 단순히:

“올라간다.”

또는:

“내려간다.”

를 보는 것이 아닙니다.

다음 구조를 함께 확인해야 합니다.

Direction

↓

Positive / Negative

Form

↓

Linear / Curved / Cyclical

Strength

↓

Point들이 Pattern 주변에 얼마나 모이는가?

Unusual Observations

↓

Outlier / Extreme Predictor

Range

↓

실제 Data가 존재하는 X/Y 범위

입니다.

첨부 교재도 Continuous Variables의 관계를 설명할 때 Scatter Plot을 가장 중요한 Tool로 제시하며 다음 네 가지 Possible Relationship을 구분합니다.

1. Straight-Line Relationship
2. Curvature
3. Cyclical Pattern
4. No Clear Relationship

이 구분이 중요한 가장 큰 이유는 Pearson Correlation과 Linear Regression이 Linear Relationship을 중심으로 하기 때문입니다.

예를 들어 U-shaped Relationship은 매우 강한 Pattern을 가질 수 있지만 Positive와 Negative Direction이 서로 상쇄되면서 Pearson Correlation이 0에 가까워질 수 있습니다.

따라서:

r≈0

을:

Relationship 없음

으로 자동 해석하면 안 됩니다.

반대로 r이 매우 커도 Outlier 하나가 Relationship을 만들고 있을 수 있습니다.

따라서 올바른 순서는:

Scatter Plot

↓

Relationship Shape 확인

↓

Outlier 확인

↓

Range 확인

↓

그 다음:

Pearson Correlation

입니다.

Scatter Plot은 Regression Diagnostics의 사전 단계이기도 합니다.

예를 들어:

Curvature

↓

Linear Model 부적절 가능

Funnel Shape

↓

Constant Variance 문제 가능

Extreme X

↓

High Leverage 가능

Unusual Y

↓

Residual Outlier 가능

Cluster

↓

숨겨진 Group 또는 Interaction 가능

을 미리 발견할 수 있습니다.

하지만 Scatter Plot만으로 모든 문제를 확정할 수는 없습니다.

Regression을 Fit한 뒤에는 Residual Plot과 Influence Diagnostics를 이용해 정식으로 평가해야 합니다.

즉 전체 흐름은:

Raw Data

↓

Scatter Plot

↓

Relationship 이해

↓

Correlation

↓

Linear Association 정량화

↓

Regression

↓

Equation과 Prediction

↓

Regression Diagnostics

입니다.

Scatter Plot의 핵심은 두 변수의 관계를 단순히 눈으로 확인하는 것이 아니라, Correlation이나 Regression이라는 하나의 숫자와 하나의 직선으로 Data를 요약하기 전에 그 요약이 실제 Data Structure를 왜곡하지 않는지 확인하는 것입니다.

함께 읽으면 좋은 글

• Pearson Correlation의 구조: 상관계수의 크기와 방향이 의미하는 것
• Correlation과 Causality의 차이: 높은 상관관계가 인과관계를 의미하지 않는 이유
• Simple Linear Regression의 구조: 하나의 Predictor로 Response를 설명하는 원리
• Exploratory Data Analysis의 역할: 회귀분석 전에 변수 관계를 점검해야 하는 이유
• Outlier와 Influential Observation의 차이: 극단값과 영향력 있는 관측값을 구분하는 방법

참고한 자료

• SAS Enterprise Guide: ANOVA, Regression, and Logistic Regression Course Notes
• Chapter 4 Regression
• Exploratory Data Analysis
• Scatter Plots
• Relationships between Continuous Variables
• Correlation
• Fitness Data Exploration
• Scatter Plot Matrix
• Chapter 5 Regression Diagnostics