오차, 잔차, 편차의 차이: 통계에서 헷갈리는 세 가지

통계를 공부하거나 데이터를 분석하다 보면 꼭 한 번쯤은 마주치는 세 가지 개념이 있다.

바로 "오차(error)", "잔차(residual)", 그리고 "편차(deviation)".

이 셋은 모두 어떤 형태로든 "차이"를 뜻하지만, 각각의 의미는 조금씩 다르다.

특히 회귀분석이나 통계 추론을 배우다 보면 이 개념들을 명확히 구분하지 않으면 헷갈리기 쉽다.

오늘은 이 세 가지 개념을 한 번에 정리해보고, 여기에 "모집단(population)"과 "표본집단(sample)" 개념도 같이 짚어보자.

---

1. 편차 (Deviation): 평균에서 얼마나 떨어져 있을까?

"편차"는 어떤 값이 전체 평균에서 얼마나 벗어나 있는지를 나타내는 값이다.

예를 들어, 한 반의 수학 점수가 아래와 같다고 해보자.

80, 85, 90, 95, 100

이 다섯 명의 평균은 90점이고, 각각의 편차는 다음과 같다.

• 80 → -10
• 85 → -5
• 90 → 0
• 95 → +5
• 100 → +10

이처럼 편차는 데이터를 설명하는 기본적인 단위다. 편차들을 제곱해서 평균낸 값이 "분산(variance)", 분산의 제곱근이 바로 "표준편차(standard deviation)"다.

편차 = 개별 값 - 평균

---

2. 오차 (Error): 진짜값과 추정값의 차이

"오차"는 우리가 알고 싶은 진짜값(참값)과 실제로 계산한 추정값 사이의 차이다. 여기서 말하는 "참값"은 "모집단의 실제값"을 의미한다.

예를 들어, 대한민국 성인 남성의 평균 키가 실제로는 174.5cm인데, 우리가 조사한 표본에서 평균 173.2cm가 나왔다고 하자. 이때 오차는

174.5 - 173.2 = 1.3cm

즉, 오차는 "진짜는 이런데 우리가 다르게 알고 있다"는 뜻이다.

오차 = 모집단의 실제값 - 표본의 추정값

오차는 눈에 보이지 않는다. 왜냐하면 모집단의 참값은 실제로 알 수 없는 경우가 대부분이기 때문이다.

---

3. 잔차 (Residual): 모델의 예측과 실제 관측값의 차이

"잔차"는 회귀분석에서 등장하는 개념으로, 예측한 값과 실제 관측된 값 사이의 차이다. 여기서 "관측값"은 표본 데이터의 실제 값이고, 예측값은 모델이 추정한 값이다.

예를 들어, 아래와 같은 회귀식을 생각해보자.

예측 점수 = 10 + 2 × 공부시간

어떤 학생이 3시간 공부해서 실제 점수는 20점이었다면, 예측 점수는 10 + 2×3 = 16점. 이때 잔차는

잔차 = 20 - 16 = +4

즉, 잔차는 "모델이 틀린 정도"를 보여주는 지표다.

잔차 = 관측값 - 예측값

4. 시각적으로 살펴보자

아래 그림은 오차, 잔차, 편차의 차이를 한 눈에 볼 수 있도록 구성한 선형 회귀 예시다.

 

• 녹색 점선: 모집단의 실제 회귀선 (우리가 모르는 참값)
• 파란색 실선: 모델이 학습한 예측 회귀선 (추정값)
• 검은 점: 표본에서 실제로 관측된 데이터
• 빨간 점선: 잔차 (관측값 - 예측값)
• 회색 점선: 편차 (관측값 - 표본 평균)

 

5. "모집단"과 "표본집단"의 의미

• "모집단(Population)": 우리가 궁극적으로 알고 싶은 전체 집단
• "표본집단(Sample)": 모집단에서 실제로 조사한 일부

우리는 현실적으로 모집단 전체를 조사할 수 없기 때문에, 표본을 통해 "모집단의 특성"을 추정한다. 이때 필연적으로 발생하는 불확실성이 바로 오차다.

6. 오차 vs 잔차: 헷갈리지 말자!

오차	모집단의 실제값 vs 추정값	모집단과 표본 사이	"진짜는 이건데 우리가 다르게 계산함"
잔차	관측값 vs 예측값	표본 내부의 모델 수준	"모델이 개별 데이터를 잘 못 맞춤"
편차	개별 값 vs 평균	표본 내부의 평균 기준	"평균에서 얼마나 떨어져 있는가"

 

---

마무리

"편차", "오차", "잔차"는 모두 '차이'를 다루는 개념이지만,
**무엇과 무엇의 차이인가?**라는 관점에서 보면 훨씬 명확해진다.