KL Divergence 공식에 log가 들어가는 이유와 의미

KL Divergence 공식에 log(로그)가 들어가는 결정적인 이유는 한마디로 "비율(배수) 차이를 사람이 이해하기 편한 '더하기/빼기' 지표로 바꾸고, 희귀할수록 더 큰 점수를 주기 위해서"입니다.

1. 로그가 들어가는 첫 번째 이유: "곱하기를 더하기로 바꾸기"

확률을 계산할 때는 사건이 연속으로 일어날 때 곱하기를 사용합니다.

• 동전을 10번 던져 모두 앞면이 나올 확률 = 0.5 × 0.5 × ... = (0.5)¹⁰

하지만 인공지능이 계산을 할 때 숫자가 계속 곱해지면 0.000000001처럼 너무 작은 수가 되어 컴퓨터가 계산 불능 상태에 빠집니다.

이때 log를 씌워주면 마법 같은 일이 일어납니다.

log(A × B) = log(A) + log(B)

👉 곱셈을 모두 '더하기'나 '빼기'로 바꿔줍니다.

즉, KL Divergence에서 log(P / Q) = log(P) - log(Q) 형태로 계산하는 이유는 "진짜 확률 P와 내 생각 Q의 차이를 곱셈/나눗셈 비율이 아닌, 단순한 '차이(빼기)'로 쉽게 계산하기 위함"입니다.

2. 로그가 들어가는 두 번째 이유: "정보량(충격의 크기) 측정"

log(1 / 확률)은 정보이론에서 '놀람의 크기(정보량)'를 뜻합니다.

• 매일 일어나는 일 (확률 99%): "오늘도 해가 떴네?" → 놀라움 0 (정보 가치 낮음)
• 희귀한 일 (확률 0.1%): "오늘 로또 1등 당첨됐어!" → 충격과 놀라움 엄청남 (정보 가치 높음)

KL Divergence 공식 속 로그는 바로 "내가 생각한 확률 Q로 접했을 때 느끼는 '놀람이나 충격(손실)의 크기'"를 측정해 줍니다.

• 친구가 팥 붕어빵을 좋아할 확률이 90%인데, 내가 10%라고 잘못 알고 사다 주면?
• 친구 입장에서는 엄청나게 황당하고 놀라운 일(손실 발생)이 됩니다.
• 로그는 이 황당함의 크기를 숫자로 뻥튀기해서 인공지능에게 "너 지금 크게 틀렸어!" 하고 강하게 알려주는 역할을 합니다.

3줄 요약

KL Divergence 공식의 log는 복잡한 확률의 비율 나눗셈을 알기 쉬운 '차이(빼기)'로 바꾸고, 틀렸을 때 발생하는 황당함(오차)의 크기를 제대로 측정하기 위해 들어간 안전장치이자 측정기입니다.