소프트맥스 함수와 확률단체¶

(1) 문턱을 먼저 계산한다. 배정도 부동소수점이 담을 수 있는 가장 큰 유한수는

이므로 \(e^z\)가 넘치지 않을 조건은 \(z \le \log(1.7977 \times 10^{308}) = 709.7827\)이다. 곧 \(z = 709\)까지는 \(e^{709} = 8.2184 \times 10^{307}\)로 멀쩡하고, \(z = 710\)에서 inf가 된다. 문턱은 \(709.78\)이다.

넘치면 무슨 값이 나오는가. \(\mathbf{z} = (710, 0, -710)\)을 소박한 식에 넣으면 분자가 \(e^{710} = \infty\), 분모도 \(\infty + 1 + 0 = \infty\)이므로 첫 성분이 $\infty/\infty = $ nan이다. 둘째 성분은 \(1/\infty = 0\), 셋째도 \(0\)이다. 그래서 \((\texttt{nan}, 0, 0)\)이 나온다. 확률벡터이기를 그치는 것은 물론이고 합조차 nan이다.

참값은 무엇인가. 성질 4로 \(\mathbf{z}\)에서 \(\max_c z_c = 710\)을 빼면 \((0, -710, -1420)\)이고

이다. \(e^{-710} = 4.4763 \times 10^{-309}\)이고 \(e^{-1420} \approx 10^{-617}\)이므로 분모는 \(1\)과 \(10^{-309}\) 차이밖에 없다. 배정도의 기계 입실론이 \(2.2 \times 10^{-16}\)이니 분모는 정확히 \(1.0\)으로 반올림된다. 따라서 바르게 반올림된 답은

이다. 셋째 성분의 참값 \(e^{-1420}\)은 배정도의 최소 양수 \(4.9407 \times 10^{-324}\)보다도 작아 \(0\)이 가장 가까운 표현 가능한 수다.

(2) 수치적으로.

import numpy as np

def softmax(z):
    """수치적으로 안정한 소프트맥스.

    가장 큰 값을 빼고 나서 exp 를 씌운다. 지수가 커지면 exp 가 넘쳐
    inf 가 되는데, 모든 항에서 같은 값을 빼면 분자와 분모에서 약분되어
    결과는 그대로이면서 넘침만 막을 수 있다.
    """
    z_shifted = z - np.max(z, axis=1, keepdims=True)
    exp_z = np.exp(z_shifted)
    return exp_z / np.sum(exp_z, axis=1, keepdims=True)

def softmax_naive(z):
    """최댓값을 빼지 않은 꼴. 견주어 보려고만 둔다."""
    exp_z = np.exp(z)
    return exp_z / np.sum(exp_z, axis=1, keepdims=True)

# 넘침과 가라앉음의 문턱을 수로 확인한다.
big = np.finfo(np.float64).max
tiny = np.finfo(np.float64).smallest_subnormal
print(f"배정도 최대 유한수  {big:.4e}   log = {np.log(big):.4f}")
print(f"배정도 최소 양수    {tiny:.4e}   log = {np.log(tiny):.4f}")

with np.errstate(over="ignore"):
    for z in (709.0, 710.0):
        print(f"  exp({z:7.1f}) = {np.exp(z):.4e}")
for z in (-745.0, -746.0):
    print(f"  exp({z:7.1f}) = {np.exp(z):.4e}")

# 같은 로짓을 두 구현에 넣는다. 둘째 줄은 작아서 둘 다 잘 돈다.
Z = np.array([[710.0, 0.0, -710.0],
              [  2.0, 1.0,   -1.0]])
with np.errstate(over="ignore", invalid="ignore"):
    naive = softmax_naive(Z)
stable = softmax(Z)

print(f"\n안정한 꼴  z=(710,0,-710) -> {stable[0]}")
print(f"소박한 꼴  z=(710,0,-710) -> {naive[0]}")
print(f"안정한 꼴  z=(2,1,-1)     -> {np.round(stable[1], 6)}")
print(f"소박한 꼴  z=(2,1,-1)     -> {np.round(naive[1], 6)}")
print(f"행별 합 (안정한 꼴) {stable.sum(axis=1)}")
print(f"e^-710 = {np.exp(-710.0):.4e}  <- p2 의 참값")

출력:

배정도 최대 유한수  1.7977e+308   log = 709.7827
배정도 최소 양수    4.9407e-324   log = -744.4401
  exp(  709.0) = 8.2184e+307
  exp(  710.0) = inf
  exp( -745.0) = 4.9407e-324
  exp( -746.0) = 0.0000e+00

안정한 꼴  z=(710,0,-710) -> [1.00000000e+000 4.47628623e-309 0.00000000e+000]
소박한 꼴  z=(710,0,-710) -> [nan  0.  0.]
안정한 꼴  z=(2,1,-1)     -> [0.705385 0.259496 0.035119]
소박한 꼴  z=(2,1,-1)     -> [0.705385 0.259496 0.035119]
행별 합 (안정한 꼴) [1. 1.]
e^-710 = 4.4763e-309  <- p2 의 참값

(1)의 예고가 모두 맞는다. 문턱은 \(709.7827\)이고 \(e^{709}\)는 유한하지만 \(e^{710}\)은 inf다. 소박한 구현은 첫째 줄에서 \((\texttt{nan}, 0, 0)\)을 내놓고, 안정한 구현은 \((1.0,\ 4.47628623\times 10^{-309},\ 0)\)으로 손계산한 답과 마지막 자리까지 같다. 둘째 줄처럼 로짓이 \(\lvert z \rvert \le 2\) 정도로 작으면 두 구현의 값이 완전히 일치하니, 최댓값을 빼는 것이 답을 바꾸는 일은 없다. 평행이동 불변성이 보장하는 바다.

가라앉음은 왜 해롭지 않은가. 최댓값을 뺀 뒤 지수는 모두 \(z_c - \max_c z_c \le 0\)이므로 \(e^{\cdot} \le 1\)이고, 넘침은 원리적으로 불가능하다. 대신 \(z_c - \max_c z_c < \log(4.9407\times10^{-324}) = -744.44\)인 항은 \(0\)으로 가라앉는다. 출력이 보이듯 \(e^{-745}\)는 비정규수로 겨우 살아남고 \(e^{-746}\)은 \(0\)이 된다.

그런데 가라앉은 항의 참값은 \(e^{-744}\)보다 작으니 어떤 확률과 견주어도 무시할 만하고, 더 중요한 것은 분모가 절대 \(0\)이 되지 않는다는 점이다. 최댓값에 해당하는 항이 정확히 \(e^0 = 1\)이므로 분모는 늘

사이에 있다. 그래서 \(0/0\)이 날 길이 없다. 최댓값을 빼는 한 줄이 치명적인 nan을 무해한 반올림으로 바꾼다. 이것이 다음 절에서 다룰 로그-합-지수 기법의 전부이기도 하다.

(a) 먼저 지수를 계산한다.

정규화 상수는

이고, 소프트맥스 확률은

이다.

(b) \(\hat{p}_1 + \hat{p}_2 + \hat{p}_3 = 0.705 + 0.259 + 0.035 \approx 1.0\)이고, 지수는 항상 양수이므로 각 확률도 양수다. 소프트맥스가 임의의 실숫값 로짓 벡터를 단체 위의 유효한 확률분포로 옮긴다는 것을 확인해 준다.

(c) 임의의 상수 \(c\)에 대해

로 \(e^c\) 인자가 소거된다. 이 성질이 로그-합-지수 기법의 핵심이다. \(c = -\max_k z_k\)로 두면 가장 큰 지수가 \(e^0 = 1\)이 되어 로짓이 커도 수치적 오버플로를 막을 수 있다.

(a) 로짓을 계산하면

이다. 세 로짓이 모두 같으므로 \(\text{softmax}(\mathbf{z}) = (1/3, 1/3, 1/3)^\top\)이다. 어느 범주도 선호되지 않으며 모형이 이 입력에 대해 최대로 불확실하다. 어느 범주를 예측해도 무방하다(관례상 첫 번째 범주).

(b) \(\mathbf{W}\)의 각 행 \(\mathbf{w}_k^\top\)은 선형 점수함수 \(z_k = \mathbf{w}_k^\top \mathbf{x} + b_k\)를 정의한다. 기하학적으로 \(\mathbf{w}_k\)는 특성 공간에서 범주 \(k\)의 점수가 증가하는 방향이다. 범주 \(i\)와 \(j\) 사이의 결정경계는 \(z_i = z_j\)인 초평면, 즉 \((\mathbf{w}_i - \mathbf{w}_j)^\top \mathbf{x} + (b_i - b_j) = 0\)이며, 가중벡터 \(\mathbf{w}_i - \mathbf{w}_j\)가 이 초평면의 법선이다.

(c) 마지막 범주를 기준으로 삼는다. \(\mathbf{v} = \mathbf{w}_3 = (0, 0)^\top\), \(v_b = b_3 = 1\)로 두면

이 된다. 이제 \(\mathbf{w}_3' = \mathbf{0}\), \(b_3' = 0\)이므로 세 번째 범주의 로짓이 항상 0인 기준범주가 된다. 평행이동 불변성에 의해 소프트맥스 출력은 전혀 바뀌지 않는다. 자유 모수는 \(3 \times 2 + 3 = 9\)개에서 \(2 \times 2 + 2 = 6\)개로 줄고, 모수화가 식별 가능해진다.