Probability Distribution, Moments
AI 연구는 확률, 통계에 대한 기초적인 지식을 필요로 한다. 하지만, 확률, 통계를 공부했다고 하더라도, 잠시 관심을 꺼둔다면, 기초적인 지식조차도 금방 잊어버리기 마련이다. 필요할 때마다 찾아볼 수 있도록, 확률, 통계에 대한 간단한 기본 지식을 정리했다.
확률 분포는 특정 사건이 발생할 가능성을 설명하는 수학적 모델
\(P(X=k) = p^k (1-p)^{1-k} \quad \text{for} \ k \in \{0,1\}\)
\(E(x) = p\)
\(V(x) = p(1-p)\)
\(P(X=k) = \binom{n}{k} p^k (1-p)^{n-k}\)
\(E(x) = np\)
\(V(x) = np(1-p)\)
\(P(X=k) = \frac{\lambda^k e^{-\lambda}}{k!}\)
\(P(X \leq K) = 1 - \sum^{K}_{k=0}\frac{\lambda^k e^{-\lambda}}{k!}\)
\(E(x) = \lambda\)
\(V(x) = \lambda\)
\(P(X = k) = \binom{k + r - 1}{k} (1-p)^k p^r\)
\(E(X) = \frac{r(1-p)}{p}\)
\(V(X) = \frac{r(1-p)}{p^2}\)
\(P(X = k) = \frac{{\binom{K}{k}}{\binom{N-K}{n-k}}}{\binom{N}{n}}\)
\(F(x) = 1 - (1-p)^{x} \quad \text{for} \ x \geq 1\)
\(E(X) = n\frac{K}{N}\)
\(V(X) = n\frac{K}{N}\frac{N-K}{N}\frac{N-n}{N-1}\)
\(P(X=k) = (1-p)^{k-1}p\)
\(F(x) = 1 - (1-p)^{x} \quad \text{for} \ x \geq 1\)
\(E(x) = \frac{1}{p}\)
\(V(x) = \frac{1-p}{p^2}\)
\(f(x|\mu,\sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}\)
\(F(x|\mu,\sigma) = \frac{1}{2} \left[1 + \text{erf}\left(\frac{x-\mu}{\sigma\sqrt{2}}\right)\right]\), \(\text{erf}(z) = \frac{2}{\sqrt{\pi}} \int_{0}^{z} e^{-t^2} dt\)
\(E(x) = \mu\)
\(V(x) = \sigma^2\)
\(f(x|\mu,\sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}\)
\(F(x|\mu,\sigma) = \frac{1}{2} \left[1 + \text{erf}\left(\frac{x-\mu}{\sigma\sqrt{2}}\right)\right]\), \(\text{erf}(z) = \frac{2}{\sqrt{\pi}} \int_{0}^{z} e^{-t^2} dt\)
\(E(x) = \mu\)
\(V(x) = \sigma^2\)
\(f(x; k) = \frac{1}{2^{\frac{k}{2}}\Gamma\left(\frac{k}{2}\right)}x^{\frac{k}{2}-1}e^{-\frac{x}{2}}\)
\(E(x) = k\)
\(V(x) = 2k\)
\(f(x) = \begin{cases} \frac{1}{b-a} & \text{for } a \leq x \leq b \\ 0 & \text{else } \end{cases}\)
\(F(x) = \begin{cases} 0 & \text{if } x < a \\ \frac{x-a}{b-a} & \text{if } a \leq x \leq b \\ 1 & \text{if } x > b \end{cases}\)
\(\mu = \frac{a+b}{2}\)
\(\sigma^2 = \frac{(b-a)^2}{12}\)
\(f(x) = \lambda e^{-\lambda x}\)
\(F(x) = 1 - e^{-\lambda x} \quad \text{for} \ x \geq 0\)
\(E(x) = \frac{1}{\lambda}\)
\(V(x) = \frac{1}{\lambda^2}\)
\(f(x) = \frac{k}{\lambda} \left( \frac{x}{\lambda} \right)^{k - 1} e^{-(x/\lambda)^k}\)
\(F(x) = 1 - e^{-(x/\lambda)^k}\)
\(E(x) = \lambda \Gamma\left(1 + \frac{1}{k}\right)\)
\(V(x) = \lambda^2 \left[ \Gamma\left(1 + \frac{2}{k}\right) - \left(\Gamma\left(1 + \frac{1}{k}\right)\right)^2 \right]\)
\(f(x) = \frac{x^{\alpha-1}e^{-x/\beta}}{\Gamma(\alpha)\beta^\alpha} \quad \text{for } x > 0\)
\(E(x) = \alpha\beta\)
\(V(x) = \alpha\beta^2\)
\(f(x;\alpha,\beta) = \frac{x^{\alpha-1}(1-x)^{\beta-1}}{B(\alpha, \beta)}\)
\(B(\alpha, \beta) = \int_{0}^{1} t^{\alpha-1}(1-t)^{\beta-1} dt\) (베타함수)
\(E(x) = \frac{\alpha}{\alpha + \beta}\)
\(V(x) = \frac{\alpha\beta}{(\alpha + \beta)^2(\alpha + \beta + 1)}\)
k차 원점 적률: \(\mu'_k = \int_{-\infty}^{\infty} x^k f(x) dx = E[X^k]\)
k차 중심 적률: \(\mu_k = \int_{-\infty}^{\infty} (x-\mu)^k f(x) dx = E[(X-\mu)^k]\)
k차 표준화 적률: \(\tilde{\mu}_k = \frac{\mu_k}{\sigma^k} = E[{(\frac{X-\mu}{\sigma})}^k]\)
1차 원점 적률(평균): 데이터의 평균 값을 나타냄 \(\mu = E[X]\)
1차 중심 적률: 0
2차 중심 적률(분산): 데이터의 분산을 나타냄 \(E[(X-\mu)^2]\)
3차 중심 표준화 적률(왜도): 데이터 분포의 비대칭도를 나타냄 \(E[{(\frac{X-\mu}{\sigma})}^3]\)
4차 중심 표준화 적률(첨도): 데이터 분포의 뾰족함을 나타냄 \(E[{(\frac{X-\mu}{\sigma})}^4]\)
적률 생성 함수는 확률변수의 모든 적률을 유도하기 위한 방법으로 사용
\[M_X(t) = E[e^{tX}] = \int_{-\infty}^{\infty} e^{tx} f(x) dx\]
이때, 확률변수 \(X\)의 \(n\)번째 적률은 \(M(t)\)를 \(t\)에 대해 \(n\)번 미분하고 \(t=0\)을 대입하여 얻을 수 있음
\[\mu_n' = E[X^n] = \left. \frac{d^n M(t)}{dt^n} \right|_{t=0}\]
\(e^{tX}\)를 테일러 전개하여, 적률 생성 함수에 대입하면,
\(M_X(t) = E[e^{tX}] = E\left[1 + Xt + \frac{X^2t^2}{2!} + \frac{X^3t^3}{3!} + \ldots \right]\)
\(M_X(t) = E[e^{tX}] = 1 + E[X]t + \frac{E[X^2]t^2}{2!} + \frac{E[X^3]t^3}{3!} + \ldots\)
\(n\)차 미분하여 \(t=0\)을 대입하면, \(n\)차 적률이 되는 것을 알 수 있다.
엔트로피(entropy)는 확률분포가 가지는 정보의 확신도 혹은 정보량을 수치로 표현한 것이다. 확률분포에서 특정한 값이 나올 확률이 높아지고 나머지 값의 확률은 낮아진다면 엔트로피가 작아진다.
이산확률분포: \[H(X) = -\sum_{i} p(x_i) \log p(x_i)\]
연속확률분포: \[h(X) = -\int f(x) \log f(x) \, dx\]
지니 불순도(Gini impurity)는 데이터 집합 내에서 랜덤으로 선택한 요소가 잘못 분류될 확률을 측정, 주어진 데이터 집합이 얼마나 “혼합”되어 있는지를 나타냄
\[G(Y) = \sum_{k=1}^{K} P(y_k) (1 - P(y_k))\]
# 예시: 베르누이 분포의 엔트로피, 지니 불순도
import numpy as np
import matplotlib.pyplot as plt
P0 = np.linspace(0.001, 1 - 0.001, 1000)
P1 = 1 - P0
H = - P0 * np.log2(P0) - P1 * np.log2(P1)
G = 2 * (P0 * (1 - P0) + P1 * (1 - P1))
plt.plot(P1, H, "-", label="entropy")
plt.plot(P1, G, "--", label="gini")
plt.legend()
plt.xlabel("P(Y=1)")
plt.show()
크로스-엔트로피(cross-entropy)는 두 확률분포 간의 차이를 측정하는 데 사용
Cross-entropy는 머신러닝과 딥러닝에서 손실 함수(loss function)로 널리 사용되며, 특히 분류 문제에서 예측 분포 \(Q\)가 실제 분포 \(P\)를 얼마나 잘 추정하는지를 평가할 때 중요함
이때 낮은 cross-entropy 값은 모델의 예측이 실제 분포에 더 가깝다는 것을 의미
\(H(P, Q) = -\sum_{x} P(x) \log Q(x)\) (이산)
\(H(P, Q) = -\int p(x) \log q(x) \, dx\) (연속)