Chapter 3. 확률

장철원, 『몬테카를로 시뮬레이션으로 배우는 확률통계 with 파이썬 기초 개념부터 확률 과정 기반 데이터 예측까지』, 비제이퍼블릭(2023), p43-100.

 

확률의 개념

• 표본 공간(sample space): 발생 가능한 모든 결과의 집합
• 기호: \(\varOmega\) (오메가)
• 사건(event): 표본 공간의 부분 집합
• 확률(probability): 어떤 사건이 발생할 가능성을 0~1 사이의 숫자로 수치화 시킨 것
• 독립(independent): 두 사건이 발생할 확률을 곱한 결과가 두 사건이 동시에 발생할 확률과 동일함
  • \(P(A\cap B) = P(A)P(B)\)
• 배반(disjoint): 동시에 발생할 확률이 0
  • \(P(A\cap B) = 0\)
  • \(P(\displaystyle\bigcup^{\infty}_{i=1}{A_i}) = P(\displaystyle\sum^{\infty}_{i=1}{A_i})\)
    
• 모집단(population): 관심 있는 대상이 되는 모든 측정값의 집합
• 표본(sample): 모집단에서 추출한 측정값의 집합
• 모수(population parameter): 모집단의 분포 특성을 규정 짓는 척도 (모집단의 대푯값)
• 표본 통계량(sample statistic): 표본의 대푯값

확률 분포

• 이산형 확률 분포(discrete probability distribution): 확률 변수가 가질 수 있는 값의 종류를 셀 수 있는 경우
  • 확률 질량 함수를 가짐
• 연속형 확률 분호(continuous probability distribution): 확률 변수가 가질 수 있는 값의 종류를 셀 수 없는 경우
  • 확률 밀도 함수를 가짐
• 확률 질량 함수(probability mass function, pmf): 이산형 확률 변수가 특정 값을 가질 확률
  • \(P_x(x) \ge 0\)
  • \(\sum_x{P_x(x)} = 1\)
• 누적 분포 함수(cumulative distribution function, cdf): 확률 변수 \(X\)가 취할 수 있는 값들을 누적해서 구하는 확률 분포
  • \(F_x(x)=P(X\le x)\)
• 확률 밀도 함수(probability density function, pdf): 특정 범위(range)가 가질 확률
  • \(f_x(x) \ge 0 \;\; for\; all\; x\)
  • \(\int^{\infty}_{-\infty}f_x(x) = 1\)
  • \(P(a < X < b) = \int^a_bf_x(t)dt\)
  • 연속형 확률 변수의 누적 분포 함수: \(F_x(x) = \int^x_{-\infty}f_x(t)dt\)
• iid(independent and identically distributed)
  • 확률 변수 \(X_1, X_2, \cdots, X_n\)이 서로 독립이고 동일한 분포를 따르는 경우
  • 독립 항등 분포라고도 불림

평균과 기댓값, 분산

• 데이터가 주어지면 평균, 주어지지 않은 상태라면 기댓값이라는 용어를 사용
  • 평균: 과거를 바라보는 단어
  • 기댓값: 미래를 바라보는 단어
• 이산형 확률 변수
  • 변수 \(X\), 확률 질량 함수 \(P(X=x_i)\)
  • 기댓값: \(E(X) = \sum^{\infty}{i=1}{x_iP(X=x_i)} = \sum^{\infty}{i=1}{x_iP_X(x_i)}\)
  • 분산: \(\sigma^2 = Var(X) = E[(X-\mu)^2] = \sum^{\infty}_{i=1}{(x_i-\mu)^2P(X=x_i)}\)
• 지시함수(indicator function):
  • 1 or 0을 가질 수 있음
  • 지시함수의 기댓값은 해당 사건이 발생할 확률과 동일함
• 연속형 확률 변수
  • 변수 \(X\), 구간 \([a,b]\), 확률 밀도 함수 \(f_x(x)\)
  • 기댓값: \(E(X) = \int^b_a{xf_X(x)dx}\)
  • 분산: \( \sigma^2 = Var(X) = E[(X-\mu)^2] = \int^b_a{(x-\mu)^2f_x(x)dx} \)

• 분산의 성질
  • \(Var(aX+b) = a^2Var(X)\)
  • \(Var(X+Y)=Var(X) + Var(Y) + 2Cov(X,Y)\)
  • \(Var(X-Y)=Var(X) + Var(Y) - 2Cov(X,Y)\)
  • \(Var(aX+bY)=a^2Var(X) + b^2Var(Y) + 2abCov(X,Y)\)
  • iid는 확률 변수가 서로 독립이기 때문에 공분산은 0임
  • \(Var(x_i) = E(x^2_i) - [E(x_i)]^2\)
    • \(\Leftrightarrow\; E(x^2_i) = Var(x_i) + [E(x_i)]^2\)
    • \(\Leftrightarrow\; E(x^2_i) = \sigma^2 + \mu^2\)
  • \(Var(\bar{x}) = E(\bar{x}^2) - [E(\bar{x})]^2\)
    • \(\Leftrightarrow\; E(\bar{x}^2) = Var(\bar{x}) + [E(\bar{x})]^2\)
    • \(\Leftrightarrow\; E(\bar{x}^2) = \displaystyle{\sigma^2 \over n} + \mu^2\)
• 자유도(degree of freedom): 자유로운 데이터의 개수

공분산(covariance)

• 두 확률 변수의 상관 관계를 나타내는 값
• 확률 변수 \(X\)의 편차와, 확률 변수 \(Y\)의 편차를 곱한 값의 평균
• \(Cov(X,Y) = E[(X-\mu_X)(Y-\mu_Y)] = \displaystyle{1\over {n-1}}\sum^n_{i=1}{(x_i-\bar{x})(y_i-\bar{y})}\)
• \(Cov(X, Y) = E(XY)-E(X)E(Y)\)
• 공분산의 성질
  • \(Cov(X,X)=Var(X)\)
  • \(Cov(X,Y)=Cov(Y,X)\)
  • \(Cov(aX,bY)=abCov(X,Y)\)
  • \(Cov(X+Y, Z) = Cov(X,Z) + Cov(Y,Z)\)

상관 계수(coefficient of correlation)

• 변수 간 단위가 서로 다른 경우를 보완한 개념
• \(Corr(X, Y)=\displaystyle{{Cov(X,Y)}\over {\sqrt{Var(X)}}{\sqrt{Var(Y)}}}={Cov(X,Y) \over \sigma_x\sigma_yy}\)
• 표본 상관 계수(sample coefficient of correlation)
  • \(r_{xy} = \displaystyle{\sum(x_i-\bar{x})(y_i-\bar{y}) \over \sqrt{\sum(x_i-\bar{x})^2(y_i-\bar{y})^2}}\)
• 응용
  • \(\displaystyle\sum^n_{i=1}(x_i-\bar{x})^2=\sum^n_{i=1}{x^2_i} - {1\over n}(\sum^n_{i=1}x_i)^2\)
  • \(\displaystyle\sum^n_{i=1}(x_i-\bar{x})(y_i-\bar{y}) = \sum^n_{i=1}{x_iy_i} - {1\over n}(\sum^n_{i=1}x_i)(\sum^n_{i=1}y_i)\)

조건부 확률(conditional probability)

• 사건 B가 발생하는 경우, 사건 A가 발생할 확률
  • \(P(A|B)=\displaystyle{P(A\cap B) \over P(B)}\)
  • \(P(A\cap B) = P(A|B)P(B)\)
• 조건부 독립(conditional independence)
  • 사건 \(A,B,C\)가 존재할 때, \(P(A|B,C)=P(A|C)\)를 만족한다면 사건 \(C\)가 주어질 때, 사건 \(A\)와 사건 \(B\)는 조건부 독립이라고 함
  • \(P(A,B|C)=P(A|C)P(B|C)\)를 만족해도 위와 동일
• 전확률 공식(law of total probability)
  • 표본 공간 \(\varOmega\)를 서로 배반인 부분 공간으로 나누었을 때, 한 사건이 발생할 확률은 부분 공간에 대한 조건부 확률의 합 형태로 나타낼 수 있음을 의미
  • 표본 공간 \(\varOmega\)이 서로 다른 배반 공간 \(B, B^c\)로 구성될 때, \(P(A) = P(A|B)P(B) + P(A|B^c)P(B^c)\)
  • 사건 \(B_1, B_2, \cdots, B_n\)이 표본 공간 \(\varOmega\)의 부분 공간 일 때, \(P(A) = \sum^n_{i=1}{P(A|B_i)P(B_i)}\)
• 전평균 공식(law of total expectation)
  • \(E(A) = \sum^n_{i=1}{E(A|B_i)P(B_i)}\)
  • 확률 변수 \(A\)의 기댓값은 서로 배반인 부분 공간 \(B_1, B_2, \cdots, B_n\)의 조건부 기댓값의 합 형태로 구할 수 있음
    • \(E_Y(E_X(X|Y))=E(X)\)
• 적률 생성 함수(moment generation function, mgf)
  • 0 근방의 \(t\)에 대해 기댓값이 존재함
  • 0보다 큰 모든 h에 대해 \(E(e^{tx})\)가 존재함 (\(h>0, \; -h<t<h\))
  • 수식
    • 이산형: \(M_X(t) = \sum_x{e^{tx}P(X=x)}\)
    • 연속형: \(M_X(t) = \int^{\infty}_{-\infty}{e^{tx}f_X(x)dx}\)
  • 확률 변수 \(X\)의 \(n\)차 적률 \(E(X^n)\)를 구할 수 있음
    • \(E(X^n)=M^{(n)}_X(0)\)
    • \(M^{(n)}_X(0)\): 적률 생성 함수 \(M_X{(t)}\)를 \(n\)번 미분하고 \(t=0\)을 대입한 것
    • 기댓값과 분산을 쉽게 구할 수 있음
      • \(E(X) = M'_X{(0)}\)
      • \(Var(X) = E(X^2) - [E(X)]^2\)
        • \(E(X^2) = M''_X{(0)}\)

Reference

• 베이즈 정리
• 적률