2021-01-21 TIL

in TIL on 머신러닝, 딥러닝, 기계 학습

기계학습

  • 베이즈 정리가 왜 필요한지 배웠다.
  • 최대 우도는 데이터 관찰을 통해서 모르는 확률 분포(매개 변수)를 찾는 방법이다.
  • 정보이론은 확률이 작을수록 많은 정보(잘 일어나지 않는 사건)를 가지고 있다.
  • 엔트로피는 모든 사건(확률 변수 x)의 정보량을 기대값을 표현한 것이다. -> 해당하는 확률 변수가 어느 만큼의 정보량을 가지고 있는지 판단하는 지표로 사용한다.
  • 교차 엔트로피는 두 확률 분포가 얼만큼의 정보를 공유하는 지를 알아보는 지표로 사용한다. 즉 데이터 분포와 추정한 데이터 분포간의 차이를 최소화하는데 사용된다.