귀납적 추론과 통계의 관계
귀납적 추론이란, 개별적인 사실로부터 일반적인 결론을 이끌어내는 추론법이다.
귀납적 추론으로 가장 잘 알려진 예시를 살펴보자.
개별적 사실 1 : 맹자는 죽었다.
개별적 사실 2 : 소크라테스도 죽었다.
일반적 결론 : 그러므로 모든 사람은 죽는다.
이때 도출한 결론인 '그러므로 모든 사람은 죽는다'는 사실일수도 있지만 거짓일수도 있다.
(모든 사람에 대한 개별적 사실이 있는 것이 아니므로)
여기서 알 수 있다시피, 귀납적 추론에 의한 결론은 불확실성(uncertainty)를 가지고 있다.
그리고 이 불확실성은 확률로 측정을 할 수 있다.
eg. 그러므로 모든 사람은 죽는다. (uncertainty : 0.001)
cf. 이때, 불확정성을 측정하는 확률을 어떻게 계산할 수 있을까?🤔
다양한 방법이 있겠지만 한가지 예시로 '신뢰구간' 이라는 개념을 사용할 수 있다.
간단히 말하자면, [우리가 추정하려는 실제 값이 구간(a,b)에 있을 확률이 95%이다.]는 결론을 도출하는 방법이다.
귀납적 추론을 통계의 관점에서 본다면?
귀납적 추론의 '일부로 전체를 판단한다'는 부분을 통계의 관점에서 본다면,
표본의 통계량으로 모집단(전체)의 통계량을 예측하는 '추정'으로 해석할 수 있다.
eg. 추정의 예시 : 전체 학생이 10명인 학급에서 학생 5명의 성적 평균이 75이므로, 전체 성적 평균은 75일 것이다.
* 추론과 추정이 헷갈린다면, 추론은 Inference, 추정은 Estimation을 이해하면 된다.
추정 in Machine Learning
통계학에서 사용되는 추정은 머신러닝에서도 적용되는 개념이다.
머신러닝의 학습 과정은 아래와 같다.
step1 : 주어진 데이터로 학습
step2 : 처음 보는 데이터를 판단
step3 : 예측한 값과 정답의 차이를 계산하고, 이 차이를 최소화하는 방향으로 모델 조정
step4 : step1로 돌아가기
머신러닝에서 통계적 관점을 채택하면, step1의 '학습' 과정은 주어진 데이터로 전체 분포를 예측하는 과정이 된다.
예를들어 아래와 같은 마리오 주사위 주사위에 대해, (from. 마리오 파티)
step1 : 확률적 관점을 채택한다면, 이때의 학습은
일부 데이터 (학습에 사용되는 데이터)를 토대로 전체 데이터의 분포를 예측하는 과정이다.
예를들어, 학습에 사용되는 데이터로 '마리오 주사위를 15번 던지는 시행을 했을 때 주사위 눈의 합(표본평균)'이 1000개 주어진다고 하자.
모델은 주어진 데이터를 토대로 아래와 같은 하나의 분포를 만든다.
step2 : 실제로 마리오 주사위를 15번 던지는 시행을 n번정도 해본다.
step3 : 우리가 예측한 확률 분포가 실제로 값을 가장 잘 설명하는 분포가 되도록, 확률분포를 수정한다.
이때, 주로 MLE 추정을 사용한다.
MLE 추정은 실제 값이 특정 확률분포에 포함될 확률을 최대화 하는 변수를 구하는 추정이다.
여기까지가 통계적 관점을 채택한 머신러닝에서의 학습 방법이다.
물론 이 이후에 모델을 보정하기 위해 Gradient Descent 라던지, 이를 계산하기 쉽게하기 위해 역전파를 한다든지 등 복잡한 과정이 남아있지만, '통계가 ML에 위와 같이 적용될 수 있다' 정도만 기억하고 넘어가면 될 것 같다.
정리
너무 간단한 예시를 들어서 ML의 학습 과정이 와닿지 않을 수 있지만,.
핵심은 '주어진 데이터로 전체 확률분포를 예측하는' 추정 즉, 귀납적 추론이 머신러닝에서도 사용된다는 것이다.
이처럼 확률적 관점으로 머신러닝을 바라본다면, 단순히 몇개의 레이어로, 혹은 무슨 모델로, 등와 같이
구조적인 것을 넘어서서 머신러닝을 더 깊이있게 이해할 수 있게 된다.
일례로, 머신러닝에서 Loss fuction으로 자주 사용되는 cross-entropy함수도, 통계에서 사용되는 Maximum Likelihood에 의해 유도된 것이다.
여기까지의 내용을 정리하자면, 아래와 같다.
1) '표본으로 전체를 예측한다'는 부분에서, 통계학에서의 추정과 ML은 같은 맥락이라할 수 있다.
2) 이 관점을 채택하면, 통계학에서 사용하던 여러 이론과 기법들을 ML에서도 적용할 수 있게 된다.
'ML' 카테고리의 다른 글
| [ML] 데이터 증강 (Data Augmentation) (0) | 2022.03.27 |
|---|---|
| [ML] 교차 검증 (0) | 2022.02.20 |
| [ML] Fashion MNIST (0) | 2022.02.13 |
| [ML] 타이타닉 생존자 예측하기 (0) | 2022.01.30 |
| [ML] CNN (0) | 2022.01.23 |
