Create Opportunities

딥러닝을 위한 수학도 결국 똑같다. 선형대수, 최적화 등의 개념을 꾸준히 상기시키고 설명할 수 있도록 공부하기.

Batch size ? 입력값 x를 평균 0, 분산 1로 표준화하여 activation function로 전달하여 출력값의 분포를 고르게 한다. x를 표준화 하는 과정에서 batch size 단위로 평균과 분산값을 계산하기 때문에, 어떤 batch size를 선택하는지는 중요하다. 1) batch size를 크게 하는 경우 - training set 분포를 좀 더 정확히 추정한다. 이 말은 즉, noise를 감소시켜 모델 수렴을 향상 시킬 수 있다는 것이다. -> 학습 속도 향상 2) batch size를 작게 하는 경우 - sample의 수가 적어 training set 통계값을 부정확하게 계산한다. noise가 많아져서 모델의 수렴이 불안정해진다. 하지만, regularization의 효과는 강해진다..