AI Foundry AI Foundry

딥러닝 모델은 수많은 층(Layer)으로 이루어져 있습니다. 데이터가 이 층들을 통과할 때마다 값이 변하는데, 이게 쌓이다 보면 뒤쪽 층으로 갈수록 데이터가 너무 커지거나 한쪽으로 쏠려서 학습이 제대로 안 되는 문제가 생깁니다. 이를 해결하는 핵심 기술이 바로 배치 정규화입니다. 왜 하는가? (문제점: 내부 공변량 변화)데이터가 층을 통과할 때마다 분포가 계속 뒤틀리는 현상을 내부 공변량 변화(Internal Covariate Shift)라고 합니다.비유: 건물 1층을 지을 때마다 땅바닥이 조금씩 기우뚱하고 움직인다면 어떨까요? 위로 갈수록 건물은 엄청나게 흔들릴 것입니다.배치 정규화는 각 층을 지날 때마다 흔들리는 바닥을 평평하게 다져주는 '지반 공사'와 같습니다.수식으로 보는 배치 정규화 4단계논문에..

머신러닝 모델을 개발할 때 가장 큰 숙제는 '학습 데이터'가 아닌 '미래의 데이터'를 얼마나 잘 맞히느냐입니다. 이를 위해 반드시 이해해야 하는 과적합(Overfitting)과 그 해결책인 정칙화(Regularization)의 모든 것을 정리합니다. 과적합(Overfitting)의 이해: 기출문제만 외운 모델과적합은 모델이 학습 데이터셋($Train\ Set$)의 특수성에 너무 깊게 매몰되어, 데이터 내의 본질적인 패턴(Signal)뿐만 아니라 무작위 잡음(Noise)까지 학습해버린 상태를 의미합니다.현상: Train Loss는 낮지만, Validation/Test Loss는 매우 높음.비유: 기출문제의 정답 번호까지 외웠지만, 정작 원리를 몰라 새로운 응용 문제를 풀지 못하는 수험생.통계적 관점 (H..