AI Foundry AI Foundry

딥러닝 모델은 수많은 층(Layer)으로 이루어져 있습니다. 데이터가 이 층들을 통과할 때마다 값이 변하는데, 이게 쌓이다 보면 뒤쪽 층으로 갈수록 데이터가 너무 커지거나 한쪽으로 쏠려서 학습이 제대로 안 되는 문제가 생깁니다. 이를 해결하는 핵심 기술이 바로 배치 정규화입니다. 왜 하는가? (문제점: 내부 공변량 변화)데이터가 층을 통과할 때마다 분포가 계속 뒤틀리는 현상을 내부 공변량 변화(Internal Covariate Shift)라고 합니다.비유: 건물 1층을 지을 때마다 땅바닥이 조금씩 기우뚱하고 움직인다면 어떨까요? 위로 갈수록 건물은 엄청나게 흔들릴 것입니다.배치 정규화는 각 층을 지날 때마다 흔들리는 바닥을 평평하게 다져주는 '지반 공사'와 같습니다.수식으로 보는 배치 정규화 4단계논문에..

딥러닝 모델이 복잡해질수록 모델은 훈련 데이터에 너무 완벽하게 적응해버리는 과적합(Overfitting) 문제에 직면하게 됩니다. 이를 해결하기 위해 2014년 힌튼(Geoffrey Hinton) 교수팀이 제안한 혁신적인 기법이 바로 드롭아웃(Dropout)입니다.드롭아웃이란 무엇인가?드롭아웃은 신경망 학습 과정에서 레이어의 뉴런을 임의의 확률로 비활성화(0으로 만듦)하는 기법입니다.Fully Connected Layer의 문제: 모든 뉴런이 연결되어 있으면 특정 뉴런들끼리 너무 강하게 결합(Co-adaptation)되어, 특정 특징에만 의존하는 현상이 발생합니다.드롭아웃의 해결책: 매 학습 단계(Iteration)마다 무작위로 뉴런을 '끄기' 때문에, 모델은 특정 뉴런에 의존하지 않고 더 보편적인 특..