[논문리뷰] UNDERSTANDING DEEP LEARNING REQUIRES RETHINKINGGENERALIZATION

 
 
 
일반화(generalization)
일반화는 모델이 학습한 데이터 이외의 새로운 데이터에도 잘 작동하도록 하는 것.
즉 말그대로 특수한 데이터에만 성능이 잘 나오는게 아니라 일반적으로(general하게) 모든 데이터에 성능이 잘 나오도록 하는 것을 의미함.
 
정규화(regularization)
정규화는 과적합을 방지하는 기법들
기법들은 보통 모델의 복잡도를 제한하는 방식으로 만들어져있는데, 이는 모델이 너무 복잡해지면 훈련데이터만 외우게 되기 때문임. (모델이 더 복잡해질수록 과적합 가능성이 커짐)
 
전통적으로 무작위 라벨링, 즉 패턴이 없는 데이터에 대해선 학습이 매우 어려울 것으로 예상했었다. 왜냐하면,
모델이 복잡하고 매개변수가 많을수록 특정 정답에 과적합하기 쉬울것으라고 생각했기 때문이다.
 
논문의 발견은 아래와 같았음 :
1)신경망은 사실 전체 데이터셋을 통으로 암기해버릴수 있을정도의 용량을 가지고있었다.
2)그럼에도 훈련시간도 크게 증가하지 않는다.