목록2025/05/22 (1)
MJ's Blog
[논문리뷰] UNDERSTANDING DEEP LEARNING REQUIRES RETHINKINGGENERALIZATION
일반화(generalization)일반화는 모델이 학습한 데이터 이외의 새로운 데이터에도 잘 작동하도록 하는 것.즉 말그대로 특수한 데이터에만 성능이 잘 나오는게 아니라 일반적으로(general하게) 모든 데이터에 성능이 잘 나오도록 하는 것을 의미함. 정규화(regularization)정규화는 과적합을 방지하는 기법들기법들은 보통 모델의 복잡도를 제한하는 방식으로 만들어져있는데, 이는 모델이 너무 복잡해지면 훈련데이터만 외우게 되기 때문임. (모델이 더 복잡해질수록 과적합 가능성이 커짐) 전통적으로 무작위 라벨링, 즉 패턴이 없는 데이터에 대해선 학습이 매우 어려울 것으로 예상했었다. 왜냐하면,모델이 복잡하고 매개변수가 많을수록 특정 정답에 과적합하기 쉬울것으라고 생각했기 때문이다. 논문의 발견은 아래..
AI
2025. 5. 22. 15:35