인공지능 알고리즘의 학습 과정에서 발생하는 과적합(Overfitting)과 과소적합(Underfitting) 문제는 무엇인가요?

Question

인공지능 알고리즘의 학습 과정에서 발생하는 과적합(Overfitting)과 과소적합(Underfitting) 문제는 무엇이며, 이를 방지하기 위한 기술적 해결책에는 어떤 한 기술들이 도입되고 있나요?

Answer 1

머신 러닝에서 과적합이라는 것은 알고리즘이 학습데이터에 과하게 즉 지나치게 적합한 상태이거나 정확하게 일치할 때 발생하며 그 결과 모델이 학습데이터가 아닌 다른 데이터에서 정확한 예측을 생성하거나 결론을 도출할 수 없게 되는 경우를 말합니다. 즉 새로운 데이터에서는 제대로 작동하지 못하는 겁니다. 과적합을 다른 말로 오버피팅이라고 하고 이것은 모델의 복잡도 때문이라고 합니다. 해결책은 데이터 양 늘리기, 모델의 복잡도 줄이기, 정규화기법 사용,교차검증 사용, 데이터 증강 사용, 드롭아웃 사용, 조기 종료 사용 등이 있으며 그리고 과소적합이란 AI 모델을 추가 학습시켜야 하며 AI 모델이 매우 제한된 상황에서만 정확한 결과를 제공하는 경우로 예로는 초기학습데이터에서는 잘 작동했으나 추가 검증 및 실제데이터에서는 실패하는 경우를 말합니다. 그리고 과소적합 원인은 모델이 너무 단순하기 때문이라고 합니다. 해결책은 피라미터가 더 많은 복잡한 모델 선택, 더 좋은 특성 제공, 규제 하이퍼파라미터를 감소시키는 등의 방법으로 모델의 제약을 줄임 등이 있다고 합니다.

참고

https://joohs0505.tistory.com/m/124

Answer 2

과적합은 모델이 학습 데이터에 너무 맞춰져서 새로운 데이터에 대해 일반화하지 못하는 현상입니다. 이를 방지하기 위해서는 데이터 세트를 훈련, 검증, 테스트로 나누어 성능을 평가하고, 조기 종료(early stopping)나 정규화(regularization) 기법을 활용할 수 있습니다. 반면에 과소적합은 모델이 충분히 학습되지 않아 데이터의 패턴을 제대로 파악하지 못하는 상태입니다. 해결을 위해 더 복잡한 모델 구조를 사용하거나 학습 데이터를 증가시킬 수 있습니다. 양쪽 문제를 방지하기 위해 교차 검증(cross-validation)을 통해 하이퍼파라미터를 조정하는 것도 효과적입니다. 모델의 학습 상태를 주기적으로 모니터링하며 적절한 조치를 취하는 것이 중요합니다.