mlp layer의 활성화함수 사용이유에 관하여

Question

multilayer perceptron에서 1d kernel을 활성화함수에 넣는 이유가 궁금합니다. 결국 스칼라값으로 출력되는데 이유가 무엇일까요

Answer 1

안녕하세요. 조규현 전문가입니다.

멀티레이어 퍼셉트론에서 활성화 함수를 사용하는 가장 핵심적인 이유는 인공지능 모델에 비선형성을 부여하기 위해서입니다. 만약 활성화 함수 없이 선형 연산만 반복한다면 층을 아무리 깊게 쌓아도 결국 하나의 단순한 선형 모델과 다를 바 없는 결과가 나오게 됩니다. 따라서 각 층의 결과값에 비선형적인 변화를 주어야만 모델이 복잡한 데이터의 패턴을 이해하고 어려운 문제를 해결할 수 있는 능력을 갖추게 됩니다.

Answer 2

안녕하세요. 김상엽 전문가입니다.

MLP에서 1D 커널의 결과인 스칼라값에 활성화 함수를 적용하는 결정적인 이유는 비선형성을 부여하기 위해서입니다. 만약 활성화 함수가 없다면 아무리 층을 깊게 쌓아도 결국 하나의 거대한 선형 변환(y=ax+b)에 불과하게 됩니다. 비선형 함수를 통해 모델이 복잡한 데이터 패턴과 경계선을 학습할 수 있는 능력을 갖추게 되는 것입니다.