MoonNote

Linear activation function은 다음과 같은 형태이다. A = cx input을 받고 각 뉴런의 weight를 곱하고 input에 비례하는 output을 생성한다. 선형 함수는 1 or 0이 아닌 여러 output을 허용하기 때문에 step function 보다는 낫다. 하지만 다음과 같은 문제점이 있다. 1. 모델을 훈련하기 위해 backpropagation (gradient descent)을 사용하는 것이 불가능하다. function의 derivative가 일정하기 때문에 input과 input X와 관련이 없다. 따라서 backpropagation을 적용해도 input 뉴런의 어떤 weight가 더 좋은 예측에 영향을 주는지 이해할 수 없다. 2. 신경망의 모든 layer는 하나의..