Shallow neural network

신경망의 구성 (Neural Network Representation)

-       신경망은 입력층(input layer), 은닉층(hidden layer), 출력층(output layer)으로 구성

-       각 층에서 뉴런들은 가중치와 바이어스를 통해 연결, 활성화 함수에 따라 비선형 변환을 수행함

 

활성화 함수 (Activation Functions)

-       신경망에서 비선형성을 도입하는 하여 모델이 복잡한 문제를 학습도록 도와줌

-       Sigmoid 함수 : 출력값을 0과 1사이로 제한하여 확률로 해석, 입력이 아주 크거나 작을때 기울기가 거의 0에 가까워지는 기울기 소실

         문제 있음

-       Tanh 함수 : 시그모이드 함수의 변형으로 -1에서 1사이의 값을 출력하며, 학습 성능을 향상시키는 효과

-       ReLU 함수 : 양수 입력에 대해서는 그대로, 음수 입력에 대해서는 0을 반환하여 기울기 소실 문제를 해결하는 데 유용

-       Leaky ReLU 함수 : 음수 입력에서 작은 기울기를 유지하여, ReLU의 단점을 보완함

 

경사하강법 (Gradient Descent)과 역전파(Backpropagation)

-       경사하강법은 손실 함수의 값을 최소화하기 위해 가중치와 바이어스를 조정하는방법

-       순전파 (Forward Propagation) : 입력 데이터가 네트워크를 거쳐 예측값을 생성하는 과정

-       역전파 (Backpropagation) : 예측값과 실제값의 오차를 계산하여 가중치와 바이어스의 기울기를 계산하고, 이를 경사하강법으로 최

         적화

-       학습률 (Learning Rate) : 모델이 최적의 값에 도달하기 위해 한번에 이동하는 크기, 경사하강법에서 한 번에 얼마만큼 이동할지를

         정해주는 값

-       학습률이 너무 큰 경우는 손실함수가 최소화되는 지점을 지나쳐 최적점을 찾기 어렵고, 오히려 손실값이 점점 커지는 경우도 있음

-       학습률이 너무 작은 경우는 모델이 최적의 값으로 수렴하긴 하지만 시간이 오래걸려 학습속도가 떨어지게 됨

 

벡터화 (Vectorization)

-       많은 데이터에 대해 효율적으로 계산하기 위해 for-loop를 벗어나 벡터 연산을 사용

-       GPU를 통한 병렬 처리를 지원하여 신경망 학습 속도를 향상시킵니다.

 

예제)

1. True/False: 신경망의 출력층에서 ReLU 함수를 사용하는 것이 가장 일반적이다.

• 정답: False. 이진 분류의 경우 출력층에서 시그모이드 함수를 사용하는 것이 일반적입니다.

2. 다음 중 활성화 함수가 아닌 것은? (a) Sigmoid (b) Tanh (c) Linear (d) Dropout

• 정답: (d) Dropout. Dropout은 활성화 함수가 아닌 정규화 기법입니다.

3. True/False: ReLU 함수는 기울기 소실 문제를 해결하는 데 도움이 된다.

• 정답: True. ReLU는 양수 입력에 대해서는 기울기가 유지되어 기울기 소실 문제를 완화합니다.

4. 역전파의 주요 역할은 무엇인가?

• 정답: 예측값과 실제값 간의 오차를 기반으로 각 가중치와 바이어스의 기울기를 계산하여 경사하강법을 통해 학습을 진행하는 것입니다.

5. 벡터화를 통해 얻을 수 있는 이점은 무엇인가?

• 정답: 벡터화를 통해 계산 효율성을 높이고, 병렬 처리를 통해 학습 속도를 향상시킬 수 있습니다.

6. True/False: Tanh 함수는 시그모이드 함수보다 학습을 더 쉽게 만드는 경향이 있다.

• 정답: True. Tanh 함수는 출력값의 범위가 넓어 시그모이드 함수보다 학습 성능을 개선할 수 있습니다.

7. 경사하강법이란 무엇인가?

• 정답: 손실 함수를 최소화하기 위해 가중치와 바이어스를 업데이트하여 모델을 최적화하는 알고리즘입니다.

8. True/False: 은닉층이 없는 신경망을 단층 신경망이라고 한다.

• 정답: True. 은닉층이 없는 경우 단층 신경망(로지스틱 회귀)이라고 합니다.

9. 신경망의 출력값을 0과 1 사이의 확률로 변환하는 함수는 무엇인가?

• 정답: 시그모이드 함수입니다.

10. 경사하강법에서 학습률(Learning Rate)의 역할은 무엇인가?

• 정답: 학습률은 가중치와 바이어스를 업데이트할 때 기울기의 크기를 조절하여 학습 속도를 결정합니다.