Deep neural network

심층 신경망 (Deep Neural Network, DNN)

-       여러 개의 은닉층을 포함하여 복잡한 패턴과 고차원의 특성을 학습할 수 있음

-       층이 많을수록 더 깊은 구조로, 이를 딥 네트워크라고 하며 얕은 네트워크보다 더 복잡한 문제를 해결 가능

 

다층퍼셉트론 (Multilayer Perceptron, MLP)

-       은닉층과 출력층에 대한 가중치와 바이어스를 초기화하고, 순전파와 역전파를 통해 학습을 진행함

 

정규화 및 하이퍼파라미터 튜닝

-       모델의 과적합을 방지하기 위해 L2 정규화 (L2 Regularization)을 적용할 수 있음

-       학습률, 미니배치 크기, 에포크 수 등의 하이퍼파라미터는 실험을 통해 최적값을 찾아야 함

 

예제)

 

1. True/False: 딥 뉴럴 네트워크는 하나의 은닉층만 포함하는 신경망을 의미한다.

• 정답: False. 딥 뉴럴 네트워크는 여러 개의 은닉층을 포함하는 신경망을 의미

2. 다층 퍼셉트론에서 순전파와 역전파의 역할을 설명하세요

• 정답: 순전파는 입력 데이터를 통해 예측값을 계산하는 과정이며, 역전파는 예측값과 실제값의 오차를 이용해 가중치를 조정하는 과정

3. True/False: ReLU 함수는 출력층에서 사용하기 적합하다.

• 정답: False, ReLU함수는 주로 은닉층에서 사용되며, 출력층에는 이진 분류의 경우 Sigmoid 함수를 사용하는 것이 일반적

4. 딥뉴럴네트워크에서 은닉층의 수가 많아질 수록 발생할 수 있는 문제는 무엇인가요.

• 정답: 과적합 문제와 기울기소실 문제가 발생할 수 있음

5. True/False: 역전파는 순전파와 반대 방향으로 기울기를 계산하여 가중치를 업데이트하는 과정이다.

• 정답: True, 역전파는 순전파와 반대 방향으로 오차를 전달하며 가중치를 업데이트함

6. L2 정규화의 주요 목적은 무엇인가요.

• 정답: 모델의 복잡도를 줄여 과적합을 방지하는데 도움을 줌

7. MNIST 데이터셋을 학습할 때, 학습 데이터를 훈련과 검증 세트로 나누는 이유는 무엇인가요?

• 정답: 모델이 잘 학습되었는지 검증하고, 과적합을 방지하기 위해