Logistic Regression 로지스틱 회귀

퍼셉트론

-       인공신경망의 기본 단위

-       입력 데이터에 가중치를 곱하고, 결과값이 임계값을 넘으면 활성화 되어 1을 출력, 그렇지 않으며 0 출력

 

Adaline (Adaptive Linear Neuron)

-       아달린은 퍼셉트론을 발전시킨 모델로, 연속적인 출력 값을 가짐

-       아달린은 퍼셉트론과 비슷하게 작동하지만, 활성화 함수가 없고, 선형함수를 사용하여 출력값을 계산

-       학습 과정에서 실제 출력과 목표 출력 간의 오차를 최소화하는 방식으로 가중치를 조정하는데, 경사하강법을 사용함

 

로지스틱 회귀 개념

-       로지스틱 회귀는 이진분류(Binary Classification)에 사용되는 모델로, 주어진 데이터가 특정 클래스에 속할 확률을 추정함

-       확률을 0과 1사이로 제한하기 위해 시그모이드(Sigmoid) 함수를 활용하여, 입력값이 특정 클래스에 속할 확률로 해석할 수 있도록함

 

로지스틱 회귀의 수학적 정의

-       선형회귀와 달리 로지스틱 회귀는 확률 p를 0에서 1로 제한하기위해 logit 함수와 시그모이드 함수를 사용

-       로짓 함수는 사건이 일어날 확률과 일어나지 않을 확률의 비율(odds)을 로그로 변환한 형태

-       최종 결과는 시그모이드 함수를 통해 비선형 변환되어 확률 값을 출력

 

+ 로지스틱 회귀의 과정 요약

1.로지스틱 회귀에서는 확률을 예측하기 위해 입력 값에 따라 선형 결합 wx+b를 계산함

2.그런데, 그대로 선형결합을 사용하면 해석의 어려움이 있음

3.이를 해결하기위해 로짓함수를 선형 결합과 같다고 가정하여 예측 확률을 구함

4.시그모이드 함수를 통해 최종 예측 확률을 0~1로 변환함

 

비용 함수(Cost Function)와 손실 함수(Loss Function)

-       단일 데이터에 대해 손실을 계산하는 손실함수 Loss Function과, 전체 데이터 세트에 대해 손실을 계산하는 비용함수 Cost         

          Function으로 구성됨

-       손실함수는 모델이 단일 학습 예제에 대해 얼마나 잘 예측하고 있는지를 평가하는 함수

-       비용함수는 전체 데이터셋에 대해 모델이 얼마나 잘 예측하는 지 평가하는 함수

-       로지스틱 회귀에서 일반적으로 사용되는 손실 함수로는 크로스 엔트로피 손실(cross-entropy-loss) 실제 레이블과 예측된 확률 사

          이의 차이를 측정

-       이진분류 문제에서는 각 샘플의 결과를 크로스 엔트로피로 측정하여 전체 모델의 성능을 평가

 

모델 훈련 및 최적화

-       모델 학습을 위해 경사하강법 (Gradient Descent) 사용

-       경사하강법은 손실 함수를 최소화하기 위해 모델의 매개변수를 조정하는 최적화 알고리즘

-       가중치와 편향을 조절하여 비용 함수가 최소화되도록 반복적으로 업데이트하며 학습

-       학습 속도는 학습률 (learning rate)에 의해 결정되며, 학습률 설정에 따라 수렴속도의 안정성이 달라짐

 

Computing Gradient(기울기 계산)

-       기울기를 계산하는 과정은 역전파 알고리즘을 통해 이루어짐

-       계산 그래프를 통해 순전파(forward propagation)와 역전파(backward propagation) 과정을 시각적으로 이해

-       계산그래프의 목적은 미분계산을 단순화하고, 역전파를 쉽게 할 수 있게 함

-       순전파로 예측을 계산하고, 역전파로 손실 함수의 편미분을 통해 가중치와 편향을 업데이트

 

 

 

 

예제)

1. [True/False] 로지스틱 회귀는 이진 분류 문제에서 사용되며, 확률을 출력한다

• 답변: True 풀이: 로지스틱 회귀는 이진 분류에 적합하며, 시그모이드 함수를 통해 확률을 출력함

2. 퍼셉트론 학습 규칙에 따라 학습되는 항목이 아닌 것은 (a)가중치 (b)바이어스 (c)활성함수 (d)학습률

• 답변: ©활성함수 풀이: 활성함수는 모델의 구조에 따라 고정되어있으며, 학습 규칙에 의해 조정되지 않음

3. 로지스틱 회귀에서 사용되는 손실 함수는 무엇인가? (a) 평균 제곱 오차 (b)교차엔트로피 손실 (c) 절대 오차 (d) 제곱오차

• 답변: (b)교차엔트로피손실 풀이: 로지스틱 회귀는 교차엔트로피 손실함수를 사용하여 모델의 성능을 평가함

4. True/False: 아달린 모델은 활성화 함수로 시그모이드 함수를 사용한다.

• 답변: False 풀이: 아달린은 선형 활성화함수를 사용함

5. 시그모이드 함수의 출력범위는?

• 답변: 0에서 1 사이의 값. 시그모이드 함수는 입력값을 0과 1사이의 확률로 변환함

6, 경사하강법의 목적은 무엇인가?

• 답변: 비용함수를 최소화하는 방향으로 가중치와 바이어스를 업데이트하여 모델의 성능을 최적화하는 것

7. True/False: 경사하강법은 모든 데이터 샘플을 사용하여 가중치를 업데이트하는 알고리즘이다.

• 답변: False 경사하강법에는 전체 데이터를 사용하는 배치 경사하강법뿐만 아니라, 확률적 경사하강법과 미니배치 경사하강법이 있음

8. 로지스틱 회귀에서 사용되는 시그모이드 함수의 식은 무엇인가?

• 답변:

 

10. 컴퓨테이션 그래프에서의 역전파는 무엇을 계산하기 위한 과정인가요

• 답변: 모델의 파라미터에 대한 손실함수의 그래디언트를 계산하여 경사하강법을 통해 퇴적화를 수행