AI/Deep Learning6 Activation function, 활성함수의 특징 인공신경망에서 비선형으로 변환하기 위한 activation function, 활성 함수는 크게 6가지가 잘 알려져 있다. 1. Sigmoid가장 많이 사용되었던 활성함수 형태로 Sigmoid 함수의 출력 값은 항상 (0, 1) 구간에 있다. 𝑥 = 0 을 기준으로 대칭적이며, 𝑓(0) = 0.5 이다. 단조 증가하는 형태를 보이며, 복잡한 패턴 학습이 가능하고 전체 구간에서 미분이 가능하다.위 그림과 같이 saturated 구간이 발생한다. 이 구간에서 입력 신호의 총 합이 크거나 작을 때, 기울기가 0 에 가까워 보이는데 이 현상을 saturated 라고 한다. 이는 gradient vanishing 문제를 발생시킨다.또한 Not zero-centered, 즉 출력값의 평균이 0 이 아닌 0.5 를.. 2024. 11. 30. MLE 최대화가 Cross entropy 최소화와 같은 효과인 이유 MLE(Maximum Likelihood Estimation)을 이해하기 위해서는 먼저 Likelihood에 대해서 이해해야 한다. Likelihood란 어떤 일이 일어날 ‘가능도’를 뜻하기 때문에 확률로 해석하는 게 더 매끄럽다. 하지만 확률(Probability)과는 조금 다른 의미가 있다. Probability는 주어진 확률 분포가 고정된 상태에서 관측되는 사건이 변화될 때를 의미한다면, Likelihood는 관측된 사건이 고정된 상태에서, 확률 분포가 변화될 때를 표현하는 의미이다. 따라서 MLE는 이 Likelihood가 최대가 되는 값을 구하는 과정, 즉 관측되는 데이터들을 가장 잘 모델링하는 확률분포의 parameter를 찾는 과정이다. 로지스틱 회귀모델에서 MLE를 위해 다음과 같은 식을 .. 2024. 11. 30. PSNR과 SSIM 설명 이미지 관련 분야에 자주 등장하지만, super resolution을 공부하면서 PSNR와 SSIM을 접하게 되었다. PSNR(Peak Signal to Noise Ratio)와 SSIM(Structure Similarity Index Map)은 super resolution에서 SOTA(State of the art)를 평가하기 위해 사용하는데, 쉽게 생각하면 이미지가 얼마나 적게 손실되었는가를 나타낸다. 즉 이미지의 품질을 나타내는 지표라고 볼 수 있다. PSNR PSNR을 화질의 손실량을 평가하기 위해 사용하며, 아래와 같이 계산할 수 있다. $PSNR = 10\;log_{10}(\cfrac{MAX_{i}^{2}}{MSE})$ $MSE = \cfrac{\sum_{M,N}[I_{1}(m, n)-I_{.. 2024. 2. 6. AutoEncoder(AE) AutoEncoder(오토 인코더)의 개념 AutoEncoder(AE)는 대표적인 비지도학습(Unsupervised-Learning) 신경망 모델이다. 기본적인 구조는 아래 그림과 같이 인코더(Encoder)와 디코더(Decoder)로 구성되어 있다. Input data에 대해 인코딩(압축)한 후 다시 원래 Input data로 디코딩(복원)하는 개념이다. 아래 그림에서 보면 Input data $x$에 4라는 이미지 값이 들어와 있고, 이 input을 인코더로 압축하여 $z$를 생성한다. 이 때, 이 $z$를 Latent Vector라고 부르며 Latent Vector는 input data를 압축하여 차원을 축소한 것으로 볼 수 있다. Input data의 차원이 잘 축소되었는지 확인하기 위해서 이를 .. 2023. 8. 25. Deep Neural Network (DNN) Deep Neural Network (DNN) DNN은 MLP에서 다소 확장된 개념으로 다수의 hidden layer를 가지고 있는 인공신경망이다. 즉, DNN에서 “Deep”은 hidden layer가 많다는 의미이다. Layer수가 많아지면서 데이터의 feature(특징)를 더 잘 추출할 수 있다. 아래 그림에서 각 원은 노드(Node)라고 부르는데, Input Node는 Input data의 변수의 수가 되며 Hidden Layer와 Node는 사용자가 지정해야 할 Hyperparameter, 그리고 Output Node의 수는 풀고자 하는 문제에 따라 달라진다. 예를 들어 숫자를 구분하는 문제라면 0~9까지 총 10개로 구분 가능하므로 Output Node의 수는 10이 된다. MPL 소개 : h.. 2023. 5. 17. 퍼셉트론(perceptron)과 Multilayer Perceptron(MLP) 퍼셉트론 (perceptron) 퍼셉트론이란? 퍼셉트론은 Frank Rosenblatt가 1957년에 고안한 알고리즘이다. 다수의 신호를 입력받아 하나의 신호를 출력하는 feedforward 형태의 네트워크로 선형분류기로도 볼 수 있다. 인간의 뉴런은 dendrite를 통해 입력 받은 신호가 어떠한 임계치(threshlod)를 넘어서면 활성화(activate)되는 동작을 하는데 이 현상을 컴퓨터로 구현한 것이 퍼셉트론이다. 퍼셉트론의 개념을 도식화하면 다수의 입력 값 $x$가 있을 때, 중요도에 따라 각각의 입력 값에 $w$(weight)를 곱해 준 후 bias를 더한다. 그 결과 값들을 모두 더하여 하나의 값($z)$으로 만든다. 마지막으로 $z$값을 0과 1로 반환해 줄 수 있는 활성 함수(Activ.. 2023. 5. 16. 이전 1 다음
