전체 글46 [논문 리뷰] TimeMixer: Decomposable Multiscale Mixing For Time Series Forecasting (ICLR, 2024) TimeMixer는 ICLR 2024에서 poster 발표한 연구이다. 전통적으로 시계열에 대한 분해는 decomposition(트렌드, 계절성, 잔차 등으로 분해 하는 방법)과, multiperiodicity(주기에 따른 분해)등으로 구성된다. 하지만 해당 연구는 새로운 관점인 multi scale 관점에서의 분해를 제안한다. 누구나 생각해볼만한 분해지만 시계열 예측 연구에 도입된 것은 처음 보았기 때문에 신선하면서도 나는 왜 이런걸 못할까란 생각도 들었다. 한편으로는 최근 시계열 연구는 트랜스포머 기반, 선형 모델, 사전학습 모델 등으로 발전되고 있는데 가장 계산 효율이 좋은 선형 모델을 사용하여 좋은 성능을 낸다는 것도 주목할만한 연구인 것 같다. Introduction다양한 변동이 포함되는 시계열.. 2025. 1. 24. [논문 리뷰] Image-based time series forecasting: A deep convolutional neural network approach (Neural Networks, 2023) 시계열 예측에 이미지를 활용한 방법은 없을까 찾다가 보게 된 논문이다. 시계열 데이터를 전통적인 수리적 기법의 인풋으로 넣는 것이 아닌, 이미지 형태의 시각적 표현을 고려한다. 이런 심플한 방법이 기존에 왜 없었을까 의문이였는데 아무리 찾아보아도 이와 유사한 연구는 이 논문과 ViTST (NeurIPS, 2023)정도 밖에 찾지 못했다. 다만 단변량 예측이라는 부분이 조금 아쉬운 부분이다. Introduction컴퓨터 비전 분야에서 ML과 DL은 이미지 분류, segmentation, object detection, 노이즈 제거, 이미지 생성 등 다양한 패턴 인식 및 콘텐츠 이해 작업에 성공적으로 적용되었다. 특히 CNN 구조는 이미지 인식 성능을 지속적으로 향상시켰다. 대부분의 최신 DL 시계열 예측 .. 2025. 1. 2. [논문 리뷰] TimesNet: Temporal 2D-Variation Modeling For General Time Series Analysis (ICLR, 2023) TimesNet은 FFT를 이용하여 시계열 데이터의 다주기성을 주요 특징으로 삼아 학습한다는 점에 의미가 있는 모델이다. 사실 하나의 시계열 데이터는 그 안에 여러가지 요소들이 복합적으로 합쳐진 데이터 일 것이므로, 이 접근이 타당할 수도 있을 것이다. 또 일반적으로 "예측"에만 포커스를 맞추는 다른 시계열 모델들과 달리, forecast, imputation, classification, anomaly detection의 모든 작업에서 평가 하였으며, 모든 작업에서 SOTA를 달성하였다. Introduction많은 연구에서는 시계열의 연속성, 주기성, 추세 등과 같은 본질적 특성을 잘 반영할 수 있는 시간적 변동에 초점을 맞춘다. 그러나 실제 데이터에서는 이 변동성이 아주 복잡하여 모델링을 매우 어렵게.. 2024. 12. 30. Stable Diffusion UNet 구조 Stable Diffusion, Latent Diffusion Model은 논문에서 컨셉은 잘 설명하고 있으나, 명확한 구조를 알려주진 않는다. paper 그 구조 역시 인터넷에 좋은 자료가 없는 것 같아 코드를 이해하면서 구조를 만들어보았다. 전체적인 구조를 다 그릴 수 없어서 UNet에 집중해서 작성하였다. 여기서 예시는 클래스 조건부 모델이다. 모델의 시작은 Latent 공간에서 시작하며, Down/Mid/Up layer가 각각 2개라고 가정한다. 전체 구조 Down Layer와 Up Layer는 각각 ResNet 블럭과 Self Attention 블럭으로 구성된다. 반면 Mid Layer의 경우 ResNet 블럭이 등장 한 후, Self Attention과 ResNet 블럭의 쌍으로 2개 laye.. 2024. 12. 19. ERROR: Could not find C:\Program Files (x86)\Microsoft Visual Studio\Installer\vswhere.exe 가끔 파이썬 패키지를 설치하다보면 아래와 같은 에러가 발생하는 경우가 있다. ERROR: Could not find C:\Program Files (x86)\Microsoft Visual Studio\Installer\vswhere.exe 이 에러는 Visual Studio Build Tools가 없기 때문에 발생하는 것이다.아래 사이트에서 설치할 수 있는데,https://visualstudio.microsoft.com/ko/downloads/ Visual Studio Tools 다운로드 - Windows, Mac, Linux용 무료 설치Visual Studio IDE 또는 VS Code를 무료로 다운로드하세요. Windows 또는 Mac에서 Visual Studio Professional 또는 Ent.. 2024. 12. 12. 통합적 관점에서의 Diffusion model의 이해 (Part 2: VAE) Part2는 VAE에 관한 내용이다. Part1에서 생성모델의 개념과 ELBO에 대해서 살펴보았다. 여기서 본 ELBO를 가지고 VAE, Variational Autoencoders를 수행할 수 있다. 여기서는 이 VAE에 대해서 자세히 다룬다. 반드시 Part1을 이해하고 이 포스팅을 참고하는 것이 도움이 될 것이다.2024.11.20 - [논문리뷰/Diffusion models] - Understanding Diffusion Models: A Unified Perspective (Part 1: 생성 모델의 개념과 ELBO) Understanding Diffusion Models: A Unified Perspective (Part 1: 생성 모델의 개념과 ELBO)해당 글은 Calvin Luo가 202.. 2024. 12. 10. Activation function, 활성함수의 특징 인공신경망에서 비선형으로 변환하기 위한 activation function, 활성 함수는 크게 6가지가 잘 알려져 있다. 1. Sigmoid가장 많이 사용되었던 활성함수 형태로 Sigmoid 함수의 출력 값은 항상 (0, 1) 구간에 있다. 𝑥 = 0 을 기준으로 대칭적이며, 𝑓(0) = 0.5 이다. 단조 증가하는 형태를 보이며, 복잡한 패턴 학습이 가능하고 전체 구간에서 미분이 가능하다.위 그림과 같이 saturated 구간이 발생한다. 이 구간에서 입력 신호의 총 합이 크거나 작을 때, 기울기가 0 에 가까워 보이는데 이 현상을 saturated 라고 한다. 이는 gradient vanishing 문제를 발생시킨다.또한 Not zero-centered, 즉 출력값의 평균이 0 이 아닌 0.5 를.. 2024. 11. 30. MLE 최대화가 Cross entropy 최소화와 같은 효과인 이유 MLE(Maximum Likelihood Estimation)을 이해하기 위해서는 먼저 Likelihood에 대해서 이해해야 한다. Likelihood란 어떤 일이 일어날 ‘가능도’를 뜻하기 때문에 확률로 해석하는 게 더 매끄럽다. 하지만 확률(Probability)과는 조금 다른 의미가 있다. Probability는 주어진 확률 분포가 고정된 상태에서 관측되는 사건이 변화될 때를 의미한다면, Likelihood는 관측된 사건이 고정된 상태에서, 확률 분포가 변화될 때를 표현하는 의미이다. 따라서 MLE는 이 Likelihood가 최대가 되는 값을 구하는 과정, 즉 관측되는 데이터들을 가장 잘 모델링하는 확률분포의 parameter를 찾는 과정이다. 로지스틱 회귀모델에서 MLE를 위해 다음과 같은 식을 .. 2024. 11. 30. 이전 1 2 3 4 ··· 6 다음 728x90 반응형
