논문리뷰12 [논문 리뷰] TSMixer: An All-MLP Architecture for Time Series Forecasting (arXiv, 2023) 최근 시계열 연구는 대부분 Transformer 모델을 기반으로 발전하고 있다. 물론 여기서 최근이라는 것은 본 논문이 발표된 2023년 기점이며, 2025년 현재는 Transformer계열과 본 연구에서 제안하는 MLP 계열, 그리고 사전 학습 계열들이 탑 컨퍼런스에서 소개되는 것 같다. 아무튼 본 논문은 선형 모델만으로도 Transformer계열의 모델에 근접하는 성능을 내며, 모델은 훨씬 경량화 된다는 연구이다. 그리고 이 논문을 기점으로 아래 Time-Mixer같은 MLP 계열의 SOTA 모델이 등장하면서 다시금 그 영향력을 생각해볼 만한 모델이다.2025.01.24 - [논문리뷰/Time series] - [논문 리뷰] TimeMixer: Decomposable Multiscale Mixing .. 2025. 2. 3. [논문 리뷰] TimeMixer: Decomposable Multiscale Mixing For Time Series Forecasting (ICLR, 2024) TimeMixer는 ICLR 2024에서 poster 발표한 연구이다. 전통적으로 시계열에 대한 분해는 decomposition(트렌드, 계절성, 잔차 등으로 분해 하는 방법)과, multiperiodicity(주기에 따른 분해)등으로 구성된다. 하지만 해당 연구는 새로운 관점인 multi scale 관점에서의 분해를 제안한다. 누구나 생각해볼만한 분해지만 시계열 예측 연구에 도입된 것은 처음 보았기 때문에 신선하면서도 나는 왜 이런걸 못할까란 생각도 들었다. 한편으로는 최근 시계열 연구는 트랜스포머 기반, 선형 모델, 사전학습 모델 등으로 발전되고 있는데 가장 계산 효율이 좋은 선형 모델을 사용하여 좋은 성능을 낸다는 것도 주목할만한 연구인 것 같다. Introduction다양한 변동이 포함되는 시계열.. 2025. 1. 24. [논문 리뷰] Image-based time series forecasting: A deep convolutional neural network approach (Neural Networks, 2023) 시계열 예측에 이미지를 활용한 방법은 없을까 찾다가 보게 된 논문이다. 시계열 데이터를 전통적인 수리적 기법의 인풋으로 넣는 것이 아닌, 이미지 형태의 시각적 표현을 고려한다. 이런 심플한 방법이 기존에 왜 없었을까 의문이였는데 아무리 찾아보아도 이와 유사한 연구는 이 논문과 ViTST (NeurIPS, 2023)정도 밖에 찾지 못했다. 다만 단변량 예측이라는 부분이 조금 아쉬운 부분이다. Introduction컴퓨터 비전 분야에서 ML과 DL은 이미지 분류, segmentation, object detection, 노이즈 제거, 이미지 생성 등 다양한 패턴 인식 및 콘텐츠 이해 작업에 성공적으로 적용되었다. 특히 CNN 구조는 이미지 인식 성능을 지속적으로 향상시켰다. 대부분의 최신 DL 시계열 예측 .. 2025. 1. 2. [논문 리뷰] TimesNet: Temporal 2D-Variation Modeling For General Time Series Analysis (ICLR, 2023) TimesNet은 FFT를 이용하여 시계열 데이터의 다주기성을 주요 특징으로 삼아 학습한다는 점에 의미가 있는 모델이다. 사실 하나의 시계열 데이터는 그 안에 여러가지 요소들이 복합적으로 합쳐진 데이터 일 것이므로, 이 접근이 타당할 수도 있을 것이다. 또 일반적으로 "예측"에만 포커스를 맞추는 다른 시계열 모델들과 달리, forecast, imputation, classification, anomaly detection의 모든 작업에서 평가 하였으며, 모든 작업에서 SOTA를 달성하였다. Introduction많은 연구에서는 시계열의 연속성, 주기성, 추세 등과 같은 본질적 특성을 잘 반영할 수 있는 시간적 변동에 초점을 맞춘다. 그러나 실제 데이터에서는 이 변동성이 아주 복잡하여 모델링을 매우 어렵게.. 2024. 12. 30. Stable Diffusion UNet 구조 Stable Diffusion, Latent Diffusion Model은 논문에서 컨셉은 잘 설명하고 있으나, 명확한 구조를 알려주진 않는다. paper 그 구조 역시 인터넷에 좋은 자료가 없는 것 같아 코드를 이해하면서 구조를 만들어보았다. 전체적인 구조를 다 그릴 수 없어서 UNet에 집중해서 작성하였다. 여기서 예시는 클래스 조건부 모델이다. 모델의 시작은 Latent 공간에서 시작하며, Down/Mid/Up layer가 각각 2개라고 가정한다. 전체 구조 Down Layer와 Up Layer는 각각 ResNet 블럭과 Self Attention 블럭으로 구성된다. 반면 Mid Layer의 경우 ResNet 블럭이 등장 한 후, Self Attention과 ResNet 블럭의 쌍으로 2개 laye.. 2024. 12. 19. 통합적 관점에서의 Diffusion model의 이해 (Part 2: VAE) Part2는 VAE에 관한 내용이다. Part1에서 생성모델의 개념과 ELBO에 대해서 살펴보았다. 여기서 본 ELBO를 가지고 VAE, Variational Autoencoders를 수행할 수 있다. 여기서는 이 VAE에 대해서 자세히 다룬다. 반드시 Part1을 이해하고 이 포스팅을 참고하는 것이 도움이 될 것이다.2024.11.20 - [논문리뷰/Diffusion models] - Understanding Diffusion Models: A Unified Perspective (Part 1: 생성 모델의 개념과 ELBO) Understanding Diffusion Models: A Unified Perspective (Part 1: 생성 모델의 개념과 ELBO)해당 글은 Calvin Luo가 202.. 2024. 12. 10. [논문 리뷰] SR3+: Denoising Diffusion Probabilistic Models for Robust Image Super-Resolution in the Wild SR3+는 CVPR 2023에서 발표되었고, 아주 간단하다. 바로 SR3를 좀 더 강건하게 만들어 보자는 것이다. 그렇다면 어떻게 강건하게 만들 것인가? 바로 super resolution을 위한 degradation, 즉 고화질 이미지를 저화질 이미지로 만들 때 보다 더 복잡한 형태로 만들어서 다양한 형태의 저화질 이미지를 만들어서 학습하자는 것이다. SR3는 아래 소개되어 있다.2024.05.27 - [논문리뷰/Diffusion models] - SR3: Image Super-Resolution via Iterative Refinement (CVPR, 2021) SR3: Image Super-Resolution via Iterative Refinement (CVPR, 2021)해당 논문은 CVPR 2.. 2024. 11. 21. 통합적 관점에서의 Diffusion model의 이해 (Part 1: 생성 모델의 개념과 ELBO) 해당 글은 Calvin Luo가 2022년 arXiv에 게재한Understanding diffusion models라는 논문 내용을 설명하는 것이다. Diffusion 모델이 초기에는 서로 다른 notation으로 정리되어 있어 개별 논문마다 이해가 조금 어려운데, 이 논문은 그런 수식들을 통합하여 작성해서 개인적으로는 diffusion 모델의 전반을 이해하기 참 좋은 논문이였다. 내용이 너무 길어 쪼개서 상세히 기록을 남기고자 한다. 먼저 part1, part2는 diffusion 모델의 기본이 되는 VAE와 VAE를 이해하기 위한 ELBO에 관한 내용이다. 이것이 어떻게 전개되는지 알 수 있다. 1. Introduction: Generative Models어떤 분포로부터 샘플링한 $x$가 주어졌을 때.. 2024. 11. 20. 이전 1 2 다음
