논문리뷰9 TimesNet: Temporal 2D-Variation Modeling For General Time Series Analysis (ICLR, 2023) TimesNet은 FFT를 이용하여 시계열 데이터의 다주기성을 주요 특징으로 삼아 학습한다는 점에 의미가 있는 모델이다. 사실 하나의 시계열 데이터는 그 안에 여러가지 요소들이 복합적으로 합쳐진 데이터 일 것이므로, 이 접근이 타당할 수도 있을 것이다. 또 일반적으로 "예측"에만 포커스를 맞추는 다른 시계열 모델들과 달리, forecast, imputation, classification, anomaly detection의 모든 작업에서 평가 하였으며, 모든 작업에서 SOTA를 달성하였다. Introduction많은 연구에서는 시계열의 연속성, 주기성, 추세 등과 같은 본질적 특성을 잘 반영할 수 있는 시간적 변동에 초점을 맞춘다. 그러나 실제 데이터에서는 이 변동성이 아주 복잡하여 모델링을 매우 어렵게.. 2024. 12. 30. Stable Diffusion UNet 구조 Stable Diffusion, Latent Diffusion Model은 논문에서 컨셉은 잘 설명하고 있으나, 명확한 구조를 알려주진 않는다. paper 그 구조 역시 인터넷에 좋은 자료가 없는 것 같아 코드를 이해하면서 구조를 만들어보았다. 전체적인 구조를 다 그릴 수 없어서 UNet에 집중해서 작성하였다. 여기서 예시는 클래스 조건부 모델이다. 모델의 시작은 Latent 공간에서 시작하며, Down/Mid/Up layer가 각각 2개라고 가정한다.전체적인 구조는 다음과 같다. Down Layer와 Up Layer는 각각 ResNet 블럭과 Self Attention 블럭으로 구성된다. 반면 Mid Layer의 경우 ResNet 블럭이 등장 한 후, Self Attention과 ResNet 블럭의 쌍.. 2024. 12. 19. Understanding Diffusion Models (Part 2: VAE) Part2는 VAE에 관한 내용이다. Part1에서 생성모델의 개념과 ELBO에 대해서 살펴보았다. 여기서 본 ELBO를 가지고 VAE, Variational Autoencoders를 수행할 수 있다. 여기서는 이 VAE에 대해서 자세히 다룬다. 반드시 Part1을 이해하고 이 포스팅을 참고하는 것이 도움이 될 것이다.2024.11.20 - [논문리뷰/Diffusion models] - Understanding Diffusion Models: A Unified Perspective (Part 1: 생성 모델의 개념과 ELBO) Understanding Diffusion Models: A Unified Perspective (Part 1: 생성 모델의 개념과 ELBO)해당 글은 Calvin Luo가 202.. 2024. 12. 10. SR3+: Denoising Diffusion Probabilistic Models for Robust Image Super-Resolution in the Wild SR3+는 CVPR 2023에서 발표되었고, 아주 간단하다. 바로 SR3를 좀 더 강건하게 만들어 보자는 것이다. 그렇다면 어떻게 강건하게 만들 것인가? 바로 super resolution을 위한 degradation, 즉 고화질 이미지를 저화질 이미지로 만들 때 보다 더 복잡한 형태로 만들어서 다양한 형태의 저화질 이미지를 만들어서 학습하자는 것이다. SR3는 아래 소개되어 있다.2024.05.27 - [논문리뷰/Diffusion models] - SR3: Image Super-Resolution via Iterative Refinement (CVPR, 2021) SR3: Image Super-Resolution via Iterative Refinement (CVPR, 2021)해당 논문은 CVPR 2.. 2024. 11. 21. Understanding Diffusion Models: A Unified Perspective (Part 1: 생성 모델의 개념과 ELBO) 해당 글은 Calvin Luo가 2022년 arXiv에 게재한Understanding diffusion models라는 논문이다. Diffusion 모델이 초기에는 서로 다른 notation으로 정리되어 있어 개별 논문마다 이해가 조금 어려운데, 이 논문은 그런 수식들을 통합하여 작성해서 개인적으로는 diffusion 모델의 전반을 이해하기 참 좋은 논문이였다. 내용이 너무 길어 쪼개서 상세히 기록을 남기고자 한다. 먼저 part1, part2는 diffusion 모델의 기본이 되는 VAE와 VAE를 이해하기 위한 ELBO에 관한 내용이다. 이것이 어떻게 전개되는지 알 수 있다. 1. Introduction: Generative Models어떤 분포로부터 샘플링한 $x$가 주어졌을 때, generativ.. 2024. 11. 20. SR3: Image Super-Resolution via Iterative Refinement (CVPR, 2021) 해당 논문은 CVPR 2021에서 소개된 논문으로 SR3 라는 이름으로 알려져 있다. DDPM을 통해 Super Resolution task를 수행하는 방법에 대해서 소개한다. 상세한 논문의 내용보다는 개념 위주로 간단하게 포스팅한다.paper, github 1. IntroductionDeep generative model들은 좋은 이미지 생성 결과들을 보여주었다. 그러나 자기 회귀는 비용이 너무 많이 들고, Normalizaing Flow와 VAE는 품질이 종종 좋지 않다. GAN은 불안정성과 mode collapse 문제가 따라다닌다. 따라서 신중하게 설계된 regularization과 optimization 기법이 필요하다.DDPM 및 denoising score matching에서 영감을 받은 S.. 2024. 5. 27. Diffusion model의 이해 (DDPM: Denoising Diffusion Probabilistic Models) 본 포스팅은 현재 Diffusion model의 기본이 되는 DDPM (Denoising Diffusion Probabilistic Models, 2020, Jonathan Ho, 원문: https://arxiv.org/abs/2006.11239) 을 바탕으로 하나, Diffusion model을 이해하기 위한 기초적인 소개 입니다. 다양한 참고자료를 활용하였으나, 내용 구성 전반의 baseline은 고려대학교 강필성 교수님 유튜브를 참고하였으며, 참고자료는 제일 하단에 명시하였습니다. 제가 잘못 이해한 부분이 있다면 언제든지 댓글 부탁드립니다. 1. Introduction최근에는 다양한 데이터 형태에서 모든 종류의 deep generative model들이 높은 수준의 샘플들을 생성해낸다. GANs, .. 2024. 1. 11. A Heterogeneous Feature-based Image Alignment Method, ICPR(2006) 1. IntroductionImage alignment는 visual surveillance application(매칭 및 인식, 변화 감지 등)의 시작이 되는 중요한 단계전통적인 모션 추정(motion estimation) 방식 (JR Bergen et al., 1992)Direct method: 모든 픽셀의 기울기 및 변위 정보를 활용하여 모션을 추정하고, 모션이 작거나 초기값이 좋을 경우에 잘 작동Feature based method: 모션 추정을 위해 이미지의 특징이 두드러지는 sparse한 집합인 점이나 선을 사용Point는 적당한 원근 변화에서도 감지하기 쉽고 대응하기 때문에, feature-based 방식에서 가장 일반적으로 사용 → 그러나 항공 비디오 이미지, 특히 적외선 센서의 경우 점 .. 2023. 8. 1. 이전 1 2 다음 728x90
