unet in stable diffusion1 Stable Diffusion UNet 구조 Stable Diffusion, Latent Diffusion Model은 논문에서 컨셉은 잘 설명하고 있으나, 명확한 구조를 알려주진 않는다. paper 그 구조 역시 인터넷에 좋은 자료가 없는 것 같아 코드를 이해하면서 구조를 만들어보았다. 전체적인 구조를 다 그릴 수 없어서 UNet에 집중해서 작성하였다. 여기서 예시는 클래스 조건부 모델이다. 모델의 시작은 Latent 공간에서 시작하며, Down/Mid/Up layer가 각각 2개라고 가정한다.전체적인 구조는 다음과 같다. Down Layer와 Up Layer는 각각 ResNet 블럭과 Self Attention 블럭으로 구성된다. 반면 Mid Layer의 경우 ResNet 블럭이 등장 한 후, Self Attention과 ResNet 블럭의 쌍.. 2024. 12. 19. 이전 1 다음 728x90
