DeepFloyd IF

주요 기능 및 특징

DeepFloyd IF는 동결된 텍스트 인코더와 3개의 계단식 픽셀 확산 모듈로 구성된 모듈형 모델입니다. 텍스트 프롬프트를 바탕으로 64x64 px 이미지를 생성하는 기본 모델과, 256x256 px 및 1024x1024 px처럼 점점 높은 해상도의 이미지를 생성하도록 설계된 2개의 초해상도 모델로 이루어집니다. 모든 단계에서는 T5 트랜스포머 기반의 동결된 텍스트 인코더로 텍스트 임베딩을 추출한 뒤, 이를 크로스 어텐션과 어텐션 풀링이 적용된 UNet 아키텍처에 입력합니다. COCO 데이터셋에서 제로샷 FID 점수 6.66을 달성해 현재의 최첨단 모델을 능가하며, 계단식 확산 모델의 첫 단계에서 더 큰 UNet 아키텍처가 지닌 가능성을 보여줍니다.

주요 모드 및 활용 사례

1. Dream(텍스트-이미지): 텍스트 프롬프트를 바탕으로 이미지를 생성하며, guidance_scale 및 sample_timestep_respacing과 같은 매개변수를 사용자 지정할 수 있습니다.
2. 제로샷 이미지-이미지 변환(스타일 전이): support_pil_img의 스타일로 프롬프트 결과를 생성합니다. 전문 오리가미, 유화, 플라스틱 조립 블록, 클래식 애니메이션 등의 스타일을 지원합니다.
3. 초해상도: IF로 생성하지 않은 이미지에도 IF-II와 IF-III 또는 Stable x4를 적용해 저해상도 이미지를 고해상도로 확대할 수 있습니다.
4. 제로샷 인페인팅: 제공된 원본 이미지, 인페인팅 마스크, 텍스트 프롬프트를 바탕으로 이미지의 일부를 다시 그립니다.

사용 방법 및 통합

• Hugging Face Diffusers 라이브러리와 통합되며, 모델을 CPU로 오프로딩하면 최소 14 GB VRAM으로 전체 IF 파이프라인을 실행할 수 있습니다. torch>=2.0.0을 사용하는 경우 모든 enable_xformers_memory_efficient_attention() 함수를 삭제해야 합니다.
• Hugging Face 계정이 필요합니다. 모델 카드에서 라이선스에 동의한 후 액세스 토큰을 사용해 huggingface_hub에 로컬 로그인해야 합니다.
• Python 라이브러리 deepfloyd_if를 통한 로컬 설치도 가능하며, xformers와 CLIP이 필요합니다.

하드웨어 요구 사항

• IF-I-XL (4.3B) 및 IF-II-L (1.2B)에는 최소 16GB VRAM이 필요합니다. Stable x4 업스케일러를 포함해 1024x1024까지 처리하려면 24GB VRAM이 필요합니다. xformers와 환경 변수 FORCE_MEM_EFFICIENT_ATTN=1 설정이 필요합니다.

모델 구성 및 규모

IF-I-M (400M), IF-I-L (900M), IF-I-XL (4.3B), IF-II-M (450M), IF-II-L (1.2B), IF-III-L (700M) 등 다양한 파라미터 규모의 모델을 포함합니다.

가격 및 라이선스

코드는 일부 제한 사항이 포함된 별도 라이선스로 공개됩니다. IF 모델의 초기 릴리스는 한시적으로 연구 목적 전용 제한 라이선스로 제공되며, 이후 완전한 오픈 소스 모델을 공개할 예정입니다. 모델 가중치는 Hugging Face에서 무료로 이용할 수 있습니다.