Project Joing: StoryBoard Generator(콘티 생성기) - 이미지 생성 모델 선정 3

*주의!* 작년에 정리하지 못했던 Project Joing의 문서입니다. 포스팅은 아래의 순서로 진행될 예정입니다.

• 이미지 생성 모델 선정 3 - Flux.1 Schnell vs Flux.1 Dev
• Flux.1 Dev Fine-tuning: LoRa & PEFT
• Flux.1 Dev Fine-tuning: AI-Toolkit
• Flux.1 Dev Fine-tuning: 학습데이터 수집
• Flux.1 Dev Fine-tuning: 학습 및 결과 비교
• 마무리 및 회고 

작년(2024년)에 '이미지 생성 모델 선정 2'를 작성한 내 자신에게 소리치고 싶다. 

'야 그거 아니야!!!' 

문제상황 1: Flux.1 Schnell의 특징

Flux.1 Schnell을 사용하기로한 결정적인 이유 'GPU를 상대적으로 적게 사용하고', '생성결과가 Stable Diffusion에 비해 뛰어나고', '가벼운 모델.'이였다. 여기서 생성결과를 재외하고 다 틀렸다. 

 

초기에 Prompt를 통해 비교를 하면서 모델의 생성결과와 리소스 사용량을 중심으로 비교를 진행하였고 여기까지는 문제가 되지 않았다. 하지만, 문제는 실서비스와 Fine-tuning을 감안하지 않았었다.

 

Flux.1 Schnell의 핵심은 '빠른 생성'이 가능한 Text to Image 모델이다. 즉, 빠르게 생성하기위해 더 많은 리소스를 사용하고 연속적인 이미지 생성에 있어서 GPU 사용량이 동시에 증가하는 모습을 보였다.(당시의 GPU 사용량 그래프 사진이 현재 유실됐다.) 추가적으로 '가벼운 모델'이라는 표현이 잘못 됐다. 가볍다는 기준이 GPU 사용량인지, 용량인지에 대한 파악 없이 가볍다라고 결정 지었기 때문에 잘못된 방향으로 진행하게 됐다. 

 

문제상황 2: Fine-tuning 방식

모델을 결국 Fine-tuning해야하는 상황에서 Fine-tuning 방식과 관련 툴에 대한 조사가 일절 없었다. 그리고 Fine-tuning 방식과 툴을 선정하고 난뒤에 Flux.1 Schnell을 사용할 수 없다는것을 알게 됐다. 

 

이 문제들은 다행이게도 Flux.1 Dev를 사용하면 간단히 해결할 수 있었다. 되려 생성결과와 리소스 사용이 일정하여 전환하는데에 큰 문제가 없었다.

 

그래서 Flux.1 Schnell이 아닌 Flux.1 Dev를 Fine-tuning을 진행하기로 결정했고 이에 맞춰 Fine-tuning 방식에 대한 선정으로 넘어갔다.

\

Flux.1 Dev Fine-tuning: LoRa & PEFT

Project Joing: StoryBoard Generator(콘티 생성기) Flux.1 Dev Fine-tuning: LoRa & PEFT