문과지만 괜찮아

*주의!* 작년에 정리하지 못했던 Project Joing의 문서입니다. 포스팅은 아래의 순서로 진행될 예정입니다.이미지 생성 모델 선정 3 - Flux.1 Schnell vs Flux.1 DevFlux.1 Dev Fine-tuning: LoRa & PEFTFlux.1 Dev Fine-tuning: AI-ToolkitFlux.1 Dev Fine-tuning: 학습데이터 수집 학습 데이터 확보와 학습 계획 Flux.1 Dev Fine-tuning: 학습과정 및 결과 비교마무리 및 회고작년 9월 말에 시작한 프로젝트가 12월 말에 드디어 끝났었고 이 포스팅은 그에 대한 회고다.프로젝트 Joing 초기 목표 달성 결과기능 단위 개발 목표LLM Application: 기획안 평가 및 요약, 피드백 생성목표결과총..

*주의!* 작년에 정리하지 못했던 Project Joing의 문서입니다. 포스팅은 아래의 순서로 진행될 예정입니다.이미지 생성 모델 선정 3 - Flux.1 Schnell vs Flux.1 DevFlux.1 Dev Fine-tuning: LoRa & PEFTFlux.1 Dev Fine-tuning: AI-ToolkitFlux.1 Dev Fine-tuning: 학습데이터 수집 학습 데이터 확보와 학습 계획 Flux.1 Dev Fine-tuning: 학습과정 및 결과 비교마무리 및 회고테스트 학습을 통해 현재 어느 정도 학습데이터와 유사한 결과가 출력되고 있다. 이에 더해서 추가적으로 학습계획에 언급한 내용처럼 Fine-tuning을 통해 결과를 비교해 볼 예정이다. 변경사항이 있다면 학습데이터의 비중의 경..

*주의!* 작년에 정리하지 못했던 Project Joing의 문서입니다. 포스팅은 아래의 순서로 진행될 예정입니다.이미지 생성 모델 선정 3 - Flux.1 Schnell vs Flux.1 DevFlux.1 Dev Fine-tuning: LoRa & PEFTFlux.1 Dev Fine-tuning: AI-ToolkitFlux.1 Dev Fine-tuning: 학습데이터 수집 학습 데이터 확보와 학습 계획 - 2Flux.1 Dev Fine-tuning: 학습과정 및 결과 비교마무리 및 회고학습계획 작성 이후에 Caption 생성과 테스트 학습을 진행했다. Caption 생성Caption 생성의 경우 AI-Toolkit에서도 사용한 Florence-2 모델을 활용했다.간단하게 Florence-2 모델의 경우..

*주의!* 작년에 정리하지 못했던 Project Joing의 문서입니다. 포스팅은 아래의 순서로 진행될 예정입니다.이미지 생성 모델 선정 3 - Flux.1 Schnell vs Flux.1 DevFlux.1 Dev Fine-tuning: LoRa & PEFTFlux.1 Dev Fine-tuning: AI-ToolkitFlux.1 Dev Fine-tuning: 학습데이터 수집 학습 데이터 확보와 학습 계획Flux.1 Dev Fine-tuning: 학습과정 및 결과 비교마무리 및 회고직전 포스팅에서는 AI-Toolkit의 선정 배경이었다면 지금부터는 본격적인 AI-Toolkit을 활용한 Fine-tuning 과정이다. 먼저 AI-Toolkit을 활용한 Fine-tuning을 위해서 아래와 같은 순서로 작업을..

*주의!* 작년에 정리하지 못했던 Project Joing의 문서입니다. 포스팅은 아래의 순서로 진행될 예정입니다.이미지 생성 모델 선정 3 - Flux.1 Schnell vs Flux.1 DevFlux.1 Dev Fine-tuning: LoRa & PEFTFlux.1 Dev Fine-tuning: AI-ToolkitFlux.1 Dev Fine-tuning: 학습데이터 수집 학습 데이터 확보와 학습 계획Flux.1 Dev Fine-tuning: 학습과정 및 결과 비교마무리 및 회고저번 포스팅에서 잠시 언급했듯이 LoRa Fine-tuning을 통해 우리는 기존 모델의 weight를 조정하는 adapter를 만들어야 한다. 구체적인 LoRa가 Adapter를 만드는 과정은 아래의 포스팅을 확인하면 된다. ..

*주의!* 작년에 정리하지 못했던 Project Joing의 문서입니다. 포스팅은 아래의 순서로 진행될 예정입니다.이미지 생성 모델 선정 3 - Flux.1 Schnell vs Flux.1 DevFlux.1 Dev Fine-tuning: LoRa & PEFTFlux.1 Dev Fine-tuning: AI-ToolkitFlux.1 Dev Fine-tuning: 학습데이터 수집 학습 데이터 확보와 학습계획Flux.1 Dev Fine-tuning: 학습 및 결과 비교마무리 및 회고왜 하필 LoRa일까?Image Generation Model을 Fine-tuning 하기 위해서 대표적으로 2가지 방식이 있다. 첫번째로는 DreamBooth이고 두번째가 LoRa 방식이다. (Full Fine-tuning도 있으나..

*주의!* 작년에 정리하지 못했던 Project Joing의 문서입니다. 포스팅은 아래의 순서로 진행될 예정입니다.이미지 생성 모델 선정 3 - Flux.1 Schnell vs Flux.1 DevFlux.1 Dev Fine-tuning: LoRa & PEFTFlux.1 Dev Fine-tuning: AI-ToolkitFlux.1 Dev Fine-tuning: 학습데이터 수집Flux.1 Dev Fine-tuning: 학습 및 결과 비교마무리 및 회고 작년(2024년)에 '이미지 생성 모델 선정 2'를 작성한 내 자신에게 소리치고 싶다. '야 그거 아니야!!!' 문제상황 1: Flux.1 Schnell의 특징Flux.1 Schnell을 사용하기로한 결정적인 이유 'GPU를 상대적으로 적게 사용하고', '생성..

이전의 포스트에 이어 이번에는 모델 선정의 결과와 선정 배경에 대해 정리했다. 먼저 모델 선정 결과는 'Flux.dev'이다.(schnell의 경우 비용 문제와 용량 문제로 인해 불가능하다.) 먼저 선정에 있어 아래의 내용들을 먼저 각 모델별로 테스트해 봤다. 구체적인 Prompt를 구성한 뒤 생성Prompt 변경에 따른 생성 차이 비교Prompt에 대한 이해도 및 세부적인 지시 사항 이행여부 판단연속생성 및 리소스 네개의 이미지를 순차적으로 생성하기에 그 시간 또한 중요하다리소스가 얼마나 사용되는지는 리소스가 제한적인 상황에서 가장 중요한 부분이라고 할 수 있다. Prompt의 경우 추후에도 신경 써야 하는 부분이기 때문에 프로젝트 생성을 위해 기본적인 구조 구성을 감안하여 진행하였다. PromptPr..

현재까지 구현한 기능들은 단순하다. 공통적인 로직은 아래와 같다.요청이 들어온다.요청에 대한 평가를 진행한다.텍스트를 평가한다.이미지로 평가한다.평가 결과를 생성한다.그리고 모든 평가 기준들이 Prompt로 들어가 있기 때문에 특별한 기술이 들어가 있는 상태는 아니다.  그렇기 때문에 새로운 나의 개발 능력을 어필할 수 있는 새로운 기능에 대해 고민해봤고 Project Joing이 기획자와 크리에이터를 매칭해 주는 플랫폼이라는 사실을 바탕으로 기획자의 기획안을 시각화해 주는 기능에 대해 생각하게 됐다. 그래서 아래의 과정을 통해서 기획자의 기획안을 시각화해주는 콘티 생서기: Storyboard Generator를 만들기로 했다.  먼저 현재 기준으로 생각중인 작동 로직은 아래와 같다.작성된 기획안 중 콘..

기획안을 평가하고 요약하는 기능을 프로젝트를 위해 구현하기 전 Evaluation Bot에 대한 MVP를 정의하고 아래와 같이 구현했습니다.  먼저 기획의도에 맞게 아래의 내용들을 MVP에 선정하였습니다.1차 평가: 정량평가2차 평가: 내용평가3차 평가: 영상 심의 평가그리고 추가적으로 이번 구현과 추후 프로젝트 진행에 있어 핵심인 좋은 기획안과 나쁜 기획안 데이터를 확보했습니다. 먼저 Evaluation Bot의 각 평가에 대한 구현 동기와 과정은 아래와 같습니다.구현 동기1차 평가: 먼저 프로젝트 핵심 목표로써 기존의 서비스에서의 효율적이 AI 사용기준이 존재해야 한다고 판단했습니다. 그래서 간단한 수치적인 평가를 통해 2,3차 평가에서의 AI 사용에 대한 기준점으로 삼게 됐습니다. 2차 평가: 현재..