Project Joing: 데이터 수집 - Intro

결국은 다 필요하다.....

 

Project에는 현재 두 개의 정보가 필요하다. 

1. 추천시스템을 위한 정보
   • 기획안을 위한 크리에이터 추천
   • 크리에이터를 위한 기획안 추천
2. 기획안
   • 건전한 기획안
   • 유해한 기획안

추천시스템의 경우에는 수집된 데이터를 바탕으로 추천 모델을 트레이닝할 예정이기에 정량적인 정보이면서 동시에 정확한 정보를 수집해야 했다. 그래서 Youtube Data API를 통해 Youtube에 저장된 정보를 가지고 옴과 동시에 필요한 정보들만 가공해 줬다.

 

그와 다르게 기획안의 경우는 실제로 수집되기 어려운 정보다. 그래서 영상의 대본을 바탕으로 AI를 활용해 직접 생성하기로 하였다. 또한 이 생성된 기획안을 바탕으로 콘티를 생성하는 모델을 만들 예정이다.

 

먼저 추천시스템은 아래의 간단한 로직으로 시작한다. 

1. 유투버를 구분할 수 있는 고유 정보를 수집한다.
   • Selenium
2. 고유 정보를 바탕으로 유튜버의 채널에 대한 정보를 수집한다.
   • Youtube Data API & Google Colab
   • Google Colab & n8n
3. 수집한 정보를 바탕으로 추천에 필요한 정보들을 사전에 가공하여 정리한다.
   • Google Colab

기획안 생성의 경우는 아래와 같은 기본 로직으로 시작한다.

1. 팀원들이 좋아하는 youtube 영상의 URL을 수집한다.
   
   • 수작업
2. URL을 통해 해당 영상의 스크립트를 받아와 스트립트를 가지고 온다.
   • n8n
3. 수집된 스크립트를 통해 기획안을 생성하고 생성된 기획안은 추후 있을 콘티 생성기능을 고려해 기승전결과 같은 요소를 넣어서 생성한다.
   • n8n & OpenAI

 

다음으로는 진행한 데이터 수집 구현에 대해 정리할 예정이다.