반응형

데이터 4

Project Joing: 데이터 수집 - Proposal

이전의 RecSystem을 위한 데이터 수집의 경우 데이터를 Youtube Data API를 통해 가져온 뒤에 어떤 정보에 대한 수정 및 조작도 하지 않았다. 하지만 기획안의 경우에는 상황이 다르다. 그 어떤 곳에서도 기획안을 찾기가 힘들다.기획안이 있다 하더라도 우리의 서비스에서 진행하는 양식과 다르다.이 두 가지 이유 때문에 어쩔 수 없이 기획안의 경우에는 직접 생성해야 하는데 팀원들과 함께하기엔 팀원들에게 미안하고 직접 하기에는 양이 너무 많고 가장 중요한 점은 기획안의 퀄리티에 차이가 우려됐다. 그래서 위와 같은 문제를 해결하기 위해 어쩔 수 없이 LLM을 활용하여 기획안을 생성하기로 했다. 그래서 아래의 영상의 도움을 받아 기획안 생성 Workflow를 생성했다.노코드캣님의 Youtube 요약생..

AI/Projects 2024.11.17

Project Joing: 데이터 수집 - RecSystem

프로젝트의 추천 시스템은 두종류의 추천을 진행한다.기획안 to 크리에이터크리에이터 to 기획안이 두 추천에 있어서 크리에이터에 대한 특징을 잡을 수 있는 정보가 지금 현재 필요하다. 그래서 아래의 로직 바탕으로 크리에이터(Youtube)에 대한 데이터를 수집하려고 한다. Youtube Handles 확보Handles를 Channel ID로 전환Channel ID로 Youtube Channel 정보 조회조회된 정보를 RecSystem 요구 조건에 맞춰 전처리Youtube Handles 확보먼저 Youtube Handles의 경우 대한민국 유튜버 분야별 구독자수 탑 200위까지를 기준으로 확보했고 총 확도한 Handle의 수는 7729개이다.  Handles를 Channel ID로 전환안타깝게도 Handle..

AI/Projects 2024.11.12

Project Joing: 데이터 수집 - Intro

Project에는 현재 두 개의 정보가 필요하다. 추천시스템을 위한 정보기획안을 위한 크리에이터 추천크리에이터를 위한 기획안 추천기획안건전한 기획안유해한 기획안추천시스템의 경우에는 수집된 데이터를 바탕으로 추천 모델을 트레이닝할 예정이기에 정량적인 정보이면서 동시에 정확한 정보를 수집해야 했다. 그래서 Youtube Data API를 통해 Youtube에 저장된 정보를 가지고 옴과 동시에 필요한 정보들만 가공해 줬다. 그와 다르게 기획안의 경우는 실제로 수집되기 어려운 정보다. 그래서 영상의 대본을 바탕으로 AI를 활용해 직접 생성하기로 하였다. 또한 이 생성된 기획안을 바탕으로 콘티를 생성하는 모델을 만들 예정이다. 먼저 추천시스템은 아래의 간단한 로직으로 시작한다. 유투버를 구분할 수 있는 고유 정보..

AI/Projects 2024.11.11

Project Joing: 결국은 데이터 수집

현재까지 Project Joing에서 구현된 기능은 간단하다.기획안과 Youtube 채널을 간단하게 평가하고 평가에 대한 이유와 해당하는 부분에 대한 피드백을 생성해 낸다. 그리고 이번 프로젝트에서작동 로직의 특별함 보다는 구현을 하게된 동기와 과정에 대해 좀 더 집중했다.  하지만 평가 말고도 추천 시스템이 현재 있고 또한 기획안에 대한 추가기능으로 인해 결국 데이터를 가져오고 가져온 데이터를 바탕으로 새로운 데이터를 만들기로 결정 했다. 그래서 먼저 Youtube Data AI를 통해 영상과 채널에 대한 데이터를 수집하고 수집한 데이터를 가공하여서 추천과 새로운 기능에 사용 할 수 있도록 이어 나갈 예정이다. 그리고 이와 더불어 저번처럼 Python 코드만으로 수집과정을 구성하는게 아닌 추가적으로 n..

AI/Projects 2024.11.09
반응형