문과지만 괜찮아

프로젝트의 추천 시스템은 두종류의 추천을 진행한다.기획안 to 크리에이터크리에이터 to 기획안이 두 추천에 있어서 크리에이터에 대한 특징을 잡을 수 있는 정보가 지금 현재 필요하다. 그래서 아래의 로직 바탕으로 크리에이터(Youtube)에 대한 데이터를 수집하려고 한다. Youtube Handles 확보Handles를 Channel ID로 전환Channel ID로 Youtube Channel 정보 조회조회된 정보를 RecSystem 요구 조건에 맞춰 전처리Youtube Handles 확보먼저 Youtube Handles의 경우 대한민국 유튜버 분야별 구독자수 탑 200위까지를 기준으로 확보했고 총 확도한 Handle의 수는 7729개이다.  Handles를 Channel ID로 전환안타깝게도 Handle..

Project에는 현재 두 개의 정보가 필요하다. 추천시스템을 위한 정보기획안을 위한 크리에이터 추천크리에이터를 위한 기획안 추천기획안건전한 기획안유해한 기획안추천시스템의 경우에는 수집된 데이터를 바탕으로 추천 모델을 트레이닝할 예정이기에 정량적인 정보이면서 동시에 정확한 정보를 수집해야 했다. 그래서 Youtube Data API를 통해 Youtube에 저장된 정보를 가지고 옴과 동시에 필요한 정보들만 가공해 줬다. 그와 다르게 기획안의 경우는 실제로 수집되기 어려운 정보다. 그래서 영상의 대본을 바탕으로 AI를 활용해 직접 생성하기로 하였다. 또한 이 생성된 기획안을 바탕으로 콘티를 생성하는 모델을 만들 예정이다. 먼저 추천시스템은 아래의 간단한 로직으로 시작한다. 유투버를 구분할 수 있는 고유 정보..

바쁘시다면... 결론부터 말하자면 단순 데이터 크롤링이 목적이면서 동시에 어느 정도의 개발 능력이 있다면 간단하게 Selenium이 N8N보다 나을 수 있다. 하지만, 그 외의 반복 작업에 대한 자동화와 외부 드라이버의 연동에 있어서는 N8N이 편하다. 하지만 이부분도 자신이 어느 정도 개발에 익숙하다면 N8N을 사용하기보다는 Selenium이 더 나을 수 있다.왜냐하면 많은 자동화툴의 경우 편안함으로 인하여 생기는 자유도 저하문제가 개발목표에 방해가 되는 경우가 많기 때문이다.  그렇다면 왜?N8N의 가장큰 장점은 간단하게 AI Agent의 활용이다. N8N의 Node라는 작동단위가 존재한다. Node에는 다양한 기능들이 존재하지만 그중에서도 가장 눈에 띄는 Node는 Advanced AI이다. Adv..

현재까지 Project Joing에서 구현된 기능은 간단하다.기획안과 Youtube 채널을 간단하게 평가하고 평가에 대한 이유와 해당하는 부분에 대한 피드백을 생성해 낸다. 그리고 이번 프로젝트에서작동 로직의 특별함 보다는 구현을 하게된 동기와 과정에 대해 좀 더 집중했다.  하지만 평가 말고도 추천 시스템이 현재 있고 또한 기획안에 대한 추가기능으로 인해 결국 데이터를 가져오고 가져온 데이터를 바탕으로 새로운 데이터를 만들기로 결정 했다. 그래서 먼저 Youtube Data AI를 통해 영상과 채널에 대한 데이터를 수집하고 수집한 데이터를 가공하여서 추천과 새로운 기능에 사용 할 수 있도록 이어 나갈 예정이다. 그리고 이와 더불어 저번처럼 Python 코드만으로 수집과정을 구성하는게 아닌 추가적으로 n..

벡터 유사도 검색 aka. Vector Similarity Search 서로 다른 두 벡터의 유사도가 얼마나 높은지 확인하고 가장 높은 유사도를 갖은 벡터부터 나열하여 검색을 진행한다.  기본적으로 벡터간의 비교를 하는것이기 때문에 우리가 예측하지 못하는 결과가 나올수 있고 특히 자연어나 객체를 Embedding을 하는 과정에 따라 차이가 발생할수 있다.  그리고 이와 같은 Vector간의 유사도를 직접적으로 볼 수 있는 웹사이트로 Embedding Projector라고 있다. Embedding Projector Embedding projector - visualization of high-dimensional dataVisualize high dimensional data.projector.tensor..

구현 동기프로젝트의 기획자의 입장에서의 기획안 평가와 유해성 검사를 구현했듯이 반대로 크리에이터에 대한 평가도 필요하다고 생각했다. 구현과정

기획안을 평가하고 요약하는 기능을 프로젝트를 위해 구현하기 전 Evaluation Bot에 대한 MVP를 정의하고 아래와 같이 구현했습니다.  먼저 기획의도에 맞게 아래의 내용들을 MVP에 선정하였습니다.1차 평가: 정량평가2차 평가: 내용평가3차 평가: 영상 심의 평가그리고 추가적으로 이번 구현과 추후 프로젝트 진행에 있어 핵심인 좋은 기획안과 나쁜 기획안 데이터를 확보했습니다. 먼저 Evaluation Bot의 각 평가에 대한 구현 동기와 과정은 아래와 같습니다.구현 동기1차 평가: 먼저 프로젝트 핵심 목표로써 기존의 서비스에서의 효율적이 AI 사용기준이 존재해야 한다고 판단했습니다. 그래서 간단한 수치적인 평가를 통해 2,3차 평가에서의 AI 사용에 대한 기준점으로 삼게 됐습니다. 2차 평가: 현재..

Project Joing: Intro에서 언급했듯이 이번에는 기능별 도메인에 따른 구체적인 개발 계획에 대해 정리했습니다.기획안 평가 및 요약기획자가 작성한 기획안에 대한 평가를 통해 평가통과한 기획안의 경우 요약을 진행요약이 완료된 시점 부터 추천 대상으로 전환Evaluation Bot(aka. Clean Bot)역할 및 기능기획안의 내용과 구성을 바탕으로 평가한다. 총 3차의 평가를 진행하며 기획안이 최초 생성혹은 기획안이 수정 됐을 때 작동한다.총 3차로 나눈 이유는 각 평가별로 기획자에게 주어지는 피드백이 다르기 때문에 나누게 됐다. 1차 평가: 정량평가2차 평가: 내용평가3차 평가: 영상 심의 평가구체적인 사용 예시기획안 생성 및 수정 직후 총 3가지의 평가가 진행된다.1차 평가: 양 → 양이 ..

Joing은전문적인 기획자 혹은 아이디어만 있는 초보 기획자를 위한 메칭 플랫폼입니다. 또한 트렌드를 바탕으로 만들어진 새로운 아이디어를 찾고 있는 크리에이터를 위한 메칭 플랫폼입니다.  Joing은 메칭 플랫폼으로써 기획자와 크리에이터를 연결하고 소통할 수 있는 공간입니다. 또한 AI를 적극적으로 도입하여 더 원활한 메칭이 가능하도록 만들어진 플랫폼입니다. 그래서 기본적으로 Joing이라는 플랫폼은 아래와 같은 기획자와 크리에이터 유저 플로우를 가지고 있습니다. 기획자자신의 아이디어를 바탕으로 영상 기획안을 작성할 수 있다.작성된 기획안에 어울리는 크리에이터에 대한 추천을 받을 수 있다.추천 크리에이터에게 자신의 기획안을 제안할 수 있다.크리에이터자신의 프로필을 등록할 수 있다.자신의 프로필을 바탕으로..

Vector Store에서의 TPM 문제 개선에 이어 이번에는 Generation과 Query Translation파트에서의 개선을 진행해 봤다.Vector Store 생성 파트사용 토큰 수 지정Batch API 사용Embedding Model 변경Query Translation & Generation 파트Tenacity 혹은 Backoff 적용 문제 개선에 대한 동기와 그 선정과정이 궁금하다면 아래의 링크로 가면 된다.Project HowAbout RAG API - Outro: Optimization - TPM 문제 정의 실시간 응답이 필요한 경우 Tenacity나 Backoff를 사용해야 한다. 하지만 여기서 중요한 부분이 있는데 OpenAI에서 이 방식을 추천하나 절대로 장담하지 못한다는 사실이다...