문과지만 괜찮아

프로젝트의 추천 시스템은 두종류의 추천을 진행한다.기획안 to 크리에이터크리에이터 to 기획안이 두 추천에 있어서 크리에이터에 대한 특징을 잡을 수 있는 정보가 지금 현재 필요하다. 그래서 아래의 로직 바탕으로 크리에이터(Youtube)에 대한 데이터를 수집하려고 한다. Youtube Handles 확보Handles를 Channel ID로 전환Channel ID로 Youtube Channel 정보 조회조회된 정보를 RecSystem 요구 조건에 맞춰 전처리Youtube Handles 확보먼저 Youtube Handles의 경우 대한민국 유튜버 분야별 구독자수 탑 200위까지를 기준으로 확보했고 총 확도한 Handle의 수는 7729개이다.  Handles를 Channel ID로 전환안타깝게도 Handle..

Project에는 현재 두 개의 정보가 필요하다. 추천시스템을 위한 정보기획안을 위한 크리에이터 추천크리에이터를 위한 기획안 추천기획안건전한 기획안유해한 기획안추천시스템의 경우에는 수집된 데이터를 바탕으로 추천 모델을 트레이닝할 예정이기에 정량적인 정보이면서 동시에 정확한 정보를 수집해야 했다. 그래서 Youtube Data API를 통해 Youtube에 저장된 정보를 가지고 옴과 동시에 필요한 정보들만 가공해 줬다. 그와 다르게 기획안의 경우는 실제로 수집되기 어려운 정보다. 그래서 영상의 대본을 바탕으로 AI를 활용해 직접 생성하기로 하였다. 또한 이 생성된 기획안을 바탕으로 콘티를 생성하는 모델을 만들 예정이다. 먼저 추천시스템은 아래의 간단한 로직으로 시작한다. 유투버를 구분할 수 있는 고유 정보..

바쁘시다면... 결론부터 말하자면 단순 데이터 크롤링이 목적이면서 동시에 어느 정도의 개발 능력이 있다면 간단하게 Selenium이 N8N보다 나을 수 있다. 하지만, 그 외의 반복 작업에 대한 자동화와 외부 드라이버의 연동에 있어서는 N8N이 편하다. 하지만 이부분도 자신이 어느 정도 개발에 익숙하다면 N8N을 사용하기보다는 Selenium이 더 나을 수 있다.왜냐하면 많은 자동화툴의 경우 편안함으로 인하여 생기는 자유도 저하문제가 개발목표에 방해가 되는 경우가 많기 때문이다.  그렇다면 왜?N8N의 가장큰 장점은 간단하게 AI Agent의 활용이다. N8N의 Node라는 작동단위가 존재한다. Node에는 다양한 기능들이 존재하지만 그중에서도 가장 눈에 띄는 Node는 Advanced AI이다. Adv..

현재까지 Project Joing에서 구현된 기능은 간단하다.기획안과 Youtube 채널을 간단하게 평가하고 평가에 대한 이유와 해당하는 부분에 대한 피드백을 생성해 낸다. 그리고 이번 프로젝트에서작동 로직의 특별함 보다는 구현을 하게된 동기와 과정에 대해 좀 더 집중했다.  하지만 평가 말고도 추천 시스템이 현재 있고 또한 기획안에 대한 추가기능으로 인해 결국 데이터를 가져오고 가져온 데이터를 바탕으로 새로운 데이터를 만들기로 결정 했다. 그래서 먼저 Youtube Data AI를 통해 영상과 채널에 대한 데이터를 수집하고 수집한 데이터를 가공하여서 추천과 새로운 기능에 사용 할 수 있도록 이어 나갈 예정이다. 그리고 이와 더불어 저번처럼 Python 코드만으로 수집과정을 구성하는게 아닌 추가적으로 n..

벡터 유사도 검색 aka. Vector Similarity Search 서로 다른 두 벡터의 유사도가 얼마나 높은지 확인하고 가장 높은 유사도를 갖은 벡터부터 나열하여 검색을 진행한다.  기본적으로 벡터간의 비교를 하는것이기 때문에 우리가 예측하지 못하는 결과가 나올수 있고 특히 자연어나 객체를 Embedding을 하는 과정에 따라 차이가 발생할수 있다.  그리고 이와 같은 Vector간의 유사도를 직접적으로 볼 수 있는 웹사이트로 Embedding Projector라고 있다. Embedding Projector Embedding projector - visualization of high-dimensional dataVisualize high dimensional data.projector.tensor..

구현 동기프로젝트의 기획자의 입장에서의 기획안 평가와 유해성 검사를 구현했듯이 반대로 크리에이터에 대한 평가도 필요하다고 생각했다. 구현과정