문과지만 괜찮아

RAG 구현 Step-by-Step: Intro가상환경 설정 및 MVP 구현Dataset과 Vector DB 구현Embedding & Searching 구현Generation  구현 이전 Intro에 이어 RAG를 위한 가상환경과 RAG의 MVP(Most Viable Product) 선정하여 구현을 진행 했다. MVP 형태의 RAG를 구현한 다음 고도화를 할 수 있는 부분들을 선정하기 위해서였다. 그리고 사실 이단계에서는 RAG에 대한 이해가 높지 않기에 바로 의도한 RAG를 만들 수 없다고 생각했다. 그래서 현재 형태의 RAG는 아래의 사진과 같다. 가상환경의 경우 일반적인 Python 가상 환경으로 진행하였으나 Google Colab을 사용하였기에 문법이 조금은 다르다. 가상환경 설정!apt inst..

진행 순서프로젝트에서 사용되기 위한 RAG application은 가장 작지만 모든 기능을 갖춘 MVP RAG 부터 만들고 핵심부분들을 수정해 나가면서 개발할 예정이다. 추후 개발 상황에 따라 구현과정과 요소들이 달라질 수 있다.  RAG 구현 Step-by-Step: Intro가상환경 설정 및 MVP 구현Dataset과 Vector DB 구현Dataset 확보Vector DB 구현Embedding & Searching 구현Generation  구현구현하려는 RAG의 역할챗봇의 형태로 전달 받은 입력 값을 Embedding해서 데이터베이스에서 Generation을 위한 내용들을 Searching 하여 지정된 출력 형태로 생성하여 반환하다. 아래의 표는 사용된 프레임워크와 모델들이다.(많이 바뀔 예정)Pl..

Project: HowAbout - Intro에서 언급된 데이팅 계획 생성에 있어 RAG 방식을 사용하기로 선정했다.  선정 이유는 Why: RAG를 사용 해야 할까?와 도채체 RAG는 뭘까?를 참고하면 된다.  기본적으로 생성 해야하는 로직은 아래와 같다.   사용자 혹은 클라이언트에서 오는 요청은 두 종류다.Dating Request: Dating에 대한 기본정보와 Theme이 들어있다. Dating 계획에 대한 추천 사항을 생성한다.Activity Request: Dating Request에 더해 Activity와 관련된 정보가 추가적으로 들어있다.Dating 계획에서의 특정 Activity에 대한 추천 사항을 생성한다.요청에 대한 Embedding을 진행한다.Embedding 모델의 경우 아래의 ..

도대체 RAG는 뭘까? 에서 설명 했듯이 RAG의 경우 일반적인 수준의 LLM을 서비스의 의도에 맞게 결과를 생성하게 만드는 생성방식이다. 그러면 이런 RAG를 사용하는 이유가 뭘까? RAG를 사용해야하는 이유는 아래와 같다.현실적인 문제시간: 프로젝트를 진행하는 목적은 다르겠지만 대부분의 프로젝트는 한정적인 시간을 가지고 있다. 반면에 기존의 LLM을 대체 할 수 있는 수준의 Model을 만드는데는 많은 시간이 든다. 규모: 지금 개인적인 현상황에 있어서 LLM을 만드는건 불가능하다. 기존의 성능을 내기 위한 데이터 확보 부터 구현과 테스트까지의 그 규모는 감당이 되지 않는다.신뢰성위의 문제들이 해결 된다해도 새로운 LLM을 처음부터 만드는 것은 신뢰성에 문제를 일으킨다. 현재 나온 LLM의 신뢰성이 ..