문과지만 괜찮아

RAG 구현 Step-by-Step: Intro가상환경 설정 및 MVP 구현Dataset과 Vector DB 구현Dataset 확보Vector DB 구현Embedding & Searching 구현Generation  구현기존의 Datset 및 Vector DB 순으로 진행하려고 했으나 문제가 발생했다. 생각보다 데이터를 확보하는 것이 엄청난 작업이라는 사실을 깨달아 버린것이다. 프로젝트를 위한 RAG이다 보니 프로젝트에서 필요한 Dataset을 확보 해야 했다. 그래서 여러 웹애플리케이션을 사용하려고 시도했으나 자원과 학습 목적(만들 수 있음 만들어보자)에 위배 돼 직접 Dataset을 확보하기로 하였고 이 생각을 했던 1주일 전의 나에게 쌍욕을 하고 싶으나 결론적으로 확보에 성공했다. 그래서 Datas..

도대체 RAG는 뭘까? 에서 설명 했듯이 RAG의 경우 일반적인 수준의 LLM을 서비스의 의도에 맞게 결과를 생성하게 만드는 생성방식이다. 그러면 이런 RAG를 사용하는 이유가 뭘까? RAG를 사용해야하는 이유는 아래와 같다.현실적인 문제시간: 프로젝트를 진행하는 목적은 다르겠지만 대부분의 프로젝트는 한정적인 시간을 가지고 있다. 반면에 기존의 LLM을 대체 할 수 있는 수준의 Model을 만드는데는 많은 시간이 든다. 규모: 지금 개인적인 현상황에 있어서 LLM을 만드는건 불가능하다. 기존의 성능을 내기 위한 데이터 확보 부터 구현과 테스트까지의 그 규모는 감당이 되지 않는다.신뢰성위의 문제들이 해결 된다해도 새로운 LLM을 처음부터 만드는 것은 신뢰성에 문제를 일으킨다. 현재 나온 LLM의 신뢰성이 ..

Retrieval-Augmented Generation의 약자인 RAG는 모델이기보다는 하나의 생성형 AI를 구성하는 방식이라고 생각된다. 크게는 2개의 단계로 이루어져 있으며 해당 단계를 통해 사용자에게 개발자가 의도한대로 답변이 가도록 한다.물론 2개의 단계 안에서 작은 단위의 단계가 존재한다.  그래서 RAG의 흐름을 Retreival과 Generation 두 단계로 나누었을 때 아래와 같다. RetrievalEmbedding사용자가 입력한 Query를 Vector로 전환한다.SearchingVector로 전환된 내용을 바탕을 DB에서 Generation에 사용될 내용을 찾는다.GenerationQuery + Searched ResultsDB에서 반환된 내용을 Query와 함께 참고하여 생성을 한다..

2023년 10~11월 2개월 동안 데이팅 웹서비스를 기획해서 만들었다. 디자이너 1명 프론트 2명 백엔드 4명으로 단순히 프로필 기반 매칭이 아닌 자신이 하고 싶은 데이팅을 작성하여 데이팅 또한 하나의 매칭 포인트로 사용될 수 있도록 만들었다. 하지만 여기서 문제가있었다. 당시 디자이너를 제외한 전원이 남자였고 6명 중 5명이 싱글이었는데 그래서인지 데이팅 계획 작성을 위한 테스트기간에 사용할 데이팅 예시를 작성하는데 있어 예상 보다 너무 많은 시간이 걸렸고 작성된 예시 데이팅 계획들도 심각한 수준이었다. 당시 그러한 모습들을 보며 생각했다. '데이팅 서비스를 이용하는 사람들은 대부분 싱글일 텐데 이 사람들에게 데이팅 계획을 작성하라는 것은 생각보다 무리한 요구겠구나' 그래서 당시 이런 문제를 어떻게 ..

AI에 대해서 공부하다 보면 이상하게 Weights와 Bias라는 단어가 많이 나옵니다. 물론 다른 단어들도 있는데 일단은 Weights와 Bias에 대해서 설명드리겠습니다. Weights는 무게고 Bias는 편견입니다. 끝은 아니지만 무게와 편견이라는 걸 머리에 각인하셔야 합니다. 그럼 이 둘의 차이점은 뭘까요? 다양한 AI이론들이 있지만 대부분의 AI 훈련 과정을 보면 데이터가 있고 그 데이터를 이용해서 우리의 상황에 맞는 그래프나 혹은 결과 값이 나옵니다. 이 경우에 우리는 여러 번의 훈련을 통해 적합한 값을 찾습니다. 그리고 Weights는 다음 훈련에 영향을 주면서 계속해서 변하는 반면 Bias는 변하지 않고 다음 훈련에 영향을 주지 않습니다. 즉, Weights는 훈련이 반복되면서 AI가 할 ..