문과지만 괜찮아

벡터 유사도 검색 aka. Vector Similarity Search 서로 다른 두 벡터의 유사도가 얼마나 높은지 확인하고 가장 높은 유사도를 갖은 벡터부터 나열하여 검색을 진행한다.  기본적으로 벡터간의 비교를 하는것이기 때문에 우리가 예측하지 못하는 결과가 나올수 있고 특히 자연어나 객체를 Embedding을 하는 과정에 따라 차이가 발생할수 있다.  그리고 이와 같은 Vector간의 유사도를 직접적으로 볼 수 있는 웹사이트로 Embedding Projector라고 있다. Embedding Projector Embedding projector - visualization of high-dimensional dataVisualize high dimensional data.projector.tensor..

Embedding과 Token의 경우 AI에서 정말 많이 쓰이는 단어중 하나이다. 그래서 이번에 먼저 AI에서의 Embedding과 Token의 의미를 보고 LLM관련 개발에 있어서는 어떻게 쓰이는 표현인지 알아보자. 먼저 Embedding의 경우 AI와 기계학습에 있어 주어진 데이터에 대한 이해를 높이기 위해 사용된다. 예를 들어 '사과' 혹은 사과의 사진은 사람이 단어로써 이해하고 있고 시각적으로 이미 알고 있기에 쉽게 이해할 수 있다. 하지만 반대로 컴퓨터는 우리와는 다르게 눈도 없고 데이터로서 '사과'라고 한국어로 저장 돼 있지 않다. 그런 컴퓨터에게 '사과'라는 데이터를 이해시키기 위해 '사과'가 가진 시각적 혹은 언어적 내용을 Vector로 표현하고 이 과정을 Embedding이라고 한다.  ..

LangChain은 뭘까?  가장 간단하게 설명하는 방법은 LLM을 활용해 Application을 만들기 위해 사용되는 Framework라고 생각하면 된다.  우리가 Web Application을 만들기 위해서 Spring이나 Django를 쓰는거와 같은 역할을 한다.  그런데 좀 더 구체적으로 설명하자면 아래의 그림을 참고 하면된다.  아래의 그림과 같이 LLM Application을 만들기 위한 다양한 부분들을 쉽게 연결하 도록 돕는 Framework다. 특히, 외부 Packcages를 자유롭게 연결 할 수 있다. 그래서 아래와 같이 나누어진다. langchain-core: LLM, Vector Store가 Interface방식으로 구성 돼 있다. 그래서 서로다른 Vector Store인 경우에도 L..

여태까지 저의 글들을 보면 많이 보인 단어가 있을 겁니다. 그중 하나가 바로 HTTP인데요. 오늘은 HTTP가 도대체 뭔지에 대해 설명드리겠습니다. Hypertext Transfer Protocol HTTP는 사용자의 웹브라우저와 웹사이트를 가지고 있는 서버와의 소통을 위해 존재합니다. 그런 HTTP는 대표적으로 두 가지의 종류가 있는데 첫 번째는 Request 두 번째는 Response입니다. Request(요청)에 부터 설명드리겠습니다. 우리가 웹사이트에서 특정 링크나 버튼을 눌렀을 때 기본적으로 우리의 브라우저는 다른 화면을 보여주거나 우리가 의도한 결과를 보여 줍니다. 여기서 Request는 바로 링크를 누르거나 버튼을 눌렀을 때 생성됩니다. 그럼 그 Request는 어떻게 구성 돼있을까요? HT..

우리가 인터넷을 이용해 웹사이트에 들어가면 자주 보이는 게 있습니다. 해외 웹사이트를 들어가면 거의 매번 보게 되고 한국 웹사이트에서도 자주보이는 이게 도대체 뭘까요? 사실 이 부분을 이해하기 전에 구분을 해야 합니다. Cookie의 기능과 왜 웹사이트들이 이 Cookie를 사용하는지입니다. 먼저 그럼 쿠키에 대해 설명드리겠습니다. 뉴진스의 2022년도 하반기 신곡으로 대한민국뿐만 아니라 해외에서도 선풍적인 인기를 끌었습니다. 죄송합니다. 제가 뉴진스를 좋아해서요. 다시 제대로 설명드리겠습니다. 우리가 사용하는 쿠키는 정확히 HTTP Cookies입니다. 이 쿠키가 저장되어 있는 곳은 어디일까요? 바로 우리가 사용하는 브라우저에 저장 돼있습니다. 즉, 우리가 원한다면 브라우저에서 쿠키를 저장하지 않게도 ..

저번에 REST API에 이어서 이번에는 API에 대해 설명드리겠습니다. Application Programming Interface API는 개발자가 자신의 프로그램을 위해서 다른 프로그램이나 소프트웨어를 사용할 때 그 구조나 어떻게 구현 됐는지 알지 못하더라도 사용할 수 있게 해 줍니다. 만약 여기서 윗 문장이 이해가 되셨다면 더 이상 읽지 않으셔도 됩니다. 그럼 현실 두 가지 예시를 들어 설명드리겠습니다. 첫 번째 예시로 레스토랑에서 손님이 서버에게 주문을 했습니다. 그럼 여기서 서버들이 음식을 가져다주기 위해서 어떤 게 필요할까요? 음식 레시피? 요리사의 경력? 음식 이름만 알고 그 이름을 주방에 전달만 해주면 됩니다. 그럼 반대로 요리사의 경우 서버에게 음식을 주기 위해서는 어떻게 해야 할까요?..