개선 동기현재 프로젝트를 위해 만든 RAG API의 경우 Retrieval과정에서 들어오는 Query에 대한 Embedding과 Multiple Query Generation 생성과정에서도 외부 Model API를 사용한다.(OpenAI API: text-embedding-3-large & gpt-4o) 그렇다 보니 TPM이라는 에러가 발생할 요소가 있었다. 또한 Vector Store를 만드는 과정이었던 Data Ingestion 파트에서도 일정 수준의 데이터가 들어가면 바로 TPM 문제가 발생할 가능성이 다분했었다. 물론 발생하기 전까지는 그런 문제가 전형 없다고 생각했으나 되려 발생해서 다행이라고 생각했다. 그래서 추후 외부 Model API를 사용할 수 있는 상황을 대비하여 구현된 프로젝트에서 개..
