YYYEJI

간단한 형태의 RAG 모델로,외부 문서(지식베이스)에서 정보를 검색하고,그 정보를 기반으로 답변을 생성하는 방식으로 코드를 구현해보겠습니다!! 문서 임베딩 및 저장: 문서들을 임베딩 벡터로 변환해 저장질문 임베딩: 질문을 임베딩벡터로 변환검색(Retrieval): 질문 벡터와 문서 벡터 간 유사도를 계산해 가장 관련 있는 문서 선택생성(Generation): 선택된 문서를 참고하여 답변 생성 약간의 Naive RAG 개념을 요약해봤고 진짜 코드를 구현해봅시다!1) 벡터 저장소 로드from langchain_chroma import Chromafrom langchain_openai import AzureOpenAIEmbeddings# OpenAI 임베딩 모델 생성embeddings_openai = Az..

문서 임베딩(Document Embedding)이란?문서 임베딩이란 텍스트를 벡터(숫자 배열)로 변환하는 과정입니다!!문서의 의미적 특성을 수치화하여, 컴퓨터가 이해하고 처리할 수 있는 형태로 변환합니다!! 문서 임베딩의 목적은?텍스트 간yyyeji.tistory.com↑↑↑ 문서 임베딩이란 ↑↑↑ 코드를 바로 살펴볼까요?🙋‍♀️ 먼저 Embedding 모델을 생성합니다!from langchain_openai import AzureOpenAIEmbeddings# OpenAIEmbeddings 모델 생성embeddings_model = AzureOpenAIEmbeddings(model = "text-embedding-3-small", ..

문서 임베딩이란 텍스트를 벡터(숫자 배열)로 변환하는 과정입니다!!문서의 의미적 특성을 수치화하여, 컴퓨터가 이해하고 처리할 수 있는 형태로 변환합니다!! 문서 임베딩의 목적은?텍스트 간 유사도 계산을 가능하게 하고,벡터 데이터베이스에 저장하고 검색을 가능하게 하고,의미 기반 문서 검색을 구현할 수 있게 합니다! LangChain에서 사용 가능한 임베딩 모델은OpenAI Embedding, HuggingFace Embedding입니다. OpenAI EmbeddingLangChain에서 가장 널리 사용되는 임베딩 모델 중 하나이며,고품질의 임베딩 생성, 다양한 언어 지원, 일관된 성능, 손쉬운 통합이 장점입니다! 사용시 주의할 점은1. API 키 설정이 필요2. API 사용량에 따른 비용 발생3. 긴..