YYYEJI

간단한 형태의 RAG 모델로,외부 문서(지식베이스)에서 정보를 검색하고,그 정보를 기반으로 답변을 생성하는 방식으로 코드를 구현해보겠습니다!! 문서 임베딩 및 저장: 문서들을 임베딩 벡터로 변환해 저장질문 임베딩: 질문을 임베딩벡터로 변환검색(Retrieval): 질문 벡터와 문서 벡터 간 유사도를 계산해 가장 관련 있는 문서 선택생성(Generation): 선택된 문서를 참고하여 답변 생성 약간의 Naive RAG 개념을 요약해봤고 진짜 코드를 구현해봅시다!1) 벡터 저장소 로드from langchain_chroma import Chromafrom langchain_openai import AzureOpenAIEmbeddings# OpenAI 임베딩 모델 생성embeddings_openai = Az..

↓↓↓ RAG 기본 개념 관련해서 살펴보기 ↓↓↓ RAG 개념 알아보기RAG란 무엇일까요??Retrieval-Augmented Geteration의 줄임말이며,LLM의 한계를 보완하기 위해 외부 지식 베이스에서 정보를 검색(Retrieval)해서 그 정보를 바탕으로 텍스트를 생성(Generation)하는 방식입니다!yyyeji.tistory.com 검색기를 할 때 사용할 문서가 여러가지가 있어요!! 1) PDF 파일 로더2) 웹 페이지 로더3) CSV 데이터 로더4) 디렉토리 로더5) HTML 데이터 로더6) JSON 데이터 로더7) Markdown 데이터 로더8) Microsoft Office 데이터 로더 개념을 알아봤으면 코드로 바로 가볼까요 💨 웹 문서 로더from langchain_com..