| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
- DATAPATH
- Algorithm
- for
- XML
- Class
- Rag
- data structure
- Pipelining
- computer
- php
- html
- CSS
- openai
- DB
- web
- function
- AI
- system
- Java
- instruction
- architecture
- mysql
- python
- github
- react
- DS
- control
- MIPS
- javascript
- Linux
- Today
- Total
목록Embedding (3)
YYYEJI
간단한 형태의 RAG 모델로,외부 문서(지식베이스)에서 정보를 검색하고,그 정보를 기반으로 답변을 생성하는 방식으로 코드를 구현해보겠습니다!! 문서 임베딩 및 저장: 문서들을 임베딩 벡터로 변환해 저장질문 임베딩: 질문을 임베딩벡터로 변환검색(Retrieval): 질문 벡터와 문서 벡터 간 유사도를 계산해 가장 관련 있는 문서 선택생성(Generation): 선택된 문서를 참고하여 답변 생성 약간의 Naive RAG 개념을 요약해봤고 진짜 코드를 구현해봅시다!1) 벡터 저장소 로드from langchain_chroma import Chromafrom langchain_openai import AzureOpenAIEmbeddings# OpenAI 임베딩 모델 생성embeddings_openai = Az..
문서 임베딩(Document Embedding)이란?문서 임베딩이란 텍스트를 벡터(숫자 배열)로 변환하는 과정입니다!!문서의 의미적 특성을 수치화하여, 컴퓨터가 이해하고 처리할 수 있는 형태로 변환합니다!! 문서 임베딩의 목적은?텍스트 간yyyeji.tistory.com↑↑↑ 문서 임베딩이란 ↑↑↑ 코드를 바로 살펴볼까요?🙋♀️ 먼저 Embedding 모델을 생성합니다!from langchain_openai import AzureOpenAIEmbeddings# OpenAIEmbeddings 모델 생성embeddings_model = AzureOpenAIEmbeddings(model = "text-embedding-3-small", ..
문서 임베딩이란 텍스트를 벡터(숫자 배열)로 변환하는 과정입니다!!문서의 의미적 특성을 수치화하여, 컴퓨터가 이해하고 처리할 수 있는 형태로 변환합니다!! 문서 임베딩의 목적은?텍스트 간 유사도 계산을 가능하게 하고,벡터 데이터베이스에 저장하고 검색을 가능하게 하고,의미 기반 문서 검색을 구현할 수 있게 합니다! LangChain에서 사용 가능한 임베딩 모델은OpenAI Embedding, HuggingFace Embedding입니다. OpenAI EmbeddingLangChain에서 가장 널리 사용되는 임베딩 모델 중 하나이며,고품질의 임베딩 생성, 다양한 언어 지원, 일관된 성능, 손쉬운 통합이 장점입니다! 사용시 주의할 점은1. API 키 설정이 필요2. API 사용량에 따른 비용 발생3. 긴..