목록textsplitting (1)

YYYEJI

[MAC] 데이터 로더 후 텍스트 분할(Text Splitting) 하는 과정

안녕하세요! 송로지입니다 🌷 어제는 데이터를 로더하는 방법에 대해 알아보았는데요 :) [MAC] RAG 기술 사용할 때 웹 문서(WebBaseLoader), CSV(CSVLoader), PDF 파일(PyPDFLoader) 로더하는 방법↓↓↓ RAG 기본 개념 관련해서 살펴보기 ↓↓↓ RAG 개념 알아보기RAG란 무엇일까요??Retrieval-Augmented Geteration의 줄임말이며,LLM의 한계를 보완하기 위해 외부 지식 베이스에서 정보를 검색(Retrieval)yyyeji.tistory.com오늘은 가져온 데이터들을 어떻게 분할할건지 정리해보겠습니다!! 🤩 텍스트 분할은 대규모 텍스트 문서를 처리할 때 매우 중요한 전처리 단계라고 할 수 있는데요!문서의 구조와 형식, 원하는 청크 크기,..
인공지능 챗봇 2025. 8. 5. 10:53
이전 Prev 1 Next 다음