Rosie

벡터 저장소란!!비정형 데이터를 벡터(숫자 배열)형태로 저장하고,빠르게 검색할 수 있게 해주는 특수한 데이터베이스에요!단순한 키워드 검색이 아니라 의미 기반 검색이 가능해서유사도가 높아 의미적으로 가장 가까운 결과를 찾아줍니다. LangChain에서 지원하는 대표 벡터 저장소는1) Chorm → 가볍고 로컬 환경에서 실험하기 좋은 데이터베이스2) FAISS → Facebook AI가 만든 초고속 유사도 검색 라이브러리3) Pinecone → 완전 관리형 클라우드 벡터 DB(서버 구축 필요 없음)4) Milvus → 대규모 데이터 처리에 강한 분산형 벡터 DB5) postgreSQL + pgvector → 관계형 DB에 벡터 검색 기능 추가가 있습니다!! 주요 기능은1) 백터 색인화 → 검색 속도를 높..

문서 임베딩이란 텍스트를 벡터(숫자 배열)로 변환하는 과정입니다!!문서의 의미적 특성을 수치화하여, 컴퓨터가 이해하고 처리할 수 있는 형태로 변환합니다!! 문서 임베딩의 목적은?텍스트 간 유사도 계산을 가능하게 하고,벡터 데이터베이스에 저장하고 검색을 가능하게 하고,의미 기반 문서 검색을 구현할 수 있게 합니다! LangChain에서 사용 가능한 임베딩 모델은OpenAI Embedding, HuggingFace Embedding입니다. OpenAI EmbeddingLangChain에서 가장 널리 사용되는 임베딩 모델 중 하나이며,고품질의 임베딩 생성, 다양한 언어 지원, 일관된 성능, 손쉬운 통합이 장점입니다! 사용시 주의할 점은1. API 키 설정이 필요2. API 사용량에 따른 비용 발생3. 긴..

RAG란 무엇일까요??Retrieval-Augmented Geteration의 줄임말이며,LLM의 한계를 보완하기 위해 외부 지식 베이스에서 정보를 검색(Retrieval)해서 그 정보를 바탕으로 텍스트를 생성(Generation)하는 방식입니다! 간단히 말하자면 📚 검색+생성을 하게 되는데LLM은 훈련된 지식에 의존해 답하지만RAG는 실시간으로 위키피디아 같은 외부 문서를 검색해서 최신/정확한 정보로 답을 만들어내는 구조입니다!! RAG의 구성 요소는 검색기(Retriever) + 생성기(Generator) 인데 검색기가 질문에 맞는 관련 문서를 외부 데이터베이스에서 찾아와 생성기를 통해 자연스러운 답변을 생성하여 유저에게 보여줍니다.보통 GPT 계열 모델이 생성기 역할을 많이 한다네요! R..

LangChain이 도대체 무엇인고하니 ,, !! LLM(Large Language Model) 기반 앱 개발을 위한 프레임워크라네요.이렇게 들었을 땐 어려운데 어떻게 쉽게 설명할 수 있을까요...? 흠.................AI 앱을 만들 때 필요한 부품들을 연결해주는 프레임워크 ...? 이해가 되시나요?중간중간 기능에 따라 LLM을 쉽게 바꿀수도 있대요! LangChain이 하는 일을 살펴보면1) 외부 데이터 검색(RAG)2) 사용자 맞춤 메모리 유지3) 여러 도구와 연동 4) 순차적 흐름: 입력 → 처리 → 출력 이 모든 구성 요소(Chain, Tool, Agent 등)을 조립할 수 있게 도와줍니다! 다음으로 구성요소를 살펴볼게요구성요소 설명PromptTemplate L..

빅데이터 캠프와서 데모 하루 냅두고 팀원들과 머리 쓰고 있는데 ... 하루종일 수업 듣고 이제야 이해한 부분을 우선 적어놓을게요 ㅠㅠ.Agent, @tool, Graph, Node, RAG, LLM 이 모든 걸 3일 만에 배웠고 아직 정리가 안 된 상태인데 방금 TA님한테 질문해서 '조금' 이해했어요,, 까먹기 전에 끄적끄적,, ✍️사진과 같은 Graph를 그렸는데 이게 한 Agent인 줄 알았더니 ,,글쎄 노드 하나하나가 각각의 Agent래요 ,, (약간의 유레카 ,,ㅎ 나중에 보면 얼마나 바보같을까) Agent .. 내가 할 일을 AI가 대신 해준다.글을 써주던, 웹서치를 해주던, 무언가를 나 대신 해준다. 각가의 node Agent가 트리에 있는데 ,,!Agent에서 @tool이 사용되면 T..

안녕하세요! 송로지입니다 🌷빅데이터 캠프하다가 알게 된 타빌리(Tavily)에 대해서 소개합니다!(빅데이터 캠프에서 한 활동 다 정리할 예정인데 ,,이 부분은 어쩌다보니 미리 작성해요,, ㅎㅎ) Tavily는 웹 검색 API 서비스를 제공하는 플랫폼이에요.쉽게 말하면, 사람이 구글에 검색을 하듯 AI나 프로그램이 인터넷 정보를 검색할 수 있게 해주는 도구예요. ⚒️ 예를 들어, 어떤 질문에 대해 최신 정보를 찾아야 할 때, LLM(Large Language Model)은 과거 정보만 알고 있으니까 한계가 있는데,이때 Tavily를 쓰면, 실제 웹에서 정보를 검색해서 그 결과를 AI에게 전달해줄 수 있어요. 아래 웹사이트에 방문해서 로그인을 하시면 Tavily AI app.tavily.com1,00..

안녕하세요! 송로지입니다 🌷쳇지피티 등장에 엄청난 혁명이라고 생각했던 때가 엊그제 같은데 쳇지피티를 뛰어넘는 ,, AI가 나왔다니 !! 새로운 신세계를 다시 한 번 느끼러 가봅시다. 제미나이는 쳇지피티와 다르게 하루 1,000번을 무료로 사용할 수 있다는 점에서 굉장히 큰 인기를 얻고 있다네요!!그 외에도 Vertext AI, BigQuery, Colab, Google Cloud 등과 연동이 원활하고,VS Code 등에서 Gemini Code Assist 플러그인을 사용하면 실시간 코드 생성, 수정 디버깅 제안이 가능합니다. Gemini 설치 전 Node.js가 이미 다운받아져 있어야 되는데 ,,개발자라면 다 설치되어 있으시겠죠 ??? 터미널로 고고고 ↗️↗️↗️npx https://githu..

Numpy란? 다차원 배열을 효과적으로 처리할 수 있도록 도와주는 도구로써, 현실 세계의 다양한 데이터를 배열 형태로 표현하고 python list 기능에 비해 빠르고 강력한 기능을 제공합니다. ↓↓↓ Numpy의 차원 ↓↓↓ (0, 0) (0, 1) (0, 2) (0, 3) (1, 0) (1, 1) (1, 2) (1, 3) 가로는 행(Row), 세로는 열(Column) 입니다. Numpy를 사용할 때는 아래 코드를 Import 해주면 됩니다. $ import numpy as np np.array() np.array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15], dtype = int) array 함수에 원하는 정보를 첫번째 파라미터로 넣어주고, dty..