<div id="readability-page-1" class="page"><div id="SE-61646321-d134-45a8-a322-7c8a8c1816c5">
 안녕하세요 멍개입니다. ​1편과 2편까지 LangChain의 핵심 요소인 Model, Prompt, Output Parser를 이용하여 워크플로우를 위한 Chain를 구축하고 이를 위해 LCEL를 다뤄보았습니다. ​하지만 LLM의 한계중 하나는 LLM 모델이 학습되고 새로운 정보가 나오거나 특정 회사에 있는 문서 또는 개인 문서를 알지 못합니다. 만약 최신 정보를 참조하거나 회사의 내부 문서, 개인 노트 등을 기반으로 답변하게 할 수 있는 방법론이 RAG(Retrieval Augmented Generation)입니다. RAG는 사용자로부터 쿼리가 발생되면 쿼리를 기반으로 관련 정보를 먼저 검색합니다. 이 정보를 기반으로 LLM에게 보강하라고 요청합니다.​정리하면 RAG는 지식의 한계, 확각, 접근 불가 정보에 대한 단점을 보강한 방법입니다. 
 </div><div id="SE-205c50df-69c2-4248-acf0-0629b36dcd5d">
 ​● 외부 데이터를 위한 문서 다루기RAG의 핵심은 외부 데이터를 다루 겁니다. RAG의 첫 번째 단계는 LLM이 참조할 문서를 LangChain 애플리케이션으로 가져오는 것 입니다. ​· Document LoaderLangChain은 다양한 Document Loader 컴포넌트를 제공합니다. Document Loader는 파일 경로, 웹 URL 등 다양한 소스로부터 데이터를 읽어와 표준화된 Document 객체로 변환해줍니다. Document는 문자열 형태인 page_content와 딕셔너리 형태인 metadata를 가집니다.
 </div><div id="SE-9db93a34-c6e3-4954-8a3d-51ae2f75dfc5">
 · 텍스트 파일을 읽어보자document loader를 사용하기 위해서는 langchain_community가 필요합니다.
 </div><div id="SE-b2bb6f94-6324-43ad-b4fc-86e284f33645">
 pdf 파일을 읽을때는 pypdf가 필요합니다.
 </div><div id="SE-fb91cfcd-21e9-4889-8886-ec3aa441c63d">
 Loaded 1 page(s) from PDF.
--- First Page Document ---
Content Preview: Sample PDFThis is a simple PDF ﬁle. Fun fun fun.
Lorem ipsum dolor sit amet, consectetuer adipiscing elit. Phasellus facilisis odio sed mi. 
Curabitur suscipit. Nullam vel nisi. Etiam semper ipsum ut lectus. Proin aliquam, erat eget 
pharetra commodo, eros mi condimentum quam, sed commodo justo quam ut velit. 
Integer a erat. Cras laoreet ligula cursus enim. Aenean scelerisque velit et tellus. 
Vestibulum dictum aliquet sem. Nulla facilisi. Vestibulum accumsan ante vitae elit. Nulla 
erat dolor, blandit in, rutrum quis, semper pulvinar, enim. Nullam varius congue risus. 
Vivamus sollicitudin, metus ut interdum eleifend, nisi tellus pellentesque elit, tristique 
accumsan eros quam et risus. Suspendisse libero odio, mattis sit amet, aliquet eget, 
hendrerit vel, nulla. Sed vitae augue. Aliquam erat volutpat. Aliquam feugiat vulputate nisl. 
Suspendisse quis nulla pretium ante pretium mollis. Proin velit ligula, sagittis at, egestas a, 
pulvinar quis, nisl.
Pellentesque sit amet lectus. Praesent pulvinar, nunc quis iaculis sagittis, justo quam 
lobortis tortor, sed vestibulum dui metus venenatis est. Nunc cursus ligula. Nulla facilisi. 
Phasellus ullamcorper consectetuer ante. Duis tincidunt, urna id condimentum luctus, nibh 
ante vulputate sapien, id sagittis massa orci ut enim. Pellentesque vestibulum convallis 
sem. Nulla consequat quam ut nisl. Nullam est. Curabitur tincidunt dapibus lorem. Proin 
velit turpis, scelerisque sit amet, iaculis nec, rhoncus ac, ipsum. Phasellus lorem arcu, 
feugiat eu, gravida eu, consequat molestie, ipsum. Nullam vel est ut ipsum volutpat 
feugiat. Aenean pellentesque.
In mauris. Pellentesque dui nisi, iaculis eu, rhoncus in, venenatis ac, ante. Ut odio justo, 
scelerisque vel, facilisis non, commodo a, pede. Cras nec massa sit amet tortor volutpat 
varius. Donec lacinia, neque a luctus aliquet, pede massa imperdiet ante, at varius lorem 
pede sed sapien. Fusce erat nibh, aliquet in, eleifend eget, commodo eget, erat. Fusce 
consectetuer. Cras risus tortor, porttitor nec, tristique sed, convallis semper, eros. Fusce 
vulputate ipsum a mauris. Phasellus mollis. Curabitur sed urna. Aliquam nec sapien non 
nibh pulvinar convallis. Vivamus facilisis augue quis quam. Proin cursus aliquet metus. 
Suspendisse lacinia. Nulla at tellus ac turpis eleifend scelerisque. Maecenas a pede vitae 
enim commodo interdum. Donec odio. Sed sollicitudin dui vitae justo.
Morbi elit nunc, facilisis a, mollis a, molestie at, lectus. Suspendisse eget mauris eu tellus 
molestie cursus. Duis ut magna at justo dignissim condimentum. Cum sociis natoque 
penatibus et magnis dis parturient montes, nascetur ridiculus mus. Vivamus varius. Ut sit 
amet diam suscipit mauris ornare aliquam. Sed varius. Duis arcu. Etiam tristique massa 
eget dui. Phasellus congue. Aenean est erat, tincidunt eget, venenatis quis, commodo at, 
quam
Metadata: {'producer': 'Mac OS X 10.5.4 Quartz PDFContext', 'creator': 'Pages', 'creationdate': "D:20080701052447Z00'00'", 'title': 'sample', 'author': 'Philip Hutchison', 'moddate': "D:20080701052447Z00'00'", 'source': './data/example.pdf', 'total_pages': 1, 'page': 0, 'page_label': '1'}
 </div><div id="SE-37174b18-eeb2-4d41-b8d7-0c0bea133af3">
 · 웹 데이터 가져오기웹 데이터를 가져오기 위해 bs4를 설치해야 합니다.
 </div><div id="SE-94f22de2-a74c-4b22-ae7e-b57b01fa761f">
 이 외에도 LangChain은 CSV, JSON, HTML, Notion, Google Drive, Slack 등 여러 데이터 소스를 위한 로더가 존재합니다.​· 텍스트 분할데이터를 읽다보면 큰 데이터를 읽을 수 있습니다. 하지만 LLM은 한 번에 처리할 수 있는 입력 텍스트 양에 대한 제한이 있습니다. 이를 context window라고 하며 모델마다 다릅니다. 만약 문서를 로드했는데 context window를 초과하면 해당 문서는 사용할 수 없습니다. 또한 관련 정보를 효율적으로 검색하기 위해 문서를 작은 단위로 나누는 것이 유리합니다. 이경우는 조각(chunk)으로 나눠서 해결할 수 있습니다. 이를 위해 Text Splitter를 이용합니다.​텍스트 분할은 여러 가지가 있지만 2가지를 다뤄보겠습니다.​첫 번째 문자 기반 분할(CharacterTextSplitter)입니다. 이는 지정된 문자 수(chunk_size) 기준으로 텍스트를 나눕니다. 이때 chunk_overlap을 통해 청크간에 겹피는 부분을 설정할 수 있습니다.
 </div><div id="SE-2566f0ff-c17a-44e7-8af9-a9e55c5144cc">
 두 번째는 RecursiveCharacterTextSplitter으로 CharacterTextSplitter 보다 좀 더 발전된 방식입니다. 여러 구분자 리스트(\n\n, \n, 띄어쓰기)를 순서대로 텍스트를 분할합니다. 
 </div><div id="SE-9329cd4d-c701-4e5d-bb84-56962c8974bc">
 이 두 가지 방법 이외에도 특정 토큰을 기준으로 나누는 TiktokenTextSplitter, 코드로 나누는 PythonCodeTextSplitter, 마크다운(MarkdownTextSplitter), SemanticChunker)을 기반으로 다양한 Text Splitter가 존재합니다.​● 임베딩과 벡터 스토어앞에서 문서를 읽고 chunk 단위로 쪼개는 방법을 알아보았습니다. 이제 우리는 사용자의 질문에 맞춰 chunk 단위로 나뉘어진 데이터에서 가장 관련깊은 데이터가 무엇인지 조회하기 위해 우리는 임베딩과 벡터 스토어를 활용할 수 있습니다.​<a href="https://blog.naver.com/pjt3591oo/223590941645" data-linktype="text" data-linkdata="{&quot;id&quot;: &quot;SE-ce323d56-eb4a-4dd7-84c7-19fd6b6a0c93&quot;, &quot;link&quot;: &quot;https://blog.naver.com/pjt3591oo/223590941645&quot;}" target="_blank">https://blog.naver.com/pjt3591oo/223590941645</a>
 </div><div id="SE-969bd1b3-27d4-4c7f-a8cc-5abdae709159">
 · 벡터 스토어벡터 스토어는 임베딩된 데이터를 관리하며 이를 통해 유사도 검색을 할 수 있습니다. 벡터 스토어는 일반적으로 ANN(Approximate Nearest Neighbor) 검색 알고리즘을 이용합니다. 이 외에도 코사인 유사도와 같은 알고리즘을 이용하기도 합니다.<a href="https://blog.naver.com/pjt3591oo/221913081091" data-linktype="text" data-linkdata="{&quot;id&quot;: &quot;SE-26e5cc8e-4462-4f53-b0b6-2a2d5f9a4613&quot;, &quot;link&quot;: &quot;https://blog.naver.com/pjt3591oo/221913081091&quot;}" target="_blank">https://blog.naver.com/pjt3591oo/221913081091</a>
 </div><div id="SE-f57d018e-7f15-4efd-90e5-f0b129fbacd0">
 chromadb, FAISS 말고도 pinecone, weaviate 등 여러 벡터 디비가 존재합니다.​· load -&gt; split -&gt; embed -&gt; store -&gt; search앞에서 다룬 내용을 기반으로 데이터를 읽고 쪼개고 임베딩하여 벡터 디비에 저장해보는 코드를 작성해보겠습니다.​다음 코드는 example.pdf를 읽어서 여러 chunk로 분할된 후 임베딩되어 벡터디비에 저장되는 코드입니다.
 </div><div id="SE-1926bd47-9470-4e6f-974b-952a32a655c3">
 이제 다음과 같이 벡터 스토어를 이용하여 유사한 검색 결과를 얻을 수 있습니다.
 </div><div id="SE-944671b2-a741-413c-b64e-4d3c87f9e981">
 ​● Retriever를 이용하영 RAG Chain 구축앞에서 벡터 스토어를 이용하여 유사한 검색 결과를 얻어보았습니다. 이를 통해 우리는 RAG를 구축할 수 있습니다.
 </div><div id="SE-dff83751-fb28-41e8-8327-f311da3e2560">
 as_retriever는 다음과 같이 상세 옵션을 지정할 수 있습니다.
 </div><div id="SE-91d730f8-938a-4f18-afd7-58f0aac5692c">
 · RAG 앞에서 만든 코드를 기반으로 RAG의 전체 코드를 작성해보겠습니다.
 </div><div id="SE-3cce6ba2-8ed1-4e7e-b8c5-347a73d2619c">
 이제 우리는 RAG를 통해 특정 문서나 데이터베이스에 기반하여 LLM이 몰랐던 데이터를 기반으로 답변을 생성할 수 있습니다.
 </div></div>

삽질하는 멍개씨

안녕하세요 멍개입니다. 1편과 2편까지 LangChain의 핵심 요소인 Model, Prompt, Output Parser를 이용하여 워크플로우를 위한 Chain를 구축하고 이를 위해 LCEL를 다뤄보았습니다. 하지만 LLM의 한계중 하나는 LLM 모델이 학습되고 새로운 정보가 나오거나 특정 회사에 있는 문서 또는 개인 문서를 알지 못합니다. 만약 최신 정보를 참조하거나 회사의 내부 문서, 개인 노트 등을 기반으로 답변하게 할 수 있는 방법론이 RAG(Retrieval Augmented Generation)입니다. RAG는 사용자로부터 쿼리가 발생되면 쿼리를 기반으로 관련 정보를 먼저 검색합니다. 이 정보를 기반으로 LLM에게 보강하라고 요청합니다. 정리하면 RAG는 지식의 한계, 확각, 접.......

[langchain] 3편 - LLM 모델로는 부족하다 외부 데이터를 활용한 RAG

댓글