<div id="readability-page-1" class="page"><div id="SE-c721dda6-1dec-418d-8e6e-a7b122fd9d78">
 안녕하세요 멍개입니다. ​이번 시간에는 자연스러운 대화의 흐름을 위해 챗봇이 맥락 유지를 할 수 있는 Memory와 스스로 생각하고 행동(tool)을 수행할 수 있는 Agent를 다뤄보겠습니다.​● MemoryLangChain은 RunnableWithMessageHistory를 통해 대화 내용을 기억하여 대화의 맥락을 유지할 수 있습니다. 또한 맥락 유지를 통해 자연스러운 대화를 이어가고 개인화된 데이터를 제공할 수 있습니다.​LangChain의 Memory의 작동원리는 Chain 실행 전에 Memory를 통해 이전 대화 기록을 불러옵니다. 불러온 대화 목록을 프롬프트 템픗릿의 지정된 변수(예: {history})에 주입합니다. 현재 입력과 이전 대화 기록이 포함된 프롬프트를 LLM에 전달하여 응답을 생성합니다. Chain이 실행되어 응답된 대답을 Memory에 기록하여 저장합니다.​· LangChain Memory 종류 LangChain에는 대화 내용을 관리하는 Memory를 다음과 같이 제공합니다.​▶ ConversationBufferMemoryConversationBufferMemory는 전체 대화 기록을 저장합니다. 이는 대화가 길어지면 기록이 너무 커져 LLM의 컨텍스트 크기를 초과할 수 있습니다.
 </div><div id="SE-b3898cec-a343-4765-bdf5-6c9eaf16a17e">
 ▶ ConversationBufferWindowMemoryConversationBufferMemory와 유사하지만 가장 최근 K개의 대화만 저장합니다. K개 이전의 대화 내용이 소실되는 단점이 존재합니다.
 </div><div id="SE-1ddc5603-00a0-4b25-a0cb-43f2162df164">
 ▶ ConversationSummaryMemory 대화가 발생할때마다 LLM을 활용하여 요악한 후 저장합니다. 이는 요약할 때 LLM이 사용하므로 비용이 발생합니다.
 </div><div id="SE-92d8deb3-8485-43b5-83cf-07e5df6a7937">
 여기에 소개한 Memory 이외에도 여러 Memory를 제공하고 있습니다.​☞ ConversationStringBufferMemory☞ ConversationTokenBufferMemory☞ ConversationSummaryBufferMemory☞ VectorStoreRetrieverMemory​앞에서 만든 memory를 직접 save를 수행할 수 있지만 다음과 같이 chain을 만들때 memory를 지정할 수 있습니다.
 </div><div id="SE-aa5a0578-b042-48d6-9f2f-6e938b3d3f6d">
 import bs4
from langchain.chains import create_history_aware_retriever, create_retrieval_chain
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_community.vectorstores import Chroma
from langchain_community.chat_message_histories import ChatMessageHistory
from langchain_community.document_loaders import WebBaseLoader
from langchain_core.chat_history import BaseChatMessageHistory
from langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholder
from langchain_core.runnables.history import RunnableWithMessageHistory
from langchain_openai import ChatOpenAI, OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain.globals import set_debug
from langchain_community.embeddings import HuggingFaceEmbeddings
from dotenv import load_dotenv

load_dotenv() 
# set_debug(True)
# env load

llm = ChatOpenAI(
 base_url="http://localhost:1234/v1",
 model_name="l3-8b-stheno-v3.1-iq-imatrix"
)


### Construct retriever ###
loader = WebBaseLoader(
 web_paths=("https://lilianweng.github.io/posts/2023-06-23-agent/",),
 bs_kwargs=dict(
 parse_only=bs4.SoupStrainer(
 class_=("post-content", "post-title", "post-header")
 )
 ),
)
docs = loader.load()

model_name = "sentence-transformers/all-MiniLM-L6-v2"
model_kwargs = {'device': 'cpu'}
encode_kwargs = {'normalize_embeddings': False}
embeddings_model = HuggingFaceEmbeddings(
 model_name=model_name,
 model_kwargs=model_kwargs,
 encode_kwargs=encode_kwargs
)

text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
splits = text_splitter.split_documents(docs)
vectorstore = Chroma.from_documents(persist_directory="./chroma_db_example", documents=splits, embedding=embeddings_model)
retriever = vectorstore.as_retriever()


### Contextualize question ###
contextualize_q_system_prompt = (
 "Given a chat history and the latest user question "
 "which might reference context in the chat history, "
 "formulate a standalone question which can be understood "
 "without the chat history. Do NOT answer the question, "
 "just reformulate it if needed and otherwise return it as is."
)
contextualize_q_prompt = ChatPromptTemplate.from_messages(
 [
 ("system", contextualize_q_system_prompt),
 MessagesPlaceholder("chat_history"),
 ("human", "{input}"),
 ]
)
history_aware_retriever = create_history_aware_retriever(
 llm, retriever, contextualize_q_prompt
)


### Answer question ###
system_prompt = (
 "You are an assistant for question-answering tasks. "
 "Use the following pieces of retrieved context to answer "
 "the question. If you don't know the answer, say that you "
 "don't know. Use three sentences maximum and keep the "
 "answer concise."
 "\n\n"
 "{context}"
)
qa_prompt = ChatPromptTemplate.from_messages(
 [
 ("system", system_prompt),
 MessagesPlaceholder("chat_history"),
 ("human", "{input}"),
 ]
)
question_answer_chain = create_stuff_documents_chain(llm, qa_prompt)

rag_chain = create_retrieval_chain(history_aware_retriever, question_answer_chain)


### Statefully manage chat history ###
store = {}


def get_session_history(session_id: str) -&gt; BaseChatMessageHistory:
 if session_id not in store:
 store[session_id] = ChatMessageHistory()
 return store[session_id]


conversational_rag_chain = RunnableWithMessageHistory(
 rag_chain,
 get_session_history,
 input_messages_key="input",
 history_messages_key="chat_history",
 output_messages_key="answer",
)

rst0 = conversational_rag_chain.invoke(
 {"input": "What is Task Decomposition?"},
 config={
 "configurable": {"session_id": "abc123"}
 }, # constructs a key "abc123" in `store`.
)
print('=========')
print(rst0)
print()
print()
print()

rst1 = conversational_rag_chain.invoke(
 {"input": "What are common ways of doing it?"},
 config={"configurable": {"session_id": "abc123"}},
)
print('=========')
print(rst1)

rst2 = conversational_rag_chain.invoke(
 {"input": "What are common ways of doing it?"},
 config={"configurable": {"session_id": "abc234"}},
)
print('=========')
print(rst2)
 </div><div id="SE-d89341c2-f507-41be-888e-3acadac01d48">
 앞의 코드를 실행하면 다음과 같이 결과를얻을 수 있습니다. 여기서 중요한 점은 두 번째 질문에서 chat_history가 포함되었다는 점 입니다. 그리고 세션이 다른 세번째 질문에서는 chat_history가 비어있다는 점 입니다.
 </div><div id="SE-9eb92264-07e1-4b16-bc0c-e7804e5ec359">
 ● AgentAgent는 LLM이 단순히 주어진 정보를 처리하는 것을 넘어 스스로 판단하고, 필요한 도구를 사용하는 것을 의미합니다. 즉, LLM에게 자율성을 부여하여 더 복잡하고 동적인 작업을 수행 할 수있습니다.​Chain의 경우 고정된 워크플로우를 가지지만 Agent는 그렇지 않다는 점에서 차이를 가집니다. 예를 들어 RAG가 대표적인 Chain의 고정된 워크플로우입니다. ​Agent의 작동 원리는 다른 포스트에서 다뤘으니 여기서는 생략하겠습니다.<a href="https://blog.naver.com/pjt3591oo/223839552262" data-linktype="text" data-linkdata="{&quot;id&quot;: &quot;SE-e1d835a9-5152-45ee-a68a-0a7ebc412596&quot;, &quot;link&quot;: &quot;https://blog.naver.com/pjt3591oo/223839552262&quot;}" target="_blank">https://blog.naver.com/pjt3591oo/223839552262</a>
 </div><div id="SE-0ac96f47-47b7-4890-a7f4-2ed951b444c5">
 해당 코드를 그래도 실행하면 l3-8b-steno-v3.1-iq-imatrix는 수학 계산을 하지 못하기 때문에 에러가 발생합니다.​· Custom Tools@tool을 이용하여 커스텀 툴을 만들 수 있습니다. 여기서는 prompt를 langchain의 hub를 통해 가져와보겠습니다.
 </div><div id="SE-56c36b48-60cd-4ff4-8ab1-234f1ff8bda4">
 여기서 agent-scratchhpad는 agent가 임시로 저장하는 변수입니다. 만약 직접 프롬프트를 만든다면 다음과 같이 만들 수 있습니다.
 </div><div id="SE-6f641e7c-3ee5-49dd-8639-72468254094d">
 ​지금까지 LLM에 Memory를 통해 맥락을 유지하고 Agent를 통해 도구를 호출하여 다양한 기능을 수행할 수 있도록 해보았습니다. 
 </div></div>

삽질하는 멍개씨

안녕하세요 멍개입니다. 이번 시간에는 자연스러운 대화의 흐름을 위해 챗봇이 맥락 유지를 할 수 있는 Memory와 스스로 생각하고 행동(tool)을 수행할 수 있는 Agent를 다뤄보겠습니다. ● Memory LangChain은 RunnableWithMessageHistory를 통해 대화 내용을 기억하여 대화의 맥락을 유지할 수 있습니다. 또한 맥락 유지를 통해 자연스러운 대화를 이어가고 개인화된 데이터를 제공할 수 있습니다. LangChain의 Memory의 작동원리는 Chain 실행 전에 Memory를 통해 이전 대화 기록을 불러옵니다. 불러온 대화 목록을 프롬프트 템픗릿의 지정된 변수(예: {history})에 주입합니다. 현재 입력과 이전 대화 기록이 포함된 프롬프트를 LLM에 전달하.......

[langchain] 4편 - Memory와 Agent

댓글