<div id="readability-page-1" class="page"><div id="SE-b27a081a-5192-41b6-9420-0feda097f5a1">
 안녕하세요 멍개입니다. ​1편부터 4편까지는 LangChain의 기본부터 RAG, Agent 구축하는 방법을 다뤄보았습니다. 이번 편에서는 LangChain 어플리케이션 개발의 도움을 주는 LangSmith와 배포를 도와주는 LangServe를 다뤄보도록 하겠습니다.​● LangSmithLangSmith는 LangChain 어플리케이션의 개발, 디버깅, 추적, 평가 및 모니터링을 위해 설계된 플랫폼입니다. LangSmith는 복잡성, 비결정성, 가시성 부족, 디버깅 어려움, 평가 및 개선의 어려움을 해결하기 위해 사용됩니다.​· LangSmith 키 발급LangSmith를 사용하기 위해 먼저 API 키를 발급받아야 됩니다.<a href="https://smith.langchain.com/" data-linktype="text" data-linkdata="{&quot;id&quot;: &quot;SE-5cd7f2f7-7593-48fd-a1e3-acea3152265b&quot;, &quot;link&quot;: &quot;https://smith.langchain.com/&quot;}" target="_blank">https://smith.langchain.com/</a>
 </div><div id="SE-048de365-4591-4837-80a2-64353bd3c139">
 로그인 후 좌측의 setting에서 API키를 발급받을 수 있습니다.
 </div><div id="SE-4121d287-2ccb-4ef7-b8c9-5434f689e30c">
 LANGCHAIN_TRACING_V2는 LangChain의 모든 실행(Runnable 객체의 invoke, batch, stream, ainvoke 등 호출) 이 LangSmith로 전송됩니다.​· LangChain 어플리케이션 1간단한 LangChain 어플리케이션을 만든 후 실행을 해봅니다.
 </div><div id="SE-ed12cce5-aeac-4cfb-b277-63efd7fa6166">
 · LangSmithLangSmith 대시보드에서 다음과 같이 확인할 수 있습니다.​.env에서 지정한 LANGCHAIN_PROJECT을 확인할 수 있습니다.
 </div><div id="SE-28124f62-5e56-4b4e-ac9e-0f5ae49d6f0e">
 해당 프로젝트를 선택하면 다음과 같이 실행된 로그를 볼 수 있으며 INPUT, OUTPUT 등을 확인할 수 있습니다.
 </div><div id="SE-cff66853-beac-4954-845b-edfd561d5caa">
 또한 Runs에서 가장 큰 기능은 바로 Runnable의 로그를 각각 확인할 수 있다는 점 입니다.
 </div><div id="SE-29633038-825c-4345-8a95-963cfcd7759d">
 · LangChain 애플리케이션 2이번엔 조금 복잡한 LangChain 애플리케이션을 만들어보겠습니다.
 </div><div id="SE-8d7bdfd5-a8a8-45bd-b1f7-5d3923c3d1cc">
 import bs4
from langchain.chains import create_history_aware_retriever, create_retrieval_chain
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_community.vectorstores import Chroma
from langchain_community.chat_message_histories import ChatMessageHistory
from langchain_community.document_loaders import WebBaseLoader
from langchain_core.chat_history import BaseChatMessageHistory
from langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholder
from langchain_core.runnables.history import RunnableWithMessageHistory
from langchain_openai import ChatOpenAI
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter
from dotenv import load_dotenv
from langchain.tools.retriever import create_retriever_tool
from langgraph.prebuilt import create_react_agent
from langchain.schema import HumanMessage
from langgraph.checkpoint.memory import MemorySaver

load_dotenv()
# os.environ["OPENAI_API_KEY"] = "YOUR_API_KEY"

llm = ChatOpenAI(
 base_url="http://localhost:1234/v1",
 model_name="l3-8b-stheno-v3.1-iq-imatrix",
 temperature=0.7
)

model_name = "sentence-transformers/all-MiniLM-L6-v2" # 영어권에서 성능 좋은 경량 모델
# model_name = "jhgan/ko-sroberta-multitask" # 한국어 모델 예시
model_kwargs = {'device': 'cpu'} # CPU 사용 명시 (GPU 사용 가능 시 'cuda')
encode_kwargs = {'normalize_embeddings': False} # 정규화 여부

embeddings_model = HuggingFaceEmbeddings(
 model_name=model_name,
 model_kwargs=model_kwargs,
 encode_kwargs=encode_kwargs
)


### Construct retriever ###
loader = WebBaseLoader(
 web_paths=("https://lilianweng.github.io/posts/2023-06-23-agent/",),
 bs_kwargs=dict(
 parse_only=bs4.SoupStrainer(
 class_=("post-content", "post-title", "post-header")
 )
 ),
)
docs = loader.load()

text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
splits = text_splitter.split_documents(docs)
vectorstore = Chroma.from_documents(documents=splits, embedding=embeddings_model)
retriever = vectorstore.as_retriever()


### Contextualize question ###
contextualize_q_system_prompt = (
 "Given a chat history and the latest user question "
 "which might reference context in the chat history, "
 "formulate a standalone question which can be understood "
 "without the chat history. Do NOT answer the question, "
 "just reformulate it if needed and otherwise return it as is."
)
contextualize_q_prompt = ChatPromptTemplate.from_messages(
 [
 ("system", contextualize_q_system_prompt),
 MessagesPlaceholder("chat_history"),
 ("human", "{input}"),
 ]
)
history_aware_retriever = create_history_aware_retriever(
 llm, retriever, contextualize_q_prompt
)


### Answer question ###
system_prompt = (
 "You are an assistant for question-answering tasks. "
 "Use the following pieces of retrieved context to answer "
 "the question. If you don't know the answer, say that you "
 "don't know. Use three sentences maximum and keep the "
 "answer concise."
 "\n\n"
 "{context}"
)
qa_prompt = ChatPromptTemplate.from_messages(
 [
 ("system", system_prompt),
 MessagesPlaceholder("chat_history"),
 ("human", "{input}"),
 ]
)
question_answer_chain = create_stuff_documents_chain(llm, qa_prompt)

rag_chain = create_retrieval_chain(history_aware_retriever, question_answer_chain)


### Statefully manage chat history ###
store = {}


def get_session_history(session_id: str) -&gt; BaseChatMessageHistory:
 if session_id not in store:
 store[session_id] = ChatMessageHistory()
 return store[session_id]


conversational_rag_chain = RunnableWithMessageHistory(
 rag_chain,
 get_session_history,
 input_messages_key="input",
 history_messages_key="chat_history",
 output_messages_key="answer",
)

# ===== direct call =====
# result0 = conversational_rag_chain.invoke(
# {"input": "What is Task Decomposition?"},
# config={
# "configurable": {"session_id": "abc123"}
# }, # constructs a key "abc123" in `store`.
# )["answer"]

# print(result0)

# result1 = conversational_rag_chain.invoke(
# {"input": "What are common ways of doing it?"},
# config={"configurable": {"session_id": "abc123"}},
# )["answer"]

# print(result1)


tool = create_retriever_tool(
 retriever,
 "blog_post_retriever",
 "Searches and returns excerpts from the Autonomous Agents blog post.",
)
tools = [tool]

# # direct tool call
# result2 = tool.invoke("task decomposition")
# print(result2)

memory = MemorySaver()

# agent_executor = create_react_agent(llm, tools)
agent_executor = create_react_agent(llm, tools, checkpointer=memory)

query = "What is Task Decomposition?"
config = {"configurable": {"thread_id": "abc123"}}

for s in agent_executor.stream(
 {"messages": [HumanMessage(content=query)]},
 config=config,
):
 print(s)
 print("----")
 </div><div id="SE-412a0277-c0d9-46a2-b2eb-419d988e40a1">
 실행 후 LangSmith를 확인하면 다음과 같이 결과를 확인할 수 있습니다.
 </div><div id="SE-1c6d67ed-795d-4939-9d10-5f28954582c5">
 ​● LangServeLangServe은 Rnnable 인터페이스를 따르는 모든 객체(Chain, AgentExecutor, Retriever 등)을 REST API 엔드포인트로 노출시켜줍니다. 스트리밍은 /stream, 배치를 /batch 형태로 엔드포인트를 제공합니다.LangServe는 스키마를 자동으로 생성하고 FastAPI 기반으로 동작합니다. 그리고 배포된 API를 웹 브라우저에서 바로 테스트할 수 있도록 대화형 UI를 제공합니다.
 </div><div id="SE-7811fe25-192c-479a-8e9a-25ddeb40087a">
 · playgroundhttp://localhost:8000/rag-chain/playground으로 접속하면 다음과 같이 페이지를 확인할 수 있습니다.​
 </div><div id="SE-31ecf634-edfb-4f96-b2ae-0f95ac0d14ae">
 어떤 과정으로 동작했는지 확인할 수 있습니다.
 </div><div id="SE-90348fed-371d-4366-950e-e8b2093dbf3a">
 · client 구현POST 방식으로 /invoke, /batch 각각 요청할 수 있습니다.
 </div><div id="SE-2269186f-93d7-4684-97fb-f589747f7321">
 · 이미 운영중인 FastAPI와 연동RunnableLambda를 이용하여 이미 구현된 FastAPI 프로젝트에 병합할 수 있습니다. path를 통해 endpoint를 지정할 수 있습니다. 기존 라우트와 곂치지 않도록 하는것이 중요합니다.
 </div></div>

삽질하는 멍개씨

안녕하세요 멍개입니다. 1편부터 4편까지는 LangChain의 기본부터 RAG, Agent 구축하는 방법을 다뤄보았습니다. 이번 편에서는 LangChain 어플리케이션 개발의 도움을 주는 LangSmith와 배포를 도와주는 LangServe를 다뤄보도록 하겠습니다. ● LangSmith LangSmith는 LangChain 어플리케이션의 개발, 디버깅, 추적, 평가 및 모니터링을 위해 설계된 플랫폼입니다. LangSmith는 복잡성, 비결정성, 가시성 부족, 디버깅 어려움, 평가 및 개선의 어려움을 해결하기 위해 사용됩니다. · LangSmith 키 발급 LangSmith를 사용하기 위해 먼저 API 키를 발급받아야 됩니다. https://smith.langchain.com/ 로그인 후 좌측의 setting에서 API키를 발급받을.......

[langchain] 5편 - 개발 생산성 및 배포

댓글