<div id="readability-page-1" class="page"><div>
 
 <div id="SE-d712f22f-25c0-4f61-9793-41cc7852e454">
 개요​Langchain 을 사용할때, LLM Model 의 파라미터가 각각 어떤 역할을 하는지 정리한다.​​​모델 파라미터​<ul><li>Temperature: 생성된 텍스트의 다양성을 조정. 값이 작으면 예측 가능하고 일관된 출력을 생성하는 반면, 값이 크면 다양하고 예측하기 어려운 출력을 생성.</li><li>Max Tokens: 생성할 최대 토큰 수를 지정. 생성할 텍스트의 길이를 제한.</li><li>Top P (Top Probability): 생성 과정에서 특정 확률 분포 내에서 상위 P% 토큰만을 고려하는 방식. 이는 출력의 다양성을 조정하는 데 도움이 됨.</li><li>Frequency Penalty (빈도 패널티): 값이 클수록 이미 등장한 단어나 구절이 다시 등장할 확률을 감소 시킴. 이를 통해 반복을 줄이고 텍스트의 다양성을 증가시킬 수 있음.</li><li>Presence Penalty (존재 패널티): 텍스트 내에서 단어의 존재 유무에 따라 그 단어의 선택 확률을 조정. 값이 클수록 아직 텍스트에 등장하지 않은 새로운 단어의 사용이 장려됨.</li><li>Stop Sequences (정지 시퀀스): 특정 단어나 구절이 등장할 경우 생성을 멈추도록 설정. 이는 출력을 특정 포인트에서 종료하고자 할 때 사용됨.</li></ul>​​예시​
 </div> <div id="SE-0e8d8564-d4a5-4f9a-8cd1-c4e5887da906">
 model = ChatOpenAI(
 model = "gpt-3.5-turbo-0125",
 params = {
 "temperature": 0.7,
 "max_tokens": 100,
 },
 kwargs = {
 "frequency_penalty": 0.5,
 "presence_penalty": 0.5,
 "stop": ["₩n"]
 }
)
 </div> <div id="SE-8b7c41d2-2e9a-4943-a025-106de9bce715">
 <a href="#" onclick="return false;" data-linktype="img" data-linkdata="{&quot;id&quot; : &quot;SE-8b7c41d2-2e9a-4943-a025-106de9bce715&quot;, &quot;src&quot; : &quot;https://blogfiles.pstatic.net/MjAyMTAzMTlfMTU1/MDAxNjE2MTM4MjkxMjM3.dNZls450pxypmf-DDgpsXyvvHMt06U7ZQUNXnOQA43Ug.vtGD-dfDsIyabzZVoo-fdyd2AIYUoQuMT74Plq4T10Yg.JPEG.writer0713/kakao.jpeg?type=w1&quot;, &quot;originalWidth&quot; : &quot;256&quot;, &quot;originalHeight&quot; : &quot;103&quot;, &quot;linkUse&quot; : &quot;true&quot;, &quot;link&quot; : &quot;https://qr.kakaopay.com/2810060110000443710583945dc00000&quot;, &quot;fileSize&quot;: &quot;10139&quot; }">
 <img src="https://blogfiles.pstatic.net/MjAyMTAzMTlfMTU1/MDAxNjE2MTM4MjkxMjM3.dNZls450pxypmf-DDgpsXyvvHMt06U7ZQUNXnOQA43Ug.vtGD-dfDsIyabzZVoo-fdyd2AIYUoQuMT74Plq4T10Yg.JPEG.writer0713/kakao.jpeg?type=w1" alt="">
 </a>
 
 카카오페이로 후원
 </div>
 <div id="SE-d6bd9823-fdf0-4ca2-843d-6f14a118bf86">
 <a href="#" onclick="return false;" data-linktype="img" data-linkdata="{&quot;id&quot; : &quot;SE-d6bd9823-fdf0-4ca2-843d-6f14a118bf86&quot;, &quot;src&quot; : &quot;https://blogfiles.pstatic.net/MjAyMTAzMTlfMTIy/MDAxNjE2MTM4Mzk5Mjkz.7C8k50nPce6NqNspKw4-LN2u34aGtUxhR0Wv_mZH-xQg.U1KVzLLFEU4OaZ2KhamW_jV6_a4jVmvV0V3yY0uTl_Qg.JPEG.writer0713/kakao_qr.jpeg?type=w1&quot;, &quot;originalWidth&quot; : &quot;330&quot;, &quot;originalHeight&quot; : &quot;330&quot;, &quot;linkUse&quot; : &quot;false&quot;, &quot;link&quot; : &quot;&quot;, &quot;fileSize&quot;: &quot;31457&quot; }">
 <img src="https://blogfiles.pstatic.net/MjAyMTAzMTlfMTIy/MDAxNjE2MTM4Mzk5Mjkz.7C8k50nPce6NqNspKw4-LN2u34aGtUxhR0Wv_mZH-xQg.U1KVzLLFEU4OaZ2KhamW_jV6_a4jVmvV0V3yY0uTl_Qg.JPEG.writer0713/kakao_qr.jpeg?type=w1" alt="">
 </a>
 
 카카오페이 QR코드로 후원
 </div>
 <div id="SE-e87e994f-ced4-42ed-9947-8a4d93fb4360">
 #llm #llmmodelparameter #모델파라미터 #langchain #temperature #maxtokens #topp #frequencypenalty #presensepenalty #stopSequences
 </div> </div></div>

나만의공간。

KIM JUNGHWAN

개요 Langchain 을 사용할때, LLM Model 의 파라미터가 각각 어떤 역할을 하는지 정리한다. 모델 파라미터 Temperature: 생성된 텍스트의 다양성을 조정. 값이 작으면 예측 가능하고 일관된 출력을 생성하는 반면, 값이 크면 다양하고 예측하기 어려운 출력을 생성. Max Tokens: 생성할 최대 토큰 수를 지정. 생성할 텍스트의 길이를 제한. Top P (Top Probability): 생성 과정에서 특정 확률 분포 내에서 상위 P% 토큰만을 고려하는 방식. 이는 출력의 다양성을 조정하는 데 도움이 됨. Frequency Penalty (빈도 패널티): 값이 클수록 이미 등장한 단어나 구절이 다시 등장할 확률을 감소 시킴. 이를 통해 반복을 줄이고 텍스트의 다양성을 증가.......

[AI] LLM 모델 튜닝: 모델 파라미터 설정

댓글