<div id="readability-page-1" class="page"><div>문장의 유사도를 비교시 사용할 수 있는 Sentence Transformers 사용 방법을 다룹니다.

다음 문서를 기반으로 작성했습니다.

Quickstart
<a href="https://www.sbert.net/docs/quickstart.html#comparing-sentence-similarities">https://www.sbert.net/docs/quickstart.html#comparing-sentence-similarities</a>&nbsp;

2024. 3. 2&nbsp; 최초작성

다음처럼 sentence-transformers 패키지를 설치해야 합니다.&nbsp;

pip install sentence-transformers

테스트 해볼떄 기본 파이썬 환경과 독립적으로 패키지를 설치할 수 있는 Miniconda 사용을 추천합니다.

Visual Studio Code와 Miniconda를 사용한 Python 개발 환경 만들기( Windows, Ubuntu)
<a href="https://webnautes.tistory.com/1842">https://webnautes.tistory.com/1842</a>&nbsp;

CUDA 가속을 사용하려면 PyTorch를 설치해야합니다. PyTorch 설치 방법은 다음 포스트를 참고하세요.

Ubuntu / Windows / WSL2에서 CUDA를 사용하는 Tensorflow / Pytorch 설치
<a href="https://webnautes.tistory.com/2254">https://webnautes.tistory.com/2254</a>&nbsp;&nbsp;

사용할 수 있는 Sentence Transformer 모델은 허깅 페이스 허브( <a href="https://huggingface.co/models">https://huggingface.co/models</a> )에서 찾을 수 있습니다. 한국어를 사용할 수 있는 Sentence Transformer 모델을 찾아보겠습니다.

Tasks 탭에서 Natural Language Processing 항목에 있는 Sentence Similarity를 선택합니다.&nbsp;

<figure data-ke-mobilestyle="widthOrigin" data-origin-width="904" data-origin-height="1532"><img src="https://blog.kakaocdn.net/dn/bmrU9l/btsFr9JjoXl/R4MjYMDSI5hxKr9Werc6KK/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" width="429" height="728" data-origin-width="904" data-origin-height="1532"></figure>


Languages 탭에서 Korean을 선택합니다.

<figure data-ke-mobilestyle="widthOrigin" data-origin-width="872" data-origin-height="498"><img src="https://blog.kakaocdn.net/dn/pXKBl/btsFqYA6nUt/FRJXG0LQLHgKU7KbrigdC0/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" width="436" height="249" data-origin-width="872" data-origin-height="498"></figure>


글 작성시점에 54개의 모델이 검색됩니다. 오른쪽 위에 보이는 Sort를 조정하여 정렬 방법을 바꿀 수 있고 각 모델별로 다운로드 개수와 좋아요 개수가 표시됩니다.
이중에 snunlp/KR-SBERT-V40K-klueNLI-augSTS 모델을 사용해보겠습니다.

<figure data-ke-mobilestyle="widthOrigin" data-origin-width="1600" data-origin-height="551"><img src="https://blog.kakaocdn.net/dn/bdobUr/btsFnYvici5/P1VN4C0ZsbIy7FaCxNMbh0/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" width="731" height="252" data-origin-width="1600" data-origin-height="551"></figure>


<div>
from sentence_transformers import SentenceTransformer # 모델을 로드합니다. model = SentenceTransformer("snunlp/KR-SBERT-V40K-klueNLI-augSTS") # 인코딩해볼 문장입니다. sentences = [ &nbsp; &nbsp; "안녕하세요", &nbsp; &nbsp; "오늘을 즐겁게 사세요", &nbsp; &nbsp; "멈춤보단 천천히라도", ] # model.encode를 사용하여 문장을 인코딩을 해봅니다. sentence_embeddings = model.encode(sentences) # 인코딩 결과 얻은 임베딩(embeddings)을 출력해봅니다. for sentence, embedding in zip(sentences, sentence_embeddings): &nbsp; &nbsp; print("Sentence:", sentence) &nbsp; &nbsp; print("Embedding:", embedding) &nbsp; &nbsp; print("")
</div>

처음 실행시에는 모델이 다운로드된 후, 코드가 실행됩니다.
문장과 실수 배열인 임베딩이 출력됩니다. 임베딩 길이는 사용하는 모델에 따라 달라집니다.&nbsp;

Sentence: 안녕하세요
Embedding: [-0.8737877 &nbsp; 0.51739484&nbsp; 0.609266 &nbsp; -0.44665205 -0.2724999 &nbsp; 0.4278632
&nbsp;-0.8329894 &nbsp; 0.5745985 &nbsp; 1.1008736&nbsp; -0.15871537&nbsp; 0.99624306&nbsp; 0.34876847
&nbsp;&nbsp;0.56605333 -0.25209 &nbsp; &nbsp; 0.08570296 -0.5976638 &nbsp; 0.6762777&nbsp; -0.22923815
&nbsp;&nbsp;0.15332514 -0.5932304&nbsp; -0.48137864&nbsp; 0.23162384&nbsp; 0.12672712&nbsp; 0.02881984
&nbsp;&nbsp;….….….….….….….….….….….….….….….….….….….….….….….….….….….….
&nbsp;-1.0404934 &nbsp; 0.495519&nbsp; &nbsp; 1.3848743 &nbsp; 0.50197065&nbsp; 0.2159965&nbsp; -0.15523516
&nbsp;-0.14469309 -0.05091649 -0.8628233&nbsp; -0.5377979&nbsp; -0.21017177&nbsp; 0.8720729 ]

Sentence: 오늘을 즐겁게 사세요
Embedding: [-0.26642904&nbsp; 0.8224812 &nbsp; 0.4734286 &nbsp; 0.24794106 -0.03654553&nbsp; 0.1492772
&nbsp;-0.43533817 -0.6399177&nbsp; -0.12757014&nbsp; 0.3611263 &nbsp; 0.6050594&nbsp; -0.7618291
&nbsp;-0.89946485 -0.45443606&nbsp; 0.0737004 &nbsp; 0.05821227&nbsp; 0.64218503 -1.6093768
&nbsp;-1.0574077 &nbsp; 0.54869455 -0.20314325 -0.2809659 &nbsp; 0.25756073&nbsp; 1.100432
….….….….….….….….….….….….….….….….….….….….….….….….….….….….
&nbsp;-0.7763114 &nbsp; 0.26331347&nbsp; 0.68160486 -0.83627987 -0.30985576&nbsp; 0.90296316
&nbsp;-0.7274006 &nbsp; 0.9144573 &nbsp; 0.23684828 -0.3469492&nbsp; -1.0827118 &nbsp; 0.7831165 ]

Sentence: 멈춤보단 천천히라도
Embedding: [ 1.21598877e-01&nbsp; 2.39369020e-01 -6.55887961e-01&nbsp; 1.39561534e-01
&nbsp;-2.33324505e-02&nbsp; 5.19744456e-01 -2.68895775e-01 -2.91514099e-01
&nbsp;-5.97296357e-01 -1.11123490e+00&nbsp; 2.48153210e-01&nbsp; 2.51260787e-01
&nbsp;&nbsp;1.11823785e+00&nbsp; 1.44671574e-01 -1.32478392e+00&nbsp; 8.38296115e-01
&nbsp;&nbsp;….….….….….….….….….….….….….….….….….….….….….….….….….….….….
&nbsp;&nbsp;1.07271707e+00&nbsp; 1.10517001e+00 -4.63861495e-01 -1.32686555e-01
&nbsp;&nbsp;2.82214314e-01 -2.76035726e-01 -1.11892772e+00 -9.46682274e-01]

<h2>두 문장의 유사도 비교</h2>
Sentence Transformer 모델을 사용하여 문장을 인코딩하면 벡터 공간에서 비슷한 의미를 가진 문장이 가까워지도록 매핑됩니다. 벡터 공간에서 유사성을 측정하는 방법 중 하나는 코사인 유사도를 사용하는 것입니다.&nbsp; 다음처럼 두 문장의 유사도를 코사인 유사도로 측정해볼 수 있습니다.

<div>
from sentence_transformers import SentenceTransformer, util model = SentenceTransformer("snunlp/KR-SBERT-V40K-klueNLI-augSTS") # 문장을 인코딩합니다. emb1 = model.encode("너는 사과를 좋아하니?") emb2 = model.encode("나는 사과를 좋아합니다.") emb3 = model.encode("나는 딸기를 좋아합니다.") # 코사인 유사도를 계산하여 출력합니다. cos_sim = util.cos_sim(emb1, emb2) print("Cosine-Similarity:", cos_sim) cos_sim = util.cos_sim(emb1, emb3) print("Cosine-Similarity:", cos_sim)
</div>

실행결과를 보면 "너는 사과를 좋아하니?" 문장과 "나는 사과를 좋아합니다." 문장이 유사한 정도는 0.8137이고 "너는 사과를 좋아하니?" 문장과 "나는 딸기를 좋아합니다." 문장이 유사한 정도는 0.4914입니다.

Cosine-Similarity: tensor([[0.8137]])
Cosine-Similarity: tensor([[0.4914]])

FAISS를 사용하여 다수의 문장에 대해 주어진 문장의 유사도를 비교하는 방법은 아래 포스트를 참고하세요.

faiss 사용법 및 예제 코드
<a href="https://webnautes.tistory.com/1887">https://webnautes.tistory.com/1887</a>&nbsp;
</div></div>

멈춤보단 천천히라도

문장의 유사도를 비교시 사용할 수 있는 Sentence Transformers 사용 방법을 다룹니다. 다음 문서를 기반으로 작성했습니다. Quickstart https://www.sbert.net/docs/quickstart.html#comparing-sentence-similarities 2024. 3. 2 최초작성 다음처럼 sentence-transformers 패키지를 설치해야 합니다. pip install sentence-transformer..

Sentence Transformers 사용방법

댓글