<div id="readability-page-1" class="page"><div>


    

    <article>
        <ul>
  <li><a href="#1-sentence-bert">1. Sentence Bert</a>
    <ul>
      <li><a href="#11-problem">1.1 Problem</a></li>
      <li><a href="#12-bert-vs-sentence-bert-sbert">1.2 BERT VS Sentence-BERT (SBERT)</a></li>
      <li><a href="#13-model">1.3 Model</a></li>
      <li><a href="#14-siamese-network">1.4 Siamese Network</a></li>
      <li><a href="#15-loss-functions">1.5 Loss Functions</a>
        <ul>
          <li><a href="#151-cosine-similarity--mse-loss-regression-loss">1.5.1 Cosine Similarity + MSE Loss (Regression Loss)</a></li>
          <li><a href="#152-classification-objective">1.5.2 Classification Objective</a></li>
          <li><a href="#153-triplet-loss">1.5.3 Triplet Loss</a></li>
        </ul>
      </li>
    </ul>
  </li>
</ul>

        

<table>
  <thead>
    <tr>
      <th>Key</th>
      <th>Value</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <td>Paper</td>
      <td>https://arxiv.org/pdf/1908.10084</td>
    </tr>
    <tr>
      <td>publication Date</td>
      <td>2019</td>
    </tr>
  </tbody>
</table>

<h2 id="11-problem">1.1 Problem</h2>

<p>상황</p>
<ul>
  <li>문장 A 가 있을때 B1 ~ B10,000 까지 1만개의 문장이 있음</li>
  <li>이때 A와 가장 유사한 단어를 찾고 싶은 것임</li>
</ul>

<p>기존 BERT 방식</p>
<ul>
  <li>BERT는 문장을 “[CLS] A문장 [SEP] B문장” 형태로 합쳐서 넣고</li>
  <li>두 쌍을 BERT에 통채로 넣어서 inference를 함</li>
  <li>즉 training 시에 모든 문장의 유사도 계산시 10,000 x 9,999 번의 계산이 필요함</li>
  <li>따라서 매우 비효율적임</li>
</ul>

<h2 id="12-bert-vs-sentence-bert-sbert">1.2 BERT VS Sentence-BERT (SBERT)</h2>

<table>
  <thead>
    <tr>
      <th>Key</th>
      <th>BERT</th>
      <th>Setence-BERT (SBERT)</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <td>input method</td>
      <td>Cross Encoder 방식 - “[CLS] A 문장 [SEP] B 문장”</td>
      <td>각 문장을 따로따로 입력 (Bi-Encoder)</td>
    </tr>
    <tr>
      <td>Embedding Generation</td>
      <td>토큰 단위 (shape: [1, seq_len, 768])</td>
      <td>문장 전체를 하나의 벡터로 유지 (shape: [384,] &lt;- 벡터 하나)</td>
    </tr>
    <tr>
      <td>Performance</td>
      <td>Cross Encoder 방식이 더 정확함. 하지만 느림</td>
      <td>정확도가 꽤나 잘 유지, 매우 빠름, 특히 검색에서 좋음</td>
    </tr>
    <tr>
      <td>Architecture</td>
      <td>단일 Transformer</td>
      <td>Siamese 또는 Triplet Network</td>
    </tr>
    <tr>
      <td>Usage</td>
      <td>Classification, QnA, NLI</td>
      <td>Similarity Search, Clustering, Recommendation</td>
    </tr>
  </tbody>
</table>

<h2 id="13-model">1.3 Model</h2>

<p><img src="http://incredible.ai/assets/images/sbert-model.png"></p>

<p>특징</p>
<ul>
  <li>BERT 또는 RoBERTa 에 적용 가능</li>
  <li>Pooling 사용하여 fixed sized sentence embedding 생성</li>
  <li>Pooling Method
    <ul>
      <li>CLS Pooling: last_hidden_state[:, 0, :] # shape (1, hidden_dim)</li>
      <li>Mean Pooling: [PAD] Token을 제외하고 평균을 냄. SBERT 의 기본값</li>
      <li>MAX Pooling: [PAD] 부분은 음수로 바꾸고 나머지에서 MAX를 취함</li>
    </ul>
  </li>
  <li>Training Method: Siamese, Triplet Loss</li>
  <li>Performance: Bi-Encoder 를 사용함으로서 빠른 유사도 계산 가능</li>
</ul>

<h2 id="14-siamese-network">1.4 Siamese Network</h2>

<p><strong>Siamese Network (샴 네트워크)</strong>는 두개 이상의 입력 (두 문장, 두 이미지)를 <strong>동일한 모델</strong>에 넣어 각각의 embedding을 만든후,
두 embeddings 의 유사도를 계산하는 구조</p>

<p>수학적 정리</p>
<ul>
  <li>동일한 신경만 f(x) 를 두번 사용</li>
  <li>유사도 계산
    <ul>
      <li>Cosine Similarity: \(cosine \left( f(x_1), f(x_2) \right) = \frac{ f(x_1) \dot f(x_2)}{ \| f(x_1) \| \| f(x_2) \| }\)</li>
      <li>Euclid Distance: \(\| f(x_1) - f(x_2) \|_2\)</li>
    </ul>
  </li>
</ul>

<h2 id="15-loss-functions">1.5 Loss Functions</h2>

<h3 id="151-cosine-similarity--mse-loss-regression-loss">1.5.1 Cosine Similarity + MSE Loss (Regression Loss)</h3>

\[Loss = MSE(cos(u, v), label)\]

<p>Example</p>
<ul>
  <li>문장 A: “The Cat is sleeping”</li>
  <li>문장 B: “A feline is resting”</li>
  <li>label = 4.5/5 = 0.9</li>
  <li>cosine(u, v) 가 0.9에 맞도록 학습</li>
</ul>

<div><pre><code><span>import</span> <span>torch</span>
<span>import</span> <span>torch.nn.functional</span> <span>as</span> <span>F</span>

<span>u</span> <span>=</span> <span>torch</span><span>.</span><span>randn</span><span>(</span><span>1</span><span>,</span> <span>768</span><span>)</span>  <span># sentence A
</span><span>v</span> <span>=</span> <span>torch</span><span>.</span><span>randn</span><span>(</span><span>1</span><span>,</span> <span>768</span><span>)</span>  <span># sentence B
</span>
<span># Cosine similarity: [-1, 1]
</span><span>cos_sim</span> <span>=</span> <span>F</span><span>.</span><span>cosine_similarity</span><span>(</span><span>u</span><span>,</span> <span>v</span><span>)</span>

<span>label</span> <span>=</span> <span>torch</span><span>.</span><span>tensor</span><span>([</span><span>0.85</span><span>])</span> 
<span>mse_loss</span> <span>=</span> <span>F</span><span>.</span><span>mse_loss</span><span>(</span><span>cos_sim</span><span>,</span> <span>label</span><span>)</span>
<span>print</span><span>(</span><span>"MSE Loss:"</span><span>,</span> <span>mse_loss</span><span>.</span><span>item</span><span>())</span>
</code></pre></div>

<h3 id="152-classification-objective">1.5.2 Classification Objective</h3>

\[\begin{align} 
h = \left[ u; v;; | u -v | \right]  \\
o = softmax(W_t \dot h + b) \\
L = CrossEntropy(o, y)
\end{align}\]

<ul>
  <li>y 는 0, 1 같은 binary classification label</li>
  <li>\(u, v \in  \mathbb{R}^n\) : 두 문장의 embeddings</li>
  <li>\(abs( u - v )\) : element-wise 절대값 차이</li>
  <li>\(h \in \mathbb{R}^{3n \time k}\) 3개의 vector를 concatenate 함 <code>torch.cat([u, v, torch.abs(u - v), dim=1)</code></li>
</ul>

<p>이후에 Cross Entropy Loss 사용</p>

<h3 id="153-triplet-loss">1.5.3 Triplet Loss</h3>

\[TripletLoss = max(\| s_a - s_p \| - \| s_a - s_n \| + \epsilon, 0)\]

<ul>
  <li>\(s_a\) : anchor 문장의 embedding</li>
  <li>\(s_p\) : positive 문장의 embedding</li>
  <li>\(s_n\) : negative 문장의 embedding</li>
  <li>\(\epsilon\) : margin 이고 논문에서는 1로 설정</li>
</ul>

<p>직관적으로 해석하면 anchor와 positive는 최대한 가까워야 하고, ahchor와 negative 더 멀어야 함 <br>
그것도 margin 만큼 차이가 나도록 만듬</p>

    </article>

    
    

    
    
    
    
</div></div>

Incredible.AI

1. Sentence Bert
Key
      Value
    
Paper
      https://arxiv.org/pdf/1908.10084
    
publication Date
      2019
    
1.1 Problem
상황
문장 A 가 있을때 B1 ~ B10,000 까지 1만개의 문장이 있음
이때 A와 가장 유사한 단어를 찾고 싶은 것임
기존 BERT 방식
BERT는 문장을 “[CLS] A문장 [SEP] B문장” 형태로 합쳐서 넣고
두 쌍을 BERT에 통채로 넣어서 inference를 함
즉 training 시에 모든 문장의 유사도 계산시 10,000 x 9,999 번의 계산이 필요함
따라서 매우 비효율적임
1.2 BERT VS Sentence-BERT (SBERT)
Key
      BERT
      Setence-BERT (SBERT)
    
input method
      Cross Encoder 방식 - “[CLS] A 문장 [SEP] B 문장”
      각 문장을 따로따로 입력 (Bi-Encoder)
    
Embedding Generation
      토큰 단위 (shape: [1, seq_len, 768])
      문장 전체를 하나의 벡터로 유지 (shape: [384,] <- 벡터 하나)
    
Performance
      Cross Encoder 방식이 더 정확함. 하지만 느림
      정확도가 꽤나 잘 유지, 매우 빠름, 특히 검색에서 좋음
    
Architecture
      단일 Transformer
      Siamese 또는 Triplet Network
    
Usage
      Classification, QnA, NLI
      Similarity Search, Clustering, Recommendation
    
1.3 Model
특징
BERT 또는 RoBERTa 에 적용 가능
Pooling 사용하여 fixed sized sentence embedding 생성
Pooling Method
    
CLS Pooling: last_hidden_state[:, 0, :] # shape (1, hidden_dim)
Mean Pooling: [PAD] Token을 제외하고 평균을 냄. SBERT 의 기본값
MAX Pooling: [PAD] 부분은 음수로 바꾸고 나머지에서 MAX를 취함
Training Method: Siamese, Triplet Loss
Performance: Bi-Encoder 를 사용함으로서 빠른 유사도 계산 가능
1.4 Siamese Network
Siamese Network (샴 네트워크)는 두개 이상의 입력 (두 문장, 두 이미지)를 동일한 모델에 넣어 각각의 embedding을 만든후,
두 embeddings 의 유사도를 계산하는 구조
수학적 정리
동일한 신경만 f(x) 를 두번 사용
유사도 계산
    
Cosine Similarity: \(cosine \left( f(x_1), f(x_2) \right) = \frac{ f(x_1) \dot f(x_2)}{ \| f(x_1) \| \| f(x_2) \| }\)
Euclid Distance: \(\| f(x_1) - f(x_2) \|_2\)
1.5 Loss Functions
1.5.1 Cosine Similarity + MSE Loss (Regression Loss)
Example
문장 A: “The Cat is sleeping”
문장 B: “A feline is resting”
label = 4.5/5 = 0.9
cosine(u, v) 가 0.9에 맞도록 학습
import torch
import torch.nn.functional as F
u = torch.randn(1, 768)  # sentence A
v = torch.randn(1, 768)  # sentence B
# Cosine similarity: [-1, 1]
cos_sim = F.cosine_similarity(u, v)
label = torch.tensor([0.85]) 
mse_loss = F.mse_loss(cos_sim, label)
print("MSE Loss:", mse_loss.item())
1.5.2 Classification Objective
y 는 0, 1 같은 binary classification label
\(u, v \in  \mathbb{R}^n\) : 두 문장의 embeddings
\(abs( u - v )\) : element-wise 절대값 차이
\(h \in \mathbb{R}^{3n \time k}\) 3개의 vector를 concatenate 함 torch.cat([u, v, torch.abs(u - v), dim=1)
이후에 Cross Entropy Loss 사용
1.5.3 Triplet Loss
\(s_a\) : anchor 문장의 embedding
\(s_p\) : positive 문장의 embedding
\(s_n\) : negative 문장의 embedding
\(\epsilon\) : margin 이고 논문에서는 1로 설정
직관적으로 해석하면 anchor와 positive는 최대한 가까워야 하고, ahchor와 negative 더 멀어야 함 
그것도 margin 만큼 차이가 나도록 만듬

Sentence Bert

댓글