<div id="readability-page-1" class="page"><div><p><a href="https://www.aclweb.org/anthology/2021.eacl-main.92/" target="_blank" rel="nofollow noopener noreferrer">https://www.aclweb.org/anthology/2021.eacl-main.92/</a></p>
<h3 id="짧은-버전"><a href="#%EC%A7%A7%EC%9D%80-%EB%B2%84%EC%A0%84" aria-label="짧은 버전 permalink"></a>짧은 버전</h3>
<p>어떤 도메인에 대해서 문서만 덩그러니 있을 때, 일반적인 도메인에서 훈련된 문서 -&gt; 질문을 만드는 모델을 이용해서 synthetic한 &lt;문서, 질문&gt;의 pair를 만들 수 있다. 이걸 가지고 siamese BERT를 훈련하면 좋은 품질의 임베딩을 얻을 수 있다.
supervised 트레이닝을 위한 데이터가 존재하는 데이터셋에 대해서 위 과정을 거친 임베딩과 BM25를 concat한 벡터를 가지고 nearest neighbor 검색만 해도, BM25 + supervised 트레이닝을 거친 모델을 합만큼 성능이 나온다.</p>
<h3 id="잘-몰랐던-것"><a href="#%EC%9E%98-%EB%AA%B0%EB%9E%90%EB%8D%98-%EA%B2%83" aria-label="잘 몰랐던 것 permalink"></a>잘 몰랐던 것</h3>
<p>로스 함수는 Batch Loss라고, batch하나에 Q, P+, (P-, P-, P-..) 식으로 관련있는 Passage 하나, 나머지는 관련없는 Passage로 채우고 loss를 계산하셨다고 하셨다. Q랑 P+는 데이터셋에 있다고 치면 P-는 어디서 가져와야하나?
in-batch negative 를 사용한다고 하셨다. 멍청하게 in-batch negatvie를 볼 생각은 안하고 다른거 부터 찾았다 -_-</p>
<ol>
<li>라벨 같은게 따로 없으면 그냥 랜덤샘플링 <a href="https://github.com/awslabs/neural-retrieval/blob/main/data/data.py#L156" target="_blank" rel="nofollow noopener noreferrer">https://github.com/awslabs/neural-retrieval/blob/main/data/data.py#L156</a></li>
<li>라벨이 있으면 다른 라벨에서 extract하기 <a href="https://www.kaggle.com/xhlulu/shopee-generate-data-for-triplet-loss" target="_blank" rel="nofollow noopener noreferrer">https://www.kaggle.com/xhlulu/shopee-generate-data-for-triplet-loss</a></li>
</ol>
<p>in-batch negative라고 말만하고 왜 넘어가나 했더니 이걸 처음 소개한 <a href="https://arxiv.org/pdf/2004.04906.pdf" target="_blank" rel="nofollow noopener noreferrer">논문</a>에 설명이 잘 되있어서 안 한 것이다. <a href="https://github.com/facebookresearch/DPR/blob/master/train_dense_encoder.py#L646" target="_blank" rel="nofollow noopener noreferrer">https://github.com/facebookresearch/DPR/blob/master/train_dense_encoder.py#L646</a> 여기부터 보면 된다 (사실 보통 사람들은 DPR을 보고 이 논문을 봤을테니 당연한 것)</p>
<h3 id="한국어에서"><a href="#%ED%95%9C%EA%B5%AD%EC%96%B4%EC%97%90%EC%84%9C" aria-label="한국어에서 permalink"></a>한국어에서?</h3>
<p>D -&gt; Q가 잘된다는 전제 하에서 이게 가능한거고, 그럴려면 어느정도 퀄리티있는 (Q, D) 페어가 많아야 하는데 얼마나 많이 쌓여 있는지 모르겠다. KLUE 같은게 업계에 정말 큰 기여 같다.</p></div></div>

Blog by Hyeungshik Jung

https://www.aclweb.org/anthology/2021.eacl-main.92/
짧은 버전
어떤 도메인에 대해서 문서만 덩그러니 있을 때, 일반적인 도메인에서 훈련된 문서 -> 질문을 만드는 모델을 이용해서 synthetic한 <문서, 질문>의 pair를 만들 수 있다. 이걸 가지고 siamese BERT를 훈련하면 좋은 품질의 임베딩을 얻을 수 있다.
supervised 트레이닝을 위한 데이터가 존재하는 데이터셋에 대해서 위 과정을 거친 임베딩과 BM25를 concat한 벡터를 가지고 nearest neighbor 검색만 해도, BM25 + supervised 트레이닝을 거친 모델을 합만큼 성능이 나온다.
잘 몰랐던 것
로스 함수는 Batch Loss라고, batch하나에 Q, P+, (P-, P-, P-..) 식으로 관련있는 Passage 하나, 나머지는 관련없는 Passage로 채우고 loss를 계산하셨다고 하셨다. Q랑 P+는 데이터셋에 있다고 치면 P-는 어디서 가져와야하나?
in-batch negative 를 사용한다고 하셨다. 멍청하게 in-batch negatvie를 볼 생각은 안하고 다른거 부터 찾았다 -_-
라벨 같은게 따로 없으면 그냥 랜덤샘플링 https://github.com/awslabs/neural-retrieval/blob/main/data/data.py#L156
라벨이 있으면 다른 라벨에서 extract하기 https://www.kaggle.com/xhlulu/shopee-generate-data-for-triplet-loss
in-batch negative라고 말만하고 왜 넘어가나 했더니 이걸 처음 소개한 논문에 설명이 잘 되있어서 안 한 것이다. https://github.com/facebookresearch/DPR/blob/master/train_dense_encoder.py#L646 여기부터 보면 된다 (사실 보통 사람들은 DPR을 보고 이 논문을 봤을테니 당연한 것)
한국어에서?
D -> Q가 잘된다는 전제 하에서 이게 가능한거고, 그럴려면 어느정도 퀄리티있는 (Q, D) 페어가 많아야 하는데 얼마나 많이 쌓여 있는지 모르겠다. KLUE 같은게 업계에 정말 큰 기여 같다.

Zero-shot Neural Passage Retrieval via Domain-targeted Synthetic Question Generation

댓글