<div id="readability-page-1" class="page"><div>
		
Deep Learning For Search



Large Scale Language Model(LLM)의 출현은 기존의 검색 엔진 구조의 점진적 개선을 뛰어넘는 또 다른 차원의 길을 제시해주었다.



기존 검색엔진의 구조를 보면 알겠지만 기존 검색엔진에서 중요한 부분인 바로 Ranking부분과 기존 문서에 대한 크롤링을 통한 수집과 indexing부분이었다.



2023년 현재 검색엔진이 추구하고자 하는 방향성은 크롤링된 방대한 데이터에 대하여 Training을 수행한 대용량 모델의 산출을 바탕으로 해당 언어 모델에 포함되어 있는 확률값 기반의 접근법 Few Shot, Zero Shot Learning과 Prompt Learning 기반의 서비스 방법론이 활성화 되고 있다.



이에 기존의 검색엔진 구조를 살펴보고 앞으로의 나아갈 기술적 방향성을 검토해 보기 위해 해당 글을 작성한다.



기존 검색엔진 구조는 아래와 같았다.



검색 엔진 구조 3parts : software components, interfaces, relationships 2개의 필요조건 – effectiveness(효과성) : 검색 결과의 품질, most relevants set of document – efficiency(효율성) : response time, throught



 Indexing Process(색인 처리) – Test acquisition(텍스트 획득) : 문서를 저장, 크롤링하여 구축 – Text transformation(텍스트 변환) : 문서를 index terms of features로 변환 – Index Creation(색인 구축) : create data structures to support fast searching efficiently updated/inverted indexes(역색인)



<figure><img decoding="async" src="https://lh6.googleusercontent.com/LChbEEggW9Ho7R2TrPfi7zVyVNJmjTNudjWBxYpL1D5JMQ34m3jmyCPWE2rfPNg2KUB-cUNnzkSL8TWVfK4RRYunueSmAQqUyJhNvDdVcLlEb8aamYhLT4spUFWJwU8HST2CjaPP6SQQrNTF6FDmZcVbPw=s2048" alt=""></figure>



 Query process(질의 처리) – User interaction(사용자 상호작용) : creation and refinement of query/display of results – Ranking(순위 부여) : uses query and indexes to generate ranked list of documents based on retrieval model – Evaluation(평가) : effectiveness and efficiency effectiveness depends on retrieval model efficiency depends on indexes offline activity



<img decoding="async" src="https://lh5.googleusercontent.com/k2zfqJhLuPnmsKkbfX6ZM-iX4VjBR9Krqsf-B6d-ONbasw3lSbNVIUSYspkJmDcLnNwY_WG5WBnN7Xmx1SaHgP-K3LVxTIGqtzPpLi_5oU35XZVnxX1UFfjlBRus_VqUrupjQqPIxZ1SjG8Q-ao3zh_EoA=s2048">



검색엔진의 기본 구조



<img decoding="async" loading="lazy" width="781px;" height="192px;" src="https://lh6.googleusercontent.com/fYHxCuABRtUUXrFa59wZDyU4xET-MFud9nOyXZStn0Ewebseu_E_umboICNGQLRTuotBqDPXLYTomN63j82ORlO_Fh9aDGeg7_OxKfP-kdzofYQuwlQ_VeCrOFjX1sAWkScSFzbFXLMWXhnrEiGAHV4A_g=s2048">



<div>
<figure><table><tbody><tr><td>구성요소</td><td>역할</td><td>설명</td></tr><tr><td>문서수집기 (Crawler)</td><td>위치정보 수집</td><td>새로 생성, 업데이트 문서, 파일 등 수집</td></tr><tr><td>색인기 (Indexer)</td><td>위치정보 저장 , 색인데이터베이스</td><td>수집 위치 정보 저장, 수집된 정보 위치 DB</td></tr><tr><td>검색기 (Searcher)</td><td>색인데이터베이스, 검색</td><td>검색한 키워드에 대한 색인 DB 검색 모듈</td></tr><tr><td>질의관리기 (Query Manager)</td><td>검색결과, 전달</td><td>Client와 검색기 사이 정보 전달</td></tr></tbody></table></figure>
</div>



<h2>Indexer</h2>



색인어 추출 방법



<img decoding="async" loading="lazy" width="447px;" height="366px;" src="https://lh6.googleusercontent.com/CHe7HCzDy_gRv1ZQVLoUkyNTY45slKNjKDK-VLjQuKE-IoaRp5bUkFxbz12Mas0-2UAO0wuLlLCs7NI57cvcSoJwJ3biJlF8wL3zYcyzdRwKWc-Z80qsZN-OiNWDkIJYYST2cQE-97W_DuEPr-aX0X90Vg=s2048">



<img decoding="async" loading="lazy" width="463px;" height="166px;" src="https://lh5.googleusercontent.com/Nm2Knc1tdgrGq5U_Y8G7Mbdr26BxPwnD1OcuGHe92rHtYePhMX1fSo7F6McugPl9YipPaVr6XpCcqcZ2Z4Kw__ZzHakz2pDx94Bj4k_d5OpRWnCCv8MkuTpMZSBygYIMYlUhYQx-NRnfx8JQ5vRuCx-OIg=s2048">



텍스트 추출 → Document Data Store → 텍스트 변환(Parser, Stopwords 제거, Stemming, 링크 추출 및 분석, 정보 추출, 분류기) → 색인 생성



<figure><table><tbody><tr><td>구분</td><td>설명</td></tr><tr><td>N-gram 방법</td><td>글자를 겹쳐서 색인어 추출 방법ex) 정보검색을 “정보”,”보검”,”검색” 등</td></tr><tr><td>N-gram 장점</td><td>빠지는 정보 없이 모두 검색 가능신조어 검색 가능, 색인어 리스트 구성</td></tr><tr><td>N-gram 단점</td><td>틀린 내용 다수 포함, 검색품질 저하색인어 리스트 크기가 커짐</td></tr><tr><td>N-gram 적용</td><td>형태소 분석 오류 시 사용문서의 건수가 적고, 재현율 우선 시</td></tr></tbody></table></figure>



<h2>Query Manager</h2>



<img decoding="async" src="https://lh4.googleusercontent.com/Y8zs-sXbYs6JcMJmMFyZWDX76quszK_dNURVxzHKUisKEkuPutvSy0j51_oAD4dyrguXj7QIDAJESOpnt6JzOXoI085eKf_XAMlIO3AFkDiGkzGzO2p4sVPFxq6i2l6xhlnuRe4vGnI_BMLnNxIQrsQBig=s2048">



검색 엔진 + 텍스트 생성 = 적응형 검색 엔진



사용자 Query → 대안(생성) Query 추가 → 검색 범위 확장



사용자 입력 query를 받음



query time-analysis 파이프라인에 query를 넘긴다. 토크나이저와 여러개의 필터를 거쳐 처리된 퀴리를 반환



변경된 query를 RNN 모델에 입력. 출력 값으로 alternative queries 들을 받음



original fitered query + alternative query = parsed query



역색인을 통해 쿼리에 맞는 정보를 찾음



<h2>Automatic Query Expansion</h2>



<img decoding="async" src="https://lh3.googleusercontent.com/VMoUjj6RVWq__nkY8CnxDYe6P8hMvPCDWHb1B69IbTVRSM6BXzBd3mxIjIXdJjhslDkS7Lgekwv_Roara0ajFzjjlR4xCJ4xTsirUvBN_KqR2F4shEhEbpIhbG7rpGDrli8WKkHxLTcHXxVNVonpDTdEvw=s2048">



결과가 없는 쿼리를 최소화 한다. – 비슷한 검색 결과를 갖는 쿼리끼리 연결 짓기 – 동일한 사용자가 특정 시간(time windows)동안 보낸 쿼리 연결 짓기 – 비슷한 검색 용어(search terms)를 포함한 쿼리 연결 짓기 – 색인된 데이터에서 출력 sequence 선택하기 – 비지도 학습으로 텍스트 얻기



재현률(recall)을 높힌다.



정확도(precision)을 높힌다.



<h2>Unsupervised Query Expansion</h2>



<img decoding="async" src="https://lh3.googleusercontent.com/yldjetrY8Mb-vL7UP5iSgZi4NjdPN2A5GndS6oQIrJ8z3vGd4Gux4x2QJ10QNxpNjbPsgeWv-nY6Iv78i2pnpR6Cs6lejB8Rxe4rsQ7SpmJ3x5qT4l-UFAtDd_V4Nwlkf6EyKRhF6dAzgoByRbGlLXi9vQ=s2048">



사용자 쿼리를 one-hot encoding된 character vector로 변환 RNN(LSTM,GRU) 모델에 입력 → Transformer 모델에 입력 첫번째 character vector 출력을 다시 모델에 입력 마지막 character가 나올 때까지 계속 반복 (“\r\n”등 delimeter)



→ 공통 term이 들어간 쿼리를 사용자가 입력하면, RNN이 관련있는 term을 추가해 “완성”해 줌 → 완성된 쿼리를 입력하면, RNN이 검색 기록에서 비슷한 쿼리를 찾아서 생성해 줌



Neural Network으로 질의 Query를 생성하여 검색 결과 향상



<h2>그럴듯한 쿼리들 제안하기</h2>



<img decoding="async" src="https://lh6.googleusercontent.com/uYsar0aA_Gz9Mm5Qinm9xqrulltBm1lRQlJtR1RtImOq8n3Dvuj-HDASEPKzNg_K_uHvp1YzOHbeg3qOoOBCO2yNwJzR-QG787NZ-yKwEZ1DAAGKQu8nP1nAFgRBmX0vIRg17jo2OTxnmOUWbfpi5iW_xA=s2048">



Ternary Search Tree <a href="https://www.cs.usfca.edu/~galles/visualization/TST.html">https://www.cs.usfca.edu/~galles/visualization/TST.html</a>



Autocomplete



Related Searched



Personalization



Trending topics



n-gram 활용 (bi-gram, tri-gram)



<h2>웹사이트별 랭킹 계산</h2>



<h2>word embedding을 사용해 검색 결과의 순위 지정하기</h2>



<img decoding="async" src="https://lh5.googleusercontent.com/h3CO5cDxSrWHb2YXl5bpjyb3oT_hAFWN6ClGHA7-nsoZH_cZML4VxGhPMD-CmQH37xm0PvCuV2gV2200FgzPHfh4D9zCDvusKDCf5jBlT7i83vYXo0lu5JGDBoe-eUacr_zehTudhFdWijcQX9n_dRaExg=s2048">



기존의 검색랭킹 모델? Slope one (Collaborative Filtering) – 다른 사람들과 다른 아이템에 대한 정보를 이용하여 특정인의 특정아이 템에 대한 정보를 추정 – 아마존의 상품 추천시스템에서 사용



<div>랭킹 모델의 2가지 과정 Information Retrieval 사용자의 질의와 검색 대상인 컨텐츠 사이의 언어적 통계정보를 이용하여 Relevance를 측정 예) Boolean, TF*IDF Model, Contents based Rank modelInformation Filtering 컨텐츠 및 도메인의 특성을 이용하여 컨텐츠의 quality 측정하고 이를 이용 해 컨텐츠를 순위화 예) PageRank, Snowrank 등 • ad-hoc based Rank model</div>



두가지 모델이 혼용되어 Ranking Model



<h2>순위 지정 및 추천을 위한 document embedding</h2>



<img decoding="async" src="https://lh3.googleusercontent.com/1AshFPSFOfo9GwLLtv-n7gHllk6SyiLF1Ae5VBPC92_OIy6l4xYHRostEDGr070wRB5S8nqWdI-umrQQacA6oNLzCBqUP3WIvUVDAlFCbWHGYcNkKMmq_zgyAjilXs9z6fcgjpCPR0C8-ICHfOeyN5AFpQ=s2048">



<img decoding="async" src="https://lh6.googleusercontent.com/Wr-1BsVZsZ__mHz8b3RCvXHVo2ZigA3hOhaTNjp1jFOCpzi6DSBRyYnQiTpHtPkFJM6W4ubkDy8AYFv3x7kW9HrhAUwqtpE7V4r8cVVExIUGdZTuDk9SyJM02sS6TO6uKn3T3En0iZGwKM6Kh7kqbwQ2mQ=s2048">




		</div></div>

TensorMSA

Deep Learning For Search
Large Scale Language Model(LLM)의 출현은 기존의 검색 엔진 구조의 점진적 개선을 뛰어넘는
또 다른 차원의 길을 제시해주었다.
기존 검색엔진의 구조를 보면 알겠지만 기존 검색엔진에서 중요한 부분인 바로 Ranking부분과
기존 문서에 대한 크롤링을 통한 수집과 indexing부분이었다.
2023년 현재 검색엔진이 추구하고자 하는 방향성은 크롤링된 방대한 데이터에 대하여 Training을
수행한 대용량 모델의 산출을 바탕으로 해당 언어 모델에 포함되어 있는 확률값 기반의 접근법
Few Shot, Zero Shot Learning과 Prompt Learning 기반의 서비스 방법론이 활성화 되고 있다.
이에 기존의 검색엔진 구조를 살펴보고 앞으로의 나아갈 기술적 방향성을 검토해 보기 위해 해당 글을 작성한다.
기존 검색엔진 구조는 아래와 같았다.
검색 엔진 구조
       3parts : software components, interfaces, relationships
2개의 필요조건
       – effectiveness(효과성) : 검색 결과의 품질, most relevants set of document
       – efficiency(효율성) : response time, throught
Indexing Process(색인 처리)
       – Test acquisition(텍스트 획득) : 문서를 저장, 크롤링하여 구축
       – Text transformation(텍스트 변환) : 문서를 index terms of features로 변환
       – Index Creation(색인 구축) : create data structures to support fast searching
                                                        efficiently updated/inverted indexes(역색인)
Query process(질의 처리)
     – User interaction(사용자 상호작용) : creation and refinement of query/display of results
     – Ranking(순위 부여) : uses query and indexes to generate ranked list of documents based on retrieval model
     – Evaluation(평가) : effectiveness and efficiency
                                       effectiveness depends on retrieval model
                                       efficiency depends on indexes
                                       offline activity
검색엔진의 기본 구조
Indexer
색인어 추출 방법
텍스트 추출 → Document Data Store →
텍스트 변환(Parser, Stopwords 제거, Stemming, 링크 추출 및 분석, 정보 추출, 분류기) 
→ 색인 생성
Query Manager
검색 엔진 + 텍스트 생성 = 적응형 검색 엔진
사용자 Query → 대안(생성) Query 추가 → 검색 범위 확장
사용자 입력 query를 받음
query time-analysis 파이프라인에 query를 넘긴다.
토크나이저와 여러개의 필터를 거쳐 처리된 퀴리를 반환
변경된 query를 RNN 모델에 입력.
출력 값으로 alternative queries 들을 받음
original fitered query + alternative query = parsed query
역색인을 통해 쿼리에 맞는 정보를 찾음
Automatic Query Expansion
결과가 없는 쿼리를 최소화 한다.
– 비슷한 검색 결과를 갖는 쿼리끼리 연결 짓기
– 동일한 사용자가 특정 시간(time windows)동안 보낸 쿼리 연결 짓기
– 비슷한 검색 용어(search terms)를 포함한 쿼리 연결 짓기
– 색인된 데이터에서 출력 sequence 선택하기
– 비지도 학습으로 텍스트 얻기
재현률(recall)을 높힌다.
정확도(precision)을 높힌다.
Unsupervised Query Expansion
사용자 쿼리를 one-hot encoding된 character vector로 변환
RNN(LSTM,GRU) 모델에 입력 → Transformer 모델에 입력
첫번째 character vector 출력을 다시 모델에 입력
마지막 character가 나올 때까지 계속 반복 (“\r\n”등 delimeter)
→ 공통 term이 들어간 쿼리를 사용자가 입력하면, RNN이 관련있는 term을 추가해 “완성”해 줌
→ 완성된 쿼리를 입력하면, RNN이 검색 기록에서 비슷한 쿼리를 찾아서 생성해 줌
Neural Network으로 질의 Query를 생성하여 검색 결과 향상
그럴듯한 쿼리들 제안하기
Ternary Search Tree
https://www.cs.usfca.edu/~galles/visualization/TST.html
Autocomplete
Related Searched
Personalization
Trending topics
n-gram 활용 (bi-gram, tri-gram)
웹사이트별 랭킹 계산
word embedding을 사용해 검색 결과의 순위 지정하기
기존의 검색랭킹 모델?
Slope one (Collaborative Filtering)
– 다른 사람들과 다른 아이템에 대한 정보를 이용하여 특정인의 특정아이
템에 대한 정보를 추정
– 아마존의 상품 추천시스템에서 사용
랭킹 모델의 2가지 과정
Information Retrieval
사용자의 질의와 검색 대상인 컨텐츠 사이의 언어적 통계정보를 이용하여 Relevance를 측정
예) Boolean, TF*IDF Model, Contents based Rank model
Information Filtering
컨텐츠 및 도메인의 특성을 이용하여 컨텐츠의 quality 측정하고 이를 이용
해 컨텐츠를 순위화
예) PageRank, Snowrank 등
• ad-hoc based Rank model
두가지 모델이 혼용되어 Ranking Model
순위 지정 및 추천을 위한 document embedding

검색엔진에 적용된 딥러닝 모델 방법

댓글