076923 : Main

텍스트 전처리(Text Preprocessing) 자연어 처리란?에서 자연어 처리는 텍스트를 토큰의 나열로 받아 처리한다고 설명했습니다. 그러나 수집한 텍스트는 그대로 쓸 수 없습니다. HTML 태그가 섞여 있고, 같은 단어가 대소문자나 띄어쓰기만 다르게 적혀 있으며, 분석에 도움이 되지 않는 기호와 공백이 흩어져 있습니다. 텍스트 전처리(Text Preprocessing)는 이러한 원시 텍스트를 모델이 다루기 좋은 형태로 정리하는 과정입니다. 컴퓨터 비전에서 전처리 알고리즘이 이미지의 크기와 색상을 맞추는 역할을 했다면, 텍스트 전처리는 표기의 흔들림을 잠재우고 처리 단위를 정하는 역할을 합니다. 전처리의 품질은 이후 모든 단계의 상한을 정합니다. 같은 단어가 서로 다른 표기로 흩어져 있으면 모델은 그것들을 서로 다른 단어로 학습하므로 데이터가 사실상 쪼개지는 효과가 생깁니다. 반대로 지나친 전처리는 의미를 지웁니다. 어디까지 정리하고 어디부터 남길지는 과제에 따라 달라지며, 그 기준을 세우는 것이 전처리의 핵심입니다. 정제와 정규화(Cleaning & Normalization) 정제(Cleaning)는 텍스트에서 분석 대상이 아닌 것을 제거하는 작업입니다. 웹에서 수집한 텍스트의 HTML 태그와 URL, 이메일 주소, 반복된 공백과 줄바꿈, 깨진 문자 등이 대상입니다. 주로 정규 표현식(Regular Expression)으로 패턴을 지정해 걸러 냅니다. 정규화(Normalization)는 같은 뜻의 서로 다른 표기를 하나로 통일하는 작업입니다. 영어에서는 대소문자 통일이 대표적이며, “Apple”과 “apple”을 같은 단어로 묶습니다. 다만 회사 이름 “Apple”과 과일 “apple”처럼 대소문자가 뜻을 가르는 경우도 있으므로 무조건 적용할 수는 없습니다. 숫자, 날짜, 금액처럼 값 자체보다 유형이 중요한 표현은 특수 토큰으로 바꾸기도 합니다. “3,000원”과 “5,000원”을 모두 <NUM>원으로 바꾸면 어휘...

Natural Language Processing Theory : 텍스트 전처리와 토큰화(Text Preprocessing & Tokenization)

댓글