<div id="readability-page-1" class="page"><div>
      
        <header>
          
          
  <p><span>
    <strong> 상위 목록:</strong>
    <span itemprop="keywords"><a href="about:/categories/#theory" rel="tag">Theory</a></span>
  </span><span>
    <strong> 하위 목록:</strong>
    <span itemprop="keywords"><a href="about:/posts/#nlp" rel="tag">NLP</a></span>
  </span><span>
    <strong> 작성 날짜:</strong>
    <time datetime="2026-10-04T00:00:00+09:00">2026-10-04</time>
  </span><span>
     <strong>읽는 데</strong> 5 분 소요
  </span></p>



        </header>
      

      
        
      
      <section itemprop="text">
        <h2 id="자연어-처리natural-language-processing">자연어 처리(Natural Language Processing)</h2>

<p><code>자연어(Natural Language)</code>는 한국어나 영어처럼 사람들이 일상에서 의사소통을 위해 <strong>자연스럽게 발생하고 진화해 온 언어</strong>를 뜻합니다. 반대로 Python이나 C#처럼 명확한 문법과 목적을 가지고 사람이 설계한 언어는 <code>인공어(Artificial Language)</code> 또는 <code>형식 언어(Formal Language)</code>라 합니다.</p>

<p><code>자연어 처리(Natural Language Processing, NLP)</code>는 컴퓨터가 사람의 언어를 <strong>이해하고, 해석하고, 생성</strong>할 수 있도록 연구하는 분야입니다. <a href="https://076923.github.io/posts/AI-1/">인공 지능이란?</a>에서 다룬 인공지능의 한 갈래이며, 언어학과 컴퓨터 과학이 만나는 지점에 놓여 있습니다.</p>

<p>검색 엔진이 질문의 의도를 파악하고, 번역기가 문장을 다른 언어로 옮기고, 스팸 필터가 광고 메일을 걸러 내고, 음성 비서가 명령을 알아듣는 일은 모두 자연어 처리에 속합니다. 최근의 대화형 인공지능 역시 자연어 처리 기술이 도달한 하나의 결과입니다.</p>

<p>자연어 처리는 크게 두 방향으로 나뉩니다. 언어를 <strong>입력으로 받아 의미를 파악</strong>하는 <code>자연어 이해(Natural Language Understanding, NLU)</code>와, 의미나 데이터로부터 <strong>언어를 출력으로 만들어 내는</strong> <code>자연어 생성(Natural Language Generation, NLG)</code>입니다. 번역이나 요약처럼 두 가지가 함께 필요한 과제도 많습니다.</p>



<h2 id="자연어-처리가-어려운-이유">자연어 처리가 어려운 이유</h2>

<p>컴퓨터는 형식 언어를 다루는 데 매우 능숙합니다. 그러나 자연어는 형식 언어와 달리 <strong>규칙이 완전하지 않고, 예외가 많으며, 문맥에 따라 뜻이 달라집니다.</strong> 사람에게는 당연한 문장 하나가 컴퓨터에게는 여러 겹의 문제가 됩니다.</p>

<p>가장 근본적인 문제는 <code>중의성(Ambiguity)</code>입니다. “배가 고프다”의 배와 “배를 타다”의 배는 같은 글자이지만 다른 단어이며, 이를 <code>어휘적 중의성(Lexical Ambiguity)</code>이라 합니다. “나는 어제 산 책을 읽었다”는 어제 산 것이 책인지 어제 읽은 것인지에 따라 두 가지로 해석되며, 이를 <code>구조적 중의성(Syntactic Ambiguity)</code>이라 합니다. 사람은 상황을 알고 있으므로 거의 의식하지 못하지만, 컴퓨터는 가능한 모든 해석 중 하나를 골라야 합니다.</p>

<p>같은 뜻을 <strong>서로 다른 표현</strong>으로 말할 수 있다는 점도 문제입니다. “오늘 날씨 어때?”, “지금 밖에 비 와?”, “우산 챙겨야 하나?”는 글자가 거의 겹치지 않지만 의도는 같습니다. 이를 <code>다양성(Variability)</code>이라 하며, 글자의 일치만 보는 방식으로는 이런 표현들을 같은 것으로 묶을 수 없습니다.</p>

<p>문장에 <strong>드러나지 않은 정보</strong>도 많습니다. “그는 컵을 떨어뜨렸고 그것이 깨졌다”에서 깨진 것이 컵이라는 사실은 문장 어디에도 적혀 있지 않습니다. 컵은 깨지지만 사람은 쉽게 깨지지 않는다는 <code>상식(Common Sense)</code>이 있어야 해석할 수 있으며, 이러한 지식을 컴퓨터에 심는 일은 오랫동안 자연어 처리의 가장 큰 난관이었습니다.</p>

<p>여기에 띄어쓰기 오류, 신조어, 오타, 방언, 비꼬는 말투처럼 <strong>언어가 끊임없이 변하고 어긋난다</strong>는 점이 더해집니다. 규칙을 아무리 촘촘히 짜도 사람의 언어는 그 규칙을 벗어나는 방향으로 계속 움직입니다.</p>

<ul>
  <li>Tip : 한국어는 조사와 어미가 단어 뒤에 붙어 형태가 바뀌는 <code>교착어(Agglutinative Language)</code>입니다. “먹다”가 “먹었습니다”, “먹겠지만”, “먹히는”처럼 수십 가지로 변하므로, 띄어쓰기로만 단어를 나누는 영어식 접근이 그대로 통하지 않습니다.</li>
</ul>



<h2 id="자연어-처리의-단계">자연어 처리의 단계</h2>

<p>컴퓨터가 문장을 이해하는 과정은 전통적으로 <strong>글자에서 의미로 올라가는</strong> 여러 단계로 나뉩니다. 각 단계는 아래 단계의 결과를 입력으로 받습니다.</p>

<ul>
  <li><code>형태소 분석(Morphological Analysis)</code> : 문장을 더 이상 나눌 수 없는 의미의 최소 단위인 <code>형태소(Morpheme)</code>로 쪼개고, 각 형태소의 <code>품사(Part of Speech)</code>를 붙입니다. “학교에 갔다”는 “학교 / 에 / 가 / 았 / 다”로 나뉩니다.</li>
  <li><code>구문 분석(Syntactic Analysis)</code> : 단어들이 어떤 문법 구조로 묶여 있는지를 분석합니다. 무엇이 주어이고 무엇이 목적어인지, 어떤 수식어가 어떤 단어를 꾸미는지를 나무 구조로 표현하며, <code>파싱(Parsing)</code>이라고도 합니다.</li>
  <li><code>의미 분석(Semantic Analysis)</code> : 문장이 <strong>실제로 무슨 뜻인지</strong>를 파악합니다. 중의적인 단어가 어느 뜻으로 쓰였는지 가리고, 단어들 사이의 의미 관계를 밝힙니다.</li>
  <li><code>화용 분석(Pragmatic Analysis)</code> : 문장이 놓인 <strong>상황과 맥락</strong>까지 고려합니다. “창문 좀 닫아 줄 수 있어?”는 형태상 질문이지만 실제로는 요청이며, 이 차이를 구분하는 단계입니다.</li>
</ul>

<p>이 구분은 언어학의 층위를 그대로 옮긴 것으로, 전통적인 자연어 처리 시스템은 각 단계를 별도의 모듈로 만들어 <strong>파이프라인</strong>으로 연결했습니다. 한 단계의 오류가 다음 단계로 그대로 전파된다는 약점이 있었지만, 문제를 나누어 다룰 수 있다는 장점 덕분에 오랫동안 표준 구조로 사용되었습니다.</p>

<p>최근의 딥러닝 모델은 이 단계들을 명시적으로 나누지 않고 <strong>입력 문장에서 출력까지를 한 번에</strong> 학습합니다. 그렇다고 단계의 개념이 사라진 것은 아니며, 모델의 내부를 분석해 보면 낮은 층에서는 형태와 문법을, 높은 층에서는 의미를 다루는 경향이 관찰됩니다.</p>



<h2 id="자연어-처리의-발전">자연어 처리의 발전</h2>

<p>자연어 처리는 언어를 다루는 <strong>방법론이 세 번 크게 바뀌며</strong> 발전해 왔습니다. 각 시대의 접근은 완전히 대체되지 않고, 현재의 시스템 안에도 여전히 일부가 남아 있습니다.</p>



<h3 id="규칙-기반rule-based">규칙 기반(Rule-based)</h3>

<p>1950년대부터 1980년대까지의 자연어 처리는 언어학자가 <strong>문법 규칙과 사전을 직접 작성</strong>하는 방식이었습니다. “주어 뒤에는 서술어가 온다”, “이 단어는 명사이다”와 같은 규칙을 수천 개 쌓아 올려 문장을 분석했습니다.</p>

<p>규칙은 사람이 읽고 이해할 수 있어 결과의 이유를 설명하기 쉽고, 규칙 안에 들어오는 문장은 정확하게 처리합니다. 그러나 <strong>규칙에 없는 표현은 전혀 처리하지 못하며</strong>, 언어의 예외를 모두 규칙으로 적는 일은 끝이 없었습니다. 1966년 미국의 자동 번역 평가 보고서가 실용화가 요원하다고 결론 내리면서, 자연어 처리는 첫 번째 침체기를 맞았습니다.</p>



<h3 id="통계-기반statistical">통계 기반(Statistical)</h3>

<p>1990년대에 들어 대량의 텍스트 데이터인 <code>말뭉치(Corpus)</code>가 디지털로 축적되면서, 규칙을 사람이 적는 대신 <strong>데이터에서 확률을 세는</strong> 방식이 등장했습니다. “이 단어 다음에는 어떤 단어가 몇 번 나왔는가”를 세어 두면, 규칙 없이도 가장 그럴듯한 다음 단어나 해석을 고를 수 있습니다.</p>

<p>대표적인 것이 앞선 \(n-1\)개의 단어로 다음 단어의 확률을 추정하는 <code>n-gram 언어 모델</code>과, 품사 태깅에 널리 쓰인 <code>은닉 마르코프 모델(Hidden Markov Model)</code>입니다. <a href="https://076923.github.io/posts/AI-2/">지도 학습(Supervised Learning)</a>에서 다룬 분류 알고리즘도 스팸 필터와 감성 분석에 그대로 적용되었습니다.</p>

<p>통계 기반 방법은 데이터가 많을수록 성능이 올라가고 예외에도 유연하게 대응했습니다. 다만 어떤 특성을 셀 것인지는 여전히 <strong>사람이 설계</strong>해야 했으며, 단어를 서로 무관한 기호로 다루었기 때문에 “강아지”와 “개”가 비슷한 뜻이라는 사실을 알 방법이 없었습니다.</p>



<h3 id="신경망-기반neural">신경망 기반(Neural)</h3>

<p>2013년 전후로 단어를 기호가 아니라 <strong>수백 차원의 실수 벡터</strong>로 표현하는 <code>단어 임베딩(Word Embedding)</code>이 보급되었습니다. 비슷한 문맥에서 쓰이는 단어는 비슷한 벡터를 갖도록 학습되므로, “강아지”와 “개”가 가까운 위치에 놓이고 “왕 - 남자 + 여자 ≈ 여왕”과 같은 관계가 벡터 연산으로 나타났습니다.</p>

<p>단어가 벡터가 되자 문장은 벡터의 나열이 되었고, 이를 <code>순환 신경망(Recurrent Neural Network)</code>으로 순서대로 읽어 처리하는 방식이 번역과 요약의 성능을 크게 끌어올렸습니다. 2017년에는 순서대로 읽는 대신 문장의 <strong>모든 단어를 한 번에 서로 비교</strong>하는 <code>트랜스포머(Transformer)</code>가 등장해 순환 신경망을 빠르게 대체했습니다.</p>

<p>트랜스포머는 병렬 처리에 유리해 모델과 데이터를 전례 없는 규모로 키울 수 있었습니다. 인터넷 규모의 텍스트로 <strong>다음 단어를 맞히는 것만 학습</strong>한 <code>대규모 언어 모델(Large Language Model, LLM)</code>은, 별도의 과제별 학습 없이도 번역, 요약, 질의응답, 코드 작성까지 수행하며 자연어 처리의 양상을 다시 한번 바꾸어 놓았습니다.</p>

<ul>
  <li>Tip : 세 시대의 구분은 <strong>사람이 적던 것을 데이터가 대신하는 방향</strong>으로 요약됩니다. 규칙 기반에서는 규칙을, 통계 기반에서는 특성을 사람이 적었고, 신경망 기반에서는 특성조차 데이터에서 학습됩니다.</li>
</ul>



<h2 id="자연어-처리의-주요-과제">자연어 처리의 주요 과제</h2>

<p>자연어 처리에서 다루는 문제는 매우 다양하지만, 입력과 출력의 형태에 따라 몇 가지 유형으로 묶을 수 있습니다.</p>

<table>
  <thead>
    <tr>
      <th>유형</th>
      <th>입력 → 출력</th>
      <th>대표 과제</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <td>텍스트 분류</td>
      <td>문장 → 범주</td>
      <td>스팸 필터, 감성 분석, 주제 분류</td>
    </tr>
    <tr>
      <td>시퀀스 레이블링</td>
      <td>단어마다 → 태그</td>
      <td>품사 태깅, 개체명 인식</td>
    </tr>
    <tr>
      <td>시퀀스 변환</td>
      <td>문장 → 문장</td>
      <td>기계 번역, 요약, 맞춤법 교정</td>
    </tr>
    <tr>
      <td>질의응답</td>
      <td>질문 + 문서 → 답</td>
      <td>검색, 독해, 챗봇</td>
    </tr>
    <tr>
      <td>텍스트 생성</td>
      <td>조건 → 문장</td>
      <td>대화, 작문, 코드 생성</td>
    </tr>
  </tbody>
</table>

<p><code>감성 분석(Sentiment Analysis)</code>은 리뷰가 긍정인지 부정인지를 가리는 텍스트 분류이고, <code>개체명 인식(Named Entity Recognition)</code>은 문장에서 사람·장소·기관 이름을 찾아 표시하는 시퀀스 레이블링입니다. <code>기계 번역(Machine Translation)</code>은 한 언어의 문장을 다른 언어의 문장으로 바꾸는 시퀀스 변환으로, 자연어 처리의 가장 오래된 목표이자 가장 어려운 과제 중 하나였습니다.</p>

<p>과거에는 과제마다 별도의 모델과 데이터를 준비해야 했습니다. 그러나 대규모 언어 모델은 모든 과제를 <strong>텍스트를 입력받아 텍스트를 출력하는 하나의 문제</strong>로 통일했습니다. 분류 과제도 “이 리뷰는 긍정입니까?”라는 질문에 “예”라고 답하는 생성 과제로 바꾸어 풀 수 있게 된 것입니다.</p>



<h2 id="강좌의-구성">강좌의 구성</h2>

<p>이 강좌에서는 자연어 처리의 이론을 <strong>텍스트가 숫자가 되는 과정</strong>부터 차례대로 다룹니다. 문장을 처리 단위로 쪼개는 <code>토큰화(Tokenization)</code>와 전처리, 단어를 벡터로 바꾸는 <code>임베딩(Embedding)</code>, 문장의 순서를 다루는 순환 신경망과 <code>어텐션(Attention)</code>, 그리고 트랜스포머와 대규모 언어 모델로 이어집니다.</p>

<p><a href="https://076923.github.io/posts/ComputerVision-1/">컴퓨터 비전</a>이 이미지를 픽셀의 배열로 받아 처리했듯, 자연어 처리는 텍스트를 <strong>토큰의 나열</strong>로 받아 처리합니다. 입력의 형태는 다르지만 신경망이 학습하고 일반화하는 원리는 <a href="https://076923.github.io/posts/AI-1/">인공 지능 이론</a> 강좌에서 다룬 내용과 같으므로, 순전파와 역전파, 활성화 함수, 정칙화에 익숙하지 않다면 해당 강좌를 먼저 읽는 것을 권장합니다.</p>

<ul>
  <li>Tip : 자연어 처리는 언어마다 특성이 달라 <strong>영어 기준의 설명이 한국어에 그대로 적용되지 않는 경우</strong>가 많습니다. 이 강좌에서는 일반적인 원리를 설명하되, 한국어에서 달라지는 부분이 있다면 함께 짚어 나갑니다.</li>
</ul>



<ul>
  <li>Writer by : 윤대희</li>
</ul>


        
      </section>

      


      
    </div></div>

076923 : Main

자연어 처리(Natural Language Processing) 자연어(Natural Language)는 한국어나 영어처럼 사람들이 일상에서 의사소통을 위해 자연스럽게 발생하고 진화해 온 언어를 뜻합니다. 반대로 Python이나 C#처럼 명확한 문법과 목적을 가지고 사람이 설계한 언어는 인공어(Artificial Language) 또는 형식 언어(Formal Language)라 합니다. 자연어 처리(Natural Language Processing, NLP)는 컴퓨터가 사람의 언어를 이해하고, 해석하고, 생성할 수 있도록 연구하는 분야입니다. 인공 지능이란?에서 다룬 인공지능의 한 갈래이며, 언어학과 컴퓨터 과학이 만나는 지점에 놓여 있습니다. 검색 엔진이 질문의 의도를 파악하고, 번역기가 문장을 다른 언어로 옮기고, 스팸 필터가 광고 메일을 걸러 내고, 음성 비서가 명령을 알아듣는 일은 모두 자연어 처리에 속합니다. 최근의 대화형 인공지능 역시 자연어 처리 기술이 도달한 하나의 결과입니다. 자연어 처리는 크게 두 방향으로 나뉩니다. 언어를 입력으로 받아 의미를 파악하는 자연어 이해(Natural Language Understanding, NLU)와, 의미나 데이터로부터 언어를 출력으로 만들어 내는 자연어 생성(Natural Language Generation, NLG)입니다. 번역이나 요약처럼 두 가지가 함께 필요한 과제도 많습니다. 자연어 처리가 어려운 이유 컴퓨터는 형식 언어를 다루는 데 매우 능숙합니다. 그러나 자연어는 형식 언어와 달리 규칙이 완전하지 않고, 예외가 많으며, 문맥에 따라 뜻이 달라집니다. 사람에게는 당연한 문장 하나가 컴퓨터에게는 여러 겹의 문제가 됩니다. 가장 근본적인 문제는 중의성(Ambiguity)입니다. “배가 고프다”의 배와 “배를 타다”의 배는 같은 글자이지만 다른 단어이며, 이를 어휘적 중의성(Lexical Ambiguity)이라 합니다. “나는 어제 산 책을 읽었다”는 어제 산 것이 책인지 어제 읽은 것인지에 따라 두...

Natural Language Processing Theory : 자연어 처리란?

댓글