<div id="readability-page-1" class="page"><div><div><a href="https://sunjun1225.medium.com/?source=post_page-----27e40c1edb1c--------------------------------" rel="noopener"><div><p><img alt="Sean Park" src="https://miro.medium.com/fit/c/96/96/2*ctXKuNwpfvt2riMXkNXcxA.jpeg" width="48" height="48"></p></div></a></div><p id="728b">안녕하세요 매스프레소입니다.</p><p id="ed35">매스프레소의 미션은 언제 어디서나 가능한, 합리적 가격의, 맞춤형 교육을 기술로 구현해 ‘가장 효과적인 교육’을 ‘전세계 모두’가 누리게 하는 것입니다. 이를 위하여 매스프레소는 교육 컨텐츠를 연결하고, 학생의 데이터를 모으고 분석하는 과제를 풀어나가고 있습니다. 오늘은 매스프레소가 어떤 방식을 통하여 비전과 미션에 다가가고 있는지에 대하여 이야기해보고자 합니다.</p><h2 id="79ee">어떻게 교육 컨텐츠를 연결할까 ?</h2><p id="8734">콴다는 매스프레소에서 제공하는 종합 교육 플랫폼입니다. 콴다는 선생님이 질문을 답변해주는 서비스로 시작했습니다. 이 답변(풀이) 데이터가 쌓이기 시작하면서, 콴다는 학생들이 질문을 찍으면 자동으로 풀이를 검색해서 알려주는 앱으로 발전해 나갔습니다. 이제는 학생이 모르는 문제의 사진을 찍으면, 해당 문제에 대한 해설을 찾아 볼 수 있고, 같은 유형의 문제, 개념강의와 같은 연관된 컨텐츠를 제공받습니다. 그렇다면 매스프레소는 어떻게 교육 컨텐츠들을 연결을 만들어 가고 있을까요 ?</p><h2 id="c25f">문제와 문제, 문제와 개념 간 연결</h2><blockquote><p id="a7a8"><em>딥러닝을 활용한 OCR 기술의 개발 — 텍스트와 수식에 대한 정보 추출</em></p></blockquote><p id="e70f">초기 가장 많은 연구는 광학 문자 인식 기술에 집중되었습니다. 사진으로부터 텍스트 정보를 추출하기 위하여 다양한 비전 모델들을 ( Object detection / Text Recognition 분야 )연구 개발하였습니다. 최근에는 문제에서 수식 정보 및 텍스트 정보를 추출해 내는 기술이 고도화 되어, 상당히 정확한 수준으로 수식 및 텍스트 정보를 얻을 수 있게 되었습니다.</p><figure><div role="button" tabindex="0"><p><img alt="" src="https://miro.medium.com/max/3916/1*U81rakzoxKFAUjH8ju4RSQ.png" width="1958" height="914" sizes="700px" role="presentation" data-old-src="https://miro.medium.com/max/60/1*U81rakzoxKFAUjH8ju4RSQ.png?q=20"></p></div><figcaption>OCR 기술을 활용하면 사진으로부터 텍스트의 위치 및 정보를 추출할 수 있다.</figcaption></figure><p id="835e">OCR 기술이 고도화 됨에 따라, 자연어 처리기술을 이용하여 인식된 글씨로부터 추가적인 정보를 추출하고 가공하는 방향으로 연구가 진행되었습니다. 자연어처리기술을 통하여 문제가 가진 개념과 유형을 판단하고, 해당 유형의 문제와 컨텐츠를 연결하는 방법을 마련하였습니다.</p><blockquote><p id="ea40"><em>딥러닝을 활용한 NLP 기술의 도입 — 사전 학습된 언어 모델</em></p></blockquote><p id="eff5">자연어 처리 기술은 ( NLP ) 인간이 사용하는 언어인 자연어를 기계를 이용하여 처리하는 기술을 의미합니다. 기계가 언어를 번역해주는 기계 번역과 자동 상담 Chat-Bot 을 만드는 일 등은 모두 자연어 처리 기술을 활용하고 있습니다.</p><p id="4685">자연어 처리 기술의 최신 트렌드는 학습된 언어모델을 활용하는 것 입니다. 큰 용량의 언어 뭉치로부터 언어모델을 학습시킨 후 ( <em>pre-training</em> ) , 각 작업에 맞도록 미세조정 ( <em>fine-tunning</em> ) 을 하여 성능을 높이는 방법으로 전환이 일어나고 있지요. 이는 대부분의 Task 에서 최고 성능을 보여주며, 자연어 처리 기술의 향상에 큰 기여를 하고 있습니다. 매스프레소에서도 역시 사전 학습된 언어모델 개발 및 이를 활용한 하위 작업에 대한 미세조정 과정을 거치며 모델을 개발하고 있습니다.</p><figure><div role="button" tabindex="0"><p><img alt="" src="https://miro.medium.com/max/2362/1*g3FQOWj26nsoAaCL68qJpg.png" width="1181" height="591" sizes="700px" role="presentation" data-old-src="https://miro.medium.com/max/60/1*g3FQOWj26nsoAaCL68qJpg.png?q=20"></p></div><figcaption>콴다 플랫폼 데이터로 사전 학습된 언어모델은 교육 분야의 문제를 푸는데 활용이 가능하다</figcaption></figure><p id="0087">콴다 플랫폼에서는 전 세계 7개 국가에서 하루 평균 500만개의 질문이 올라오고 있습니다. 이 플랫폼에서 생성되는 다양한 언어의 방대한 데이터를 바탕으로 국가별로 언어모델을 만들고 있습니다. 현재 매스프레소에서는 ELECTRA와 RoBERTa를 이용하여 사전 학습된 언어모델을 구축하고 실험을 진행하고 있는 중입니다.</p><p id="143f">교육 도메인, 특히 수학 도메인에 있어서는 일반적인 자연어 처리와는 다른 수식과 그림 등 더욱 복합적인 요소가 들어가 있기 때문에, 기존에 Wikipedia 등 다른 도메인의 데이터를 이용하여 사전 학습된 언어 모델을 만드는 것 보다 콴다 플랫폼에서 수집된 실제 문제 데이터를 통한 사전학습 언어 모델이 더욱 효과가 있었습니다.</p><blockquote><p id="5711"><em>딥러닝을 활용한 NLP 기술의 적용 — 문제 유형 분류</em></p></blockquote><figure><div role="button" tabindex="0"><p><img alt="" src="https://miro.medium.com/max/2622/1*mOJ4otrZhBhj9Rhc5oqCWQ.png" width="1311" height="613" sizes="700px" role="presentation" data-old-src="https://miro.medium.com/max/60/1*mOJ4otrZhBhj9Rhc5oqCWQ.png?q=20"></p></div></figure><p id="3ba7">매스프레소는 약 1,855,850 수학 문제에 1,795 개의 유형을 태그한 데이터를 보유하고 있습니다. 이 데이터와 앞서 개발된 언어 모델을 활용하여 유형을 분류하는 연구를 진행하였습니다. 해당 Task 에서 Top3 Accuracy 83.59 % 를 기록하는 높은 성능을 보였습니다. 해당 모델을 통하여 문제의 유형 및 개념을 예측하여, 초기 단계의 문제와 개념간의 연결을 만들고 있습니다.</p><p id="f807">여기서 콴다 플랫폼 데이터를 활용하여 사전 학습된 언어모델 방식은 두 가지 측면에서 의의가 있었습니다.</p><p id="75df"><strong><em>같은 양의 데이터를 이용하여 학습할 때 다른 베이스라인 모델에 비하여 성능이 더 좋다.</em></strong></p><p id="0774">당연한 이야기이지만, 사전 학습된 언어 모델을 이용하여 분류기를 제작하면 성능이 다른 분류기보다 좋습니다. 즉, 같은 양의 라벨링 된 데이터를 이용할 때 효과적이고 성능이 좋은 모델을 만들 수 있습니다. 아래 그림에서 ELECTRA 는 콴다의 플랫폼 데이터를 활용하여 사전 학습된 언어 모델을 기반으로 한 분류기로, 다른 베이스라인 모델들에 비하여 높은 성능을 가짐을 확인할 수 있습니다.</p><figure><div role="button" tabindex="0"><p><img alt="" src="https://miro.medium.com/max/1502/1*yAC9XDpvwIvg_B1aTQke4A.png" width="751" height="466" sizes="700px" role="presentation" data-old-src="https://miro.medium.com/max/60/1*yAC9XDpvwIvg_B1aTQke4A.png?q=20"></p></div></figure><p id="3510"><strong><em>더 적은 양의 데이터를 이용해서 학습이 가능하다.</em></strong></p><p id="a57c">사전 학습된 언어 모델을 활용할 경우, 학습에 필요한 데이터 양을 획기적으로 감소시킬 수 있었습니다. 내부 실험결과 유형 당 약 10 ~ 20여 개의 데이터를 이용하여 ( 약 2만여개의 데이터 ) 앞서 언급한 모델과 비슷한 성능의 모델을 만들 수 있었습니다. 이는 다양한 문제 데이터를 사전학습하지 않았다면 불가능 하였을 것입니다.</p><p id="ed64">그렇다면 사전 학습된 언어모델을 활용한 단원 예측은 얼마나 정확하게 추론을 수행할 수 있을까요? 아래 그림은 학습된 모델을 바탕으로 중 단원 예측에대한 Confusion Matrix 를 시각화한 것입니다. 가로 축이 실제 유형을 의미하고, 세로 축은 예측된 결과를 의미합니다. 간혹 중학교에서 배우는 곱셈 공식과 고등학교에서 배우는 곱셈공식과 같이 매우 유사한 유형의 문제에 대하여 잘못된 추론을 하기도 하지만, 대부분의 경우 대각선 ( 모델이 예측한 유형과 실제 유형이 같은 경우 ) 에 잘 모여있는 것을 확인할 수 있었습니다.</p></div><div><p id="ad3a">정리하자면 학습 컨텐츠의 연결을 위하여 매스프레소에서는 언어모델을 학습하고, 그 위에 다양한 세부 작업들을 정의하고 학습 함으로써 기술적으로 문제를 잘 이해하기 위한 연구를 진행하고 있습니다. 문제를 잘 이해하기 위한 하나의 예시로서 문제의 유형을 분류하는 예를 들 수 있었는데, 해당 기술을 이용하여 문제와 개념을 연결하고, 교육 컨텐츠를 연결하는 첫 걸음을 딛고 있습니다.</p><p id="2753">향후 다양한 국가의 언어 모델을 하나로 통합하여 언어와 상관없이 문제를 다룰 수 있는 모델을 만들고, 전 세계의 문제를 다룰 수 있는 모델을 만들어 나가고자 합니다.</p><h2 id="8f80">어떻게 학생의 데이터를 모으고 분석할까 ?</h2><p id="2b4c">앞선 방법으로 문제와 개념 컨텐츠를 연결한 이후에는 어떤 방식으로 기술이 더 적용될 수 있을까요 ?</p><h2 id="b8d3">학생들이 더 많은 문제를 풀게 만들자</h2><p id="f4dd">첫 번째, 컨텐츠의 전환율을 높이는 전략을 선택하여 연구를 진행하고 있습니다. 이는 넷플릭스나 유튜브와 같은 거대 플랫폼 기업에서도 사용하는 전략입니다. 특히 콴다로부터 문제를 추천받고, 풀어보는 문제 풀이에 대한 전환율을 높이는 연구 및 개발을 진행하고 있습니다. 문제 풀이 전환율이 높아지면, 더 많은 문제 풀이 데이터를 획득할 수 있습니다. 질문 데이터와 더불어 문제 풀이 데이터는 개개인의 실력을 파악하기 위한 양질의 데이터로서 맞춤화된 교육을 위하여 필수적으로 수집되어야 하는 데이터입니다.</p><figure><div role="button" tabindex="0"><p><img alt="" src="https://miro.medium.com/max/2624/1*8EN0aHHEtFk1Qia3vOl3hA.png" width="1312" height="1106" sizes="700px" role="presentation" data-old-src="https://miro.medium.com/max/60/1*8EN0aHHEtFk1Qia3vOl3hA.png?q=20"></p></div></figure><p id="5256">학생이 모르는 문제를 질문한 이후, 어떤 문제를 제공 하였을 때, 가장 문제 풀이까지 전환율이 높았는 지에 대한 데이터를 수집합니다. 이후 AI 모델을 통하여 개인별로 전환율이 높을 것으로 예상되는 문제를 먼저 제공합니다. 이 서비스에서 수집된 데이터는 다시 AI 모델이 학습할 수 있는 데이터로 가공되어 모델이 반영이됩니다. 이 과정이 반복적으로 일어나면서 콴다는 학생들 개개인이 더 흥미있어하는 문제를 제공하고, 학습데이터를 더 많이 수집할 수 있습니다.</p><p id="6f60">아래 차트는 실제 서비스에서 A / B 테스트를 통해 확인한 그룹간의 전환율 차이를 보여 줍니다. 아래 주황색 선은 단순히 같은 유형 내에서 임의의 문제를 주었을 때의 전환율을 나타내고, 위 파란색 및 연파란색은 AI 모델( *<a href="https://arxiv.org/abs/1708.05123" rel="noopener"><em>Deep Cross Network</em></a><em> 를 사용하였습니다.</em> )을 이용하여 개인별로 더 관심이 있을 법한 문제를 제공할 경우의 전환율을 나타냅니다. 실제로 AI 가 제공한 문제에 대하여 학생들은 더 높은 전환율을 보이고 있습니다.</p></div><div><h2 id="e2b3">학생들의 실력을 파악하고 분석하자</h2><p id="a3b9">그렇다면 이렇게 모은 학생의 데이터를 어떻게 분석할 수 있을까요?</p><p id="a9de">간단하면서 효과적인 방법은 협업 필터링 ( Collaborative Filtering ) 방법을 응용하는 것입니다. 협업 필터링 방식은 User 와 Item 사이의 상호작용을 토대로 아직 관측되지 않은 상호작용에 대한 예측을 수행하는 방법론입니다. 아래 그림의 예시와 같이 5명의 학생과 5개의 문제에 대한 정오답 풀이 데이터 (상호작용 데이터) 가 존재한다고 가정한다면, 해당 데이터를 바탕으로 아직 관찰되지 않은 상호작용에 대한 예측이 가능합니다. 즉, 다른 학생들의 문제풀이 기록과, 나의 문제 풀이 기록 데이터를 바탕으로 패턴을 분석하여, 아직 풀지 않은 문제에 대한 정오답 확률을 예측할 수 있게 되는 것이지요.</p><figure><div role="button" tabindex="0"><p><img alt="" src="https://miro.medium.com/max/1762/1*3xTKvgSxhepOKTGzbylVwA.png" width="881" height="728" role="presentation"></p></div></figure><p id="6c6f">여기에 추가적으로 딥러닝을 활용하여 협업 필터링 방식을 구현한다면, 학생의 문제 기록 뿐 아니라 학생과 문제의 추가적인 정보를 더 활용하여 모델링하는 것이 가능합니다. 아래는 Youtube ( <em>Deep Neural Networks for YouTube Recommendations, 2016</em> )에서 사용된 추천 모델을 도식화 한 것입니다. 주목할 점은 <em>video_embedding</em> ( 추천 아이템에 대한 정보 ) 과 함께 <em>lanugage_embedding</em> ( 사용자가 사용하는 언어 + 추천 아이템의 언어 ) 정보, 마지막 시청으로부터의 현재까지 시간 등 추천에서 고려할 수 있는 다양한 요소들이 추천 모델에 사용된다는 것 입니다.</p><figure><div role="button" tabindex="0"><p><img alt="" src="https://miro.medium.com/max/2558/1*Fa_IyLqtE9ouQZz3l5NpZA.png" width="1279" height="732" sizes="700px" role="presentation" data-old-src="https://miro.medium.com/max/60/1*Fa_IyLqtE9ouQZz3l5NpZA.png?q=20"></p></div></figure><p id="17a0">매스프레소 역시 딥러닝을 활용한 협업 필터링 방식을 활용하여 학생의 실력을 파악하는 연구를 진행중입니다. 콴다에서 수집되는 교육 데이터가 다각화되고, 학습과 관련된 모든 데이터가 수집될 수록 모델은 더욱 정교화될 것입니다. 앞서 소개드린 “학생들이 더욱 문제를 많이 풀게하는 AI 모델” 과 “학생의 실력을 파악하는 AI 모델”은 모두 아래와 같은 다양한 콴다 플랫폼에서 파생된 데이터를 활용하여 예측을 진행하고 있습니다.</p></div><div><h2 id="94c3">교육에 기술이 적용되려면</h2><p id="e0fd">기술은 교육을 더욱 효과적으로 바꿀 수 있습니다. 특히 최근 급격히 발전하고 있는 AI 기술을 활용한다면 그 가능성은 무궁무진할 것으로 기대하고 있습니다.</p><p id="9ab8">AI 기술을 활용하기 위해서는 무엇보다도 많은 양의 데이터를 확보하는 것이 중요합니다. 앞선 사례에서 언급 하였듯, 사전 학습된 언어모델을 만들기 위해서는 매우 많은 양의 데이터를 수집하는 것이 필요하며, 개인화된 추천을 고도화하기 위해서는 유저의 행동 데이터 및 학습과 관련된 데이터가 수집되어야합니다. 또한 AI 기술을 적용하고 발전시키기 위해서는 AI 엔지니어 뿐 아니라 파이프라인을 만들고, 데이터를 관리할 데이터 엔지니어 분과 모델을 효과적으로 적용하기 위한 백엔드 개발자 등 여러 분야의 전문가가 필요합니다.</p><p id="cb9d">매스프레소는 콴다라는 교육 플랫폼을 통하여 교육 분야의 막대한 데이터를 생산하고, 관리하며 분석하고 있습니다. 데이터는 충분합니다. 매스프레소는 기술로서 더욱 효과적인 교육을 만들어가실 분들을 찾고 있습니다. 고민하지 마시고 우선 지원해주세요 !</p></div></div>

매스프레소 팀블로그 - Medium

안녕하세요 매스프레소입니다.
매스프레소의 미션은 언제 어디서나 가능한, 합리적 가격의, 맞춤형 교육을 기술로 구현해 ‘가장 효과적인 교육’을 ‘전세계 모두’가 누리게 하는 것입니다. 이를 위하여 매스프레소는 교육 컨텐츠를 연결하고, 학생의 데이터를 모으고 분석하는 과제를 풀어나가고 있습니다. 오늘은 매스프레소가 어떤 방식을 통하여 비전과 미션에 다가가고 있는지에 대하여 이야기해보고자 합니다.
어떻게 교육 컨텐츠를 연결할까 ?
콴다는 매스프레소에서 제공하는 종합 교육 플랫폼입니다. 콴다는 선생님이 질문을 답변해주는 서비스로 시작했습니다. 이 답변(풀이) 데이터가 쌓이기 시작하면서, 콴다는 학생들이 질문을 찍으면 자동으로 풀이를 검색해서 알려주는 앱으로 발전해 나갔습니다. 이제는 학생이 모르는 문제의 사진을 찍으면, 해당 문제에 대한 해설을 찾아 볼 수 있고, 같은 유형의 문제, 개념강의와 같은 연관된 컨텐츠를 제공받습니다. 그렇다면 매스프레소는 어떻게 교육 컨텐츠들을 연결을 만들어 가고 있을까요 ?
문제와 문제, 문제와 개념 간 연결
딥러닝을 활용한 OCR 기술의 개발 — 텍스트와 수식에 대한 정보 추출
초기 가장 많은 연구는 광학 문자 인식 기술에 집중되었습니다. 사진으로부터 텍스트 정보를 추출하기 위하여 다양한 비전 모델들을 ( Object detection / Text Recognition 분야 )연구 개발하였습니다. 최근에는 문제에서 수식 정보 및 텍스트 정보를 추출해 내는 기술이 고도화 되어, 상당히 정확한 수준으로 수식 및 텍스트 정보를 얻을 수 있게 되었습니다.
OCR 기술이 고도화 됨에 따라, 자연어 처리기술을 이용하여 인식된 글씨로부터 추가적인 정보를 추출하고 가공하는 방향으로 연구가 진행되었습니다. 자연어처리기술을 통하여 문제가 가진 개념과 유형을 판단하고, 해당 유형의 문제와 컨텐츠를 연결하는 방법을 마련하였습니다.
딥러닝을 활용한 NLP 기술의 도입 — 사전 학습된 언어 모델
자연어 처리 기술은 ( NLP ) 인간이 사용하는 언어인 자연어를 기계를 이용하여 처리하는 기술을 의미합니다. 기계가 언어를 번역해주는 기계 번역과 자동 상담 Chat-Bot 을 만드는 일 등은 모두 자연어 처리 기술을 활용하고 있습니다.
자연어 처리 기술의 최신 트렌드는 학습된 언어모델을 활용하는 것 입니다. 큰 용량의 언어 뭉치로부터 언어모델을 학습시킨 후 ( pre-training ) , 각 작업에 맞도록 미세조정 ( fine-tunning ) 을 하여 성능을 높이는 방법으로 전환이 일어나고 있지요. 이는 대부분의 Task 에서 최고 성능을 보여주며, 자연어 처리 기술의 향상에 큰 기여를 하고 있습니다. 매스프레소에서도 역시 사전 학습된 언어모델 개발 및 이를 활용한 하위 작업에 대한 미세조정 과정을 거치며 모델을 개발하고 있습니다.
콴다 플랫폼에서는 전 세계 7개 국가에서 하루 평균 500만개의 질문이 올라오고 있습니다. 이 플랫폼에서 생성되는 다양한 언어의 방대한 데이터를 바탕으로 국가별로 언어모델을 만들고 있습니다. 현재 매스프레소에서는 ELECTRA와 RoBERTa를 이용하여 사전 학습된 언어모델을 구축하고 실험을 진행하고 있는 중입니다.
교육 도메인, 특히 수학 도메인에 있어서는 일반적인 자연어 처리와는 다른 수식과 그림 등 더욱 복합적인 요소가 들어가 있기 때문에, 기존에 Wikipedia 등 다른 도메인의 데이터를 이용하여 사전 학습된 언어 모델을 만드는 것 보다 콴다 플랫폼에서 수집된 실제 문제 데이터를 통한 사전학습 언어 모델이 더욱 효과가 있었습니다.
딥러닝을 활용한 NLP 기술의 적용 — 문제 유형 분류
매스프레소는 약 1,855,850 수학 문제에 1,795 개의 유형을 태그한 데이터를 보유하고 있습니다. 이 데이터와 앞서 개발된 언어 모델을 활용하여 유형을 분류하는 연구를 진행하였습니다. 해당 Task 에서 Top3 Accuracy 83.59 % 를 기록하는 높은 성능을 보였습니다. 해당 모델을 통하여 문제의 유형 및 개념을 예측하여, 초기 단계의 문제와 개념간의 연결을 만들고 있습니다.
여기서 콴다 플랫폼 데이터를 활용하여 사전 학습된 언어모델 방식은 두 가지 측면에서 의의가 있었습니다.
같은 양의 데이터를 이용하여 학습할 때 다른 베이스라인 모델에 비하여 성능이 더 좋다.
당연한 이야기이지만, 사전 학습된 언어 모델을 이용하여 분류기를 제작하면 성능이 다른 분류기보다 좋습니다. 즉, 같은 양의 라벨링 된 데이터를 이용할 때 효과적이고 성능이 좋은 모델을 만들 수 있습니다. 아래 그림에서 ELECTRA 는 콴다의 플랫폼 데이터를 활용하여 사전 학습된 언어 모델을 기반으로 한 분류기로, 다른 베이스라인 모델들에 비하여 높은 성능을 가짐을 확인할 수 있습니다.
더 적은 양의 데이터를 이용해서 학습이 가능하다.
사전 학습된 언어 모델을 활용할 경우, 학습에 필요한 데이터 양을 획기적으로 감소시킬 수 있었습니다. 내부 실험결과 유형 당 약 10 ~ 20여 개의 데이터를 이용하여 ( 약 2만여개의 데이터 ) 앞서 언급한 모델과 비슷한 성능의 모델을 만들 수 있었습니다. 이는 다양한 문제 데이터를 사전학습하지 않았다면 불가능 하였을 것입니다.
그렇다면 사전 학습된 언어모델을 활용한 단원 예측은 얼마나 정확하게 추론을 수행할 수 있을까요? 아래 그림은 학습된 모델을 바탕으로 중 단원 예측에대한 Confusion Matrix 를 시각화한 것입니다. 가로 축이 실제 유형을 의미하고, 세로 축은 예측된 결과를 의미합니다. 간혹 중학교에서 배우는 곱셈 공식과 고등학교에서 배우는 곱셈공식과 같이 매우 유사한 유형의 문제에 대하여 잘못된 추론을 하기도 하지만, 대부분의 경우 대각선 ( 모델이 예측한 유형과 실제 유형이 같은 경우 ) 에 잘 모여있는 것을 확인할 수 있었습니다.
정리하자면 학습 컨텐츠의 연결을 위하여 매스프레소에서는 언어모델을 학습하고, 그 위에 다양한 세부 작업들을 정의하고 학습 함으로써 기술적으로 문제를 잘 이해하기 위한 연구를 진행하고 있습니다. 문제를 잘 이해하기 위한 하나의 예시로서 문제의 유형을 분류하는 예를 들 수 있었는데, 해당 기술을 이용하여 문제와 개념을 연결하고, 교육 컨텐츠를 연결하는 첫 걸음을 딛고 있습니다.
향후 다양한 국가의 언어 모델을 하나로 통합하여 언어와 상관없이 문제를 다룰 수 있는 모델을 만들고, 전 세계의 문제를 다룰 수 있는 모델을 만들어 나가고자 합니다.
어떻게 학생의 데이터를 모으고 분석할까 ?
앞선 방법으로 문제와 개념 컨텐츠를 연결한 이후에는 어떤 방식으로 기술이 더 적용될 수 있을까요 ?
학생들이 더 많은 문제를 풀게 만들자
첫 번째, 컨텐츠의 전환율을 높이는 전략을 선택하여 연구를 진행하고 있습니다. 이는 넷플릭스나 유튜브와 같은 거대 플랫폼 기업에서도 사용하는 전략입니다. 특히 콴다로부터 문제를 추천받고, 풀어보는 문제 풀이에 대한 전환율을 높이는 연구 및 개발을 진행하고 있습니다. 문제 풀이 전환율이 높아지면, 더 많은 문제 풀이 데이터를 획득할 수 있습니다. 질문 데이터와 더불어 문제 풀이 데이터는 개개인의 실력을 파악하기 위한 양질의 데이터로서 맞춤화된 교육을 위하여 필수적으로 수집되어야 하는 데이터입니다.
학생이 모르는 문제를 질문한 이후, 어떤 문제를 제공 하였을 때, 가장 문제 풀이까지 전환율이 높았는 지에 대한 데이터를 수집합니다. 이후 AI 모델을 통하여 개인별로 전환율이 높을 것으로 예상되는 문제를 먼저 제공합니다. 이 서비스에서 수집된 데이터는 다시 AI 모델이 학습할 수 있는 데이터로 가공되어 모델이 반영이됩니다. 이 과정이 반복적으로 일어나면서 콴다는 학생들 개개인이 더 흥미있어하는 문제를 제공하고, 학습데이터를 더 많이 수집할 수 있습니다.
아래 차트는 실제 서비스에서 A / B 테스트를 통해 확인한 그룹간의 전환율 차이를 보여 줍니다. 아래 주황색 선은 단순히 같은 유형 내에서 임의의 문제를 주었을 때의 전환율을 나타내고, 위 파란색 및 연파란색은 AI 모델( *Deep Cross Network 를 사용하였습니다. )을 이용하여 개인별로 더 관심이 있을 법한 문제를 제공할 경우의 전환율을 나타냅니다. 실제로 AI 가 제공한 문제에 대하여 학생들은 더 높은 전환율을 보이고 있습니다.
학생들의 실력을 파악하고 분석하자
그렇다면 이렇게 모은 학생의 데이터를 어떻게 분석할 수 있을까요?
간단하면서 효과적인 방법은 협업 필터링 ( Collaborative Filtering ) 방법을 응용하는 것입니다. 협업 필터링 방식은 User 와 Item 사이의 상호작용을 토대로 아직 관측되지 않은 상호작용에 대한 예측을 수행하는 방법론입니다. 아래 그림의 예시와 같이 5명의 학생과 5개의 문제에 대한 정오답 풀이 데이터 (상호작용 데이터) 가 존재한다고 가정한다면, 해당 데이터를 바탕으로 아직 관찰되지 않은 상호작용에 대한 예측이 가능합니다. 즉, 다른 학생들의 문제풀이 기록과, 나의 문제 풀이 기록 데이터를 바탕으로 패턴을 분석하여, 아직 풀지 않은 문제에 대한 정오답 확률을 예측할 수 있게 되는 것이지요.
여기에 추가적으로 딥러닝을 활용하여 협업 필터링 방식을 구현한다면, 학생의 문제 기록 뿐 아니라 학생과 문제의 추가적인 정보를 더 활용하여 모델링하는 것이 가능합니다. 아래는 Youtube ( Deep Neural Networks for YouTube Recommendations, 2016 )에서 사용된 추천 모델을 도식화 한 것입니다. 주목할 점은 video_embedding ( 추천 아이템에 대한 정보 ) 과 함께 lanugage_embedding ( 사용자가 사용하는 언어 + 추천 아이템의 언어 ) 정보, 마지막 시청으로부터의 현재까지 시간 등 추천에서 고려할 수 있는 다양한 요소들이 추천 모델에 사용된다는 것 입니다.
매스프레소 역시 딥러닝을 활용한 협업 필터링 방식을 활용하여 학생의 실력을 파악하는 연구를 진행중입니다. 콴다에서 수집되는 교육 데이터가 다각화되고, 학습과 관련된 모든 데이터가 수집될 수록 모델은 더욱 정교화될 것입니다. 앞서 소개드린 “학생들이 더욱 문제를 많이 풀게하는 AI 모델” 과 “학생의 실력을 파악하는 AI 모델”은 모두 아래와 같은 다양한 콴다 플랫폼에서 파생된 데이터를 활용하여 예측을 진행하고 있습니다.
교육에 기술이 적용되려면
기술은 교육을 더욱 효과적으로 바꿀 수 있습니다. 특히 최근 급격히 발전하고 있는 AI 기술을 활용한다면 그 가능성은 무궁무진할 것으로 기대하고 있습니다.
AI 기술을 활용하기 위해서는 무엇보다도 많은 양의 데이터를 확보하는 것이 중요합니다. 앞선 사례에서 언급 하였듯, 사전 학습된 언어모델을 만들기 위해서는 매우 많은 양의 데이터를 수집하는 것이 필요하며, 개인화된 추천을 고도화하기 위해서는 유저의 행동 데이터 및 학습과 관련된 데이터가 수집되어야합니다. 또한 AI 기술을 적용하고 발전시키기 위해서는 AI 엔지니어 뿐 아니라 파이프라인을 만들고, 데이터를 관리할 데이터 엔지니어 분과 모델을 효과적으로 적용하기 위한 백엔드 개발자 등 여러 분야의 전문가가 필요합니다.
매스프레소는 콴다라는 교육 플랫폼을 통하여 교육 분야의 막대한 데이터를 생산하고, 관리하며 분석하고 있습니다. 데이터는 충분합니다. 매스프레소는 기술로서 더욱 효과적인 교육을 만들어가실 분들을 찾고 있습니다. 고민하지 마시고 우선 지원해주세요 !
🌏글로벌 Top 교육 앱 QANDA(콴다)를 함께 만들어 갈 분들을 기다리고 있습니다! 자세한 사항은 ➡️ 채용 사이트 ⬅ ️를 통해 확인해주세요.
매스프레소에서 AI 기술은 어떻게 활용되고 있나요? was originally published in 매스프레소 팀블로그 on Medium, where people are continuing the conversation by highlighting and responding to this story.

매스프레소에서 AI 기술은 어떻게 활용되고 있나요?

댓글