<div id="readability-page-1" class="page"><div id="entry-view">
        
        <main>
          <div>
              <article id="mainContent">
                <div>
                  <p><a href="/m/category/Seminars%20and%20Lectures"><span>Seminars and Lectures</span></a></p><h3>DEVIEW 2019 : Operational AI 발표 정리(2)</h3>
                </div>
                <p><cite>honie</cite>
                  <span> 2021. 8. 21. 21:45</span>
                </p>
                                <div>
                                <h4 data-ke-size="size20"><b>글또 두 번째 포스팅에 이어 <span>Operational AI<span>&nbsp;후반부 내용을 정리하였습니다.</span></span></b></h4>

<h4 data-ke-size="size20"><b><span>해당 발표는 Makina Rocks의 김기현 님이 발표하셨습니다.</span></b></h4>

<hr contenteditable="false" data-ke-type="horizontalRule" data-ke-style="style8">
<h3 data-ke-size="size23"><b>Beyond Deplotment : Operational AI</b></h3>

<p data-ke-size="size16"><b>모델 학습 후 배포가 끝?</b></p>

<ul data-ke-list-type="disc">
<li>성능 유지 및 향상을 위한 지속적인 학습이 필요함
<ul data-ke-list-type="disc">
<li>모델 학습 및 배포 파이프라인</li>
<li>입출력 데이터 분포 변화, Coner Case 발생&nbsp;
<ul data-ke-list-type="disc">
<li><span>코너 케이스는 여러 가지 변수와 환경의 복합적인 상호작용으로 발생하는 문제</span><span></span></li>
</ul>
</li>
<li><span>성능 하락 발생&nbsp;</span></li>
<li><span>실행/운영 측면이 고려된 모델(재) 학습 및 (재)배포 파이프라인</span>
<ul data-ke-list-type="disc">
<li><span>LifeLong Learning</span>
<ul data-ke-list-type="disc">
<li><span>MLops</span></li>
</ul>
</li>
</ul>
</li>
</ul>
</li>
</ul>

<p data-ke-size="size16"><b>Challenges in Lifelong Learning</b></p>

<ul data-ke-list-type="disc">
<li>AI를 Real World로 가져오기 위해서 실행/운영 측면의 문제들이 있음
<ul data-ke-list-type="disc">
<li>비효율적인 레이블링테스트 데이터가 없을수도 있음</li>
<li>실행 주체가 일원화되어 있지 않음</li>
<li>테스트 데이터가 없을 수도 있음</li>
<li>Catastrophic forgetting</li>
</ul>
</li>
</ul>
<figure data-origin-width="660" data-origin-height="352" data-ke-mobilestyle="widthOrigin">
    <span data-url="https://k.kakaocdn.net/dn/cbniWk/btrcMHIRAQi/C46I8mvlu0oBGuTgVkckJK/img.png" data-lightbox="lightbox" data-alt="MLOps">
        <img src="https://k.kakaocdn.net/dn/cbniWk/btrcMHIRAQi/C46I8mvlu0oBGuTgVkckJK/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-origin-width="660" data-origin-height="352" data-ke-mobilestyle="widthOrigin">
    </span>
    <figcaption>MLOps</figcaption>
</figure>
<p data-ke-size="size16"><b>Operational AI</b></p>
<ul data-ke-list-type="disc">
<li>실행/운영 측면의 문제들을 해결하기 위한 AI기술
<ul data-ke-list-type="disc">
<li>Active Learning</li>
<li>Continual Learning</li>
<li>Sanity Check</li>
<li>Auto-Report, Auto-Intergration</li>
</ul>
</li>
</ul>

<figure data-origin-width="655" data-origin-height="355" data-ke-mobilestyle="widthOrigin">
    <span data-url="https://k.kakaocdn.net/dn/698JF/btrcIUB0P7O/lSYyiSXiWKrkuK69FsVGv0/img.png" data-lightbox="lightbox" data-alt="Operational AI">
        <img src="https://k.kakaocdn.net/dn/698JF/btrcIUB0P7O/lSYyiSXiWKrkuK69FsVGv0/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-origin-width="655" data-origin-height="355" data-ke-mobilestyle="widthOrigin">
    </span>
    <figcaption>Operational AI</figcaption>
</figure>

<p data-ke-size="size16"><b>Challenges : No Test Set</b></p>

<ul data-ke-list-type="disc">
<li>배포 단계
<ul data-ke-list-type="disc">
<li>모델 성능 평가가 어려움</li>
</ul>
</li>
<li>운영 단계
<ul data-ke-list-type="disc">
<li>모델 성능 모니터링이 어려움</li>
</ul>
</li>
</ul>

<p data-ke-size="size16"><b>Various Sanity Check : Pseudo Test Set</b></p>

<ul data-ke-list-type="disc">
<li>합성을 통한 이상 데이터를 생성(Synthetic Anomalous)를 통해 성능에 대한 Proxy를 구함
<ul data-ke-list-type="disc">
<li>화이트 노이즈만을 통해 데이터를 만들 순 있지만 실제로는 생기지 않는 데이터</li>
<li>따라서, Mnist에는 없지만 손글씨와 비슷한 형태를 띄는 데이터가 필요함</li>
<li>Pseudo Anomalous 를 만들어냄</li>
<li>이를 통해 AUROC 값을 구하였는데 Ground-truth AUROC와 높은 상관관계가 있었고, 임계값을 구하는 데에도 용이하였음.</li>
</ul>
</li>
</ul>
<figure data-origin-width="788" data-origin-height="335" data-ke-mobilestyle="widthOrigin">
    <span data-url="https://k.kakaocdn.net/dn/K4mPq/btrcSspHxdn/miFMXe5KEAAkbSmQa6jZVk/img.png" data-lightbox="lightbox" data-alt="Pseudo Test Set">
        <img src="https://k.kakaocdn.net/dn/K4mPq/btrcSspHxdn/miFMXe5KEAAkbSmQa6jZVk/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-origin-width="788" data-origin-height="335" data-ke-mobilestyle="widthOrigin">
    </span>
    <figcaption>Pseudo Test Set</figcaption>
</figure>

<p data-ke-size="size16"><b>Challenges : Who runs the system?</b></p>

<ul data-ke-list-type="disc">
<li>AI개발 주체와 운영자 주체가 다름</li>
<li>데이터 사이언티스트
<ul data-ke-list-type="disc">
<li>분석 /AI 전문가</li>
<li>도메인 전문지식이 필요함</li>
</ul>
</li>
<li>필드 엔지니어
<ul data-ke-list-type="disc">
<li>제조공정에 대한 전문가</li>
<li>하지만 AI에 대해 모를수도 있음</li>
</ul>
</li>
<li>상호간의 도움이 필요해서 시간이 낭비
<ul data-ke-list-type="disc">
<li>업무 효율 저하를 유발함</li>
</ul>
</li>
<li>많은 자동화를 통해 효율성 증가 유도</li>
</ul>

<figure data-origin-width="845" data-origin-height="335" data-ke-mobilestyle="widthOrigin">
    <span data-url="https://k.kakaocdn.net/dn/dDqCXJ/btrcQeysSoX/wI1Gqh7mO2MyQbPGRl8CK0/img.png" data-lightbox="lightbox" data-alt="개발 주체의 다름">
        <img src="https://k.kakaocdn.net/dn/dDqCXJ/btrcQeysSoX/wI1Gqh7mO2MyQbPGRl8CK0/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-origin-width="845" data-origin-height="335" data-ke-mobilestyle="widthOrigin">
    </span>
    <figcaption>개발 주체의 다름</figcaption>
</figure>
<p data-ke-size="size16"><b>Continual Learning</b></p>

<ul data-ke-list-type="disc">
<li>옛 지식을 잊지 않으면서 새로운 지식을 학습하는 AI</li>
<li>Incremental Training : 새로운 데이터만을 사용, 기존 모델 재학습
<ul data-ke-list-type="disc">
<li>이전 데이터로부터 학습한 내용을 잊어버리는 현상인 Catastrophic Forgetting</li>
</ul>
</li>
<li>Inclusive Training : 전체 데이터를 사용하여 모델을 새롭게 학습<br>
<ul data-ke-list-type="disc">
<li>전체 데이터에 대한 학습은 Scalability Issue가 있음</li>
</ul>
</li>
</ul>
<p data-ke-size="size16"><b>Model Archining</b></p>

<ul data-ke-list-type="disc">
<li>데이터에 따른 여러 모델을 만들어 문제 해결을 시도
<ul data-ke-list-type="disc">
<li>데이터가 늘어남에 따라 모델도 늘어나는 구조</li>
<li>테스트 과정에서는 전체 모델을 구현하고 전체 모델별 Anomaly Score가 산출
<ul data-ke-list-type="disc">
<li>이때, 하나의 모델이라도 정상이라고 한다면 정상으로 간주</li>
</ul>
</li>
<li>데이터가 지속적으로 생기면서 모델도 늘어나면 추론시간이 길어짐</li>
</ul>
</li>
</ul>
<figure data-origin-width="765" data-origin-height="320" data-ke-mobilestyle="widthOrigin">
    <span data-url="https://k.kakaocdn.net/dn/dpUANb/btrcMGJ3E8z/h2DDngx4qrbkEMEa4Hgqck/img.png" data-lightbox="lightbox" data-alt="Model Archiving System">
        <img src="https://k.kakaocdn.net/dn/dpUANb/btrcMGJ3E8z/h2DDngx4qrbkEMEa4Hgqck/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-origin-width="765" data-origin-height="320" data-ke-mobilestyle="widthOrigin">
    </span>
    <figcaption>Model Archiving System</figcaption>
</figure>
<p data-ke-size="size16"><b>Effective Model Archiving</b></p>

<ul data-ke-list-type="disc">
<li>샘플이 모델에 속할 가능성을 예측하여 불필요한 추론과정 최소화</li>
</ul>
<figure data-origin-width="570" data-origin-height="306" data-ke-mobilestyle="widthOrigin">
    <span data-url="https://k.kakaocdn.net/dn/VIvQ6/btrcSta4WtR/4poB6sy5W0MfC8ROWKJWHK/img.png" data-lightbox="lightbox" data-alt="Effective Model Archiving">
        <img src="https://k.kakaocdn.net/dn/VIvQ6/btrcSta4WtR/4poB6sy5W0MfC8ROWKJWHK/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-origin-width="570" data-origin-height="306" data-ke-mobilestyle="widthOrigin">
    </span>
    <figcaption>Effective Model Archiving</figcaption>
</figure>

<ul data-ke-list-type="disc">
<li>비슷한 분포를 위한 모델들을 재학습하여 통합 및 성능 향상</li>
</ul>
<figure data-origin-width="508" data-origin-height="252" data-ke-mobilestyle="widthOrigin">
    <span data-url="https://k.kakaocdn.net/dn/uWwGM/btrcLBa42YR/xKdr4BryYqf3etADsaEwjK/img.png" data-lightbox="lightbox" data-alt="Effective Model Archiving">
        <img src="https://k.kakaocdn.net/dn/uWwGM/btrcLBa42YR/xKdr4BryYqf3etADsaEwjK/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-origin-width="508" data-origin-height="252" data-ke-mobilestyle="widthOrigin">
    </span>
    <figcaption>Effective Model Archiving</figcaption>
</figure>
<h3 data-ke-size="size23"><b>AI in the Loop?</b></h3>
<p data-ke-size="size16"><b>Current : Human in the Loop</b></p>

<ul data-ke-list-type="disc">
<li>인간의 피드백을 통해 성장하는 AI
<ul data-ke-list-type="disc">
<li>주관적 생각이 들어가면서 문제점 야기 할 수 있음</li>
</ul>
</li>
</ul>
<figure data-origin-width="766" data-origin-height="340" data-ke-mobilestyle="widthOrigin">
    <span data-url="https://k.kakaocdn.net/dn/k4ppL/btrcSspH6wp/iX4BlLSe9VHEKoueOQO78k/img.png" data-lightbox="lightbox" data-alt="">
        <img src="https://k.kakaocdn.net/dn/k4ppL/btrcSspH6wp/iX4BlLSe9VHEKoueOQO78k/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-origin-width="766" data-origin-height="340" data-ke-mobilestyle="widthOrigin">
    </span>
    
</figure>


<p data-ke-size="size16"><b>Future : AI in the Loop</b></p>

<ul data-ke-list-type="disc">
<li>AI driven Lifelong Learning<br>
<ul data-ke-list-type="disc">
<li>모든 과정을 사람의 개입을 최소화하고 AI를 사용</li>
</ul>
</li>
</ul>
<figure data-origin-width="619" data-origin-height="363" data-ke-mobilestyle="widthOrigin">
    <span data-url="https://k.kakaocdn.net/dn/o57lh/btrcMEZx0Ct/KHp1WWlVj2r5DhSOWXw8QK/img.png" data-lightbox="lightbox" data-alt="">
        <img src="https://k.kakaocdn.net/dn/o57lh/btrcMEZx0Ct/KHp1WWlVj2r5DhSOWXw8QK/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-origin-width="619" data-origin-height="363" data-ke-mobilestyle="widthOrigin">
    </span>
    
</figure>

<p data-ke-size="size18"><b>이것으로 두 번째 포스팅의 나머지 내용 정리를 마치겠습니다.&nbsp;</b></p>

<p data-ke-size="size18"><b>긴 글 읽어 주셔서 감사합니다.</b></p>

<figure contenteditable="false" data-ke-type="emoticon" data-ke-align="alignCenter" data-emoticon-type="friends1" data-emoticon-name="007" data-emoticon-isanimation="false" data-emoticon-src="https://t1.daumcdn.net/keditor/emoticon/friends1/large/007.gif"><img src="https://t1.daumcdn.net/keditor/emoticon/friends1/large/007.gif" width="150"></figure>
            
            
                </div>
                

              </article>
              
                
              
              
              
                
              
              
              
                
              
            </div>
        </main>
        
      </div></div>

내일을 위해

Hunie

글또 두 번째 포스팅에 이어 Operational AI 후반부 내용을 정리하였습니다.
 
해당 발표는 Makina Rocks의 김기현 님이 발표하셨습니다.
 
Beyond Deplotment : Operational AI
 
모델 학습 후 배포가 끝?
 
성능 유지 및 향상을 위한 지속적인 학습이 필요함
모델 학습 및 배포 파이프라인
입출력 데이터 분포 변화, Coner Case 발생 
코너 케이스는 여러 가지 변수와 환경의 복합적인 상호작용으로 발생하는 문제
성능 하락 발생 
실행/운영 측면이 고려된 모델(재) 학습 및 (재)배포 파이프라인
LifeLong Learning
MLops
 
Challenges in Lifelong Learning
 
AI를 Real World로 가져오기 위해서 실행/운영 측면의 문제들이 있음
비효율적인 레이블링테스트 데이터가 없을수도 있음
실행 주체가 일원화되어 있지 않음
테스트 데이터가 없을 수도 있음
Catastrophic forgetting
Operational AI
실행/운영 측면의 문제들을 해결하기 위한 AI기술
Active Learning
Continual Learning
Sanity Check
Auto-Report, Auto-Intergration
 
 
Challenges : No Test Set
 
배포 단계
모델 성능 평가가 어려움
운영 단계
모델 성능 모니터링이 어려움
 
Various Sanity Check : Pseudo Test Set
 
합성을 통한 이상 데이터를 생성(Synthetic Anomalous)를 통해 성능에 대한 Proxy를 구함
화이트 노이즈만을 통해 데이터를 만들 순 있지만 실제로는 생기지 않는 데이터
따라서, Mnist에는 없지만 손글씨와 비슷한 형태를 띄는 데이터가 필요함
Pseudo Anomalous 를 만들어냄
이를 통해 AUROC 값을 구하였는데 Ground-truth AUROC와 높은 상관관계가 있었고, 임계값을 구하는 데에도 용이하였음.
 
Challenges : Who runs the system?
 
AI개발 주체와 운영자 주체가 다름
데이터 사이언티스트
분석 /AI 전문가
도메인 전문지식이 필요함
필드 엔지니어
제조공정에 대한 전문가
하지만 AI에 대해 모를수도 있음
상호간의 도움이 필요해서 시간이 낭비
업무 효율 저하를 유발함
많은 자동화를 통해 효율성 증가 유도
 
Continual Learning
 
옛 지식을 잊지 않으면서 새로운 지식을 학습하는 AI
Incremental Training : 새로운 데이터만을 사용, 기존 모델 재학습
이전 데이터로부터 학습한 내용을 잊어버리는 현상인 Catastrophic Forgetting
Inclusive Training : 전체 데이터를 사용하여 모델을 새롭게 학습
전체 데이터에 대한 학습은 Scalability Issue가 있음
Model Archining
 
데이터에 따른 여러 모델을 만들어 문제 해결을 시도
데이터가 늘어남에 따라 모델도 늘어나는 구조
테스트 과정에서는 전체 모델을 구현하고 전체 모델별 Anomaly Score가 산출
이때, 하나의 모델이라도 정상이라고 한다면 정상으로 간주
데이터가 지속적으로 생기면서 모델도 늘어나면 추론시간이 길어짐
Effective Model Archiving
 
샘플이 모델에 속할 가능성을 예측하여 불필요한 추론과정 최소화
 
비슷한 분포를 위한 모델들을 재학습하여 통합 및 성능 향상
AI in the Loop?
Current : Human in the Loop
 
인간의 피드백을 통해 성장하는 AI
주관적 생각이 들어가면서 문제점 야기 할 수 있음
 
 
Future : AI in the Loop
 
AI driven Lifelong Learning
모든 과정을 사람의 개입을 최소화하고 AI를 사용
 
이것으로 두 번째 포스팅의 나머지 내용 정리를 마치겠습니다. 
 
긴 글 읽어 주셔서 감사합니다.

DEVIEW 2019 : Operational AI 발표 정리(2)

댓글