<div id="readability-page-1" class="page"><div id="SE-8b83bf9c-f2d8-4dc7-bba2-c6ce674223df">
 AI 위협 환경 이해하기AI는 다양한 산업을 혁신하며, 텍스트, 이미지, 음성 생성 기능을 통해 전례 없는 가능성을 제공합니다. 다이어그램은 AI와 관련된 다양한 위협 요소를 강조합니다. AI 생태계의 주요 위협 : ​사용자 상호작용 위험:​<ul><li>직접 프롬프트 삽입(UPIA): 악성 입력이 AI 응답을 조작할 수 있음.</li><li>데이터 유출: 민감한 데이터가 의도치 않게 노출될 가능성.</li><li>무단 접근/과도한 공유: 부적절한 접근 통제는 데이터 유출로 이어질 수 있음.</li><li>환각(Hallucination): AI가 부정확하거나 조작된 정보를 생성할 가능성.</li><li>과도한 의존(Overreliance): 사용자가 AI 출력에 대해 검증 없이 지나치게 의존할 가능성.</li><li>서비스 거부 공격(DoS): AI 시스템이 공격을 받아 서비스 가용성이 저하될 위험.</li><li>지갑(GPU 악용): 악의적인 사용으로 인해 높은 컴퓨팅 비용이 발생할 가능성.</li></ul>​AI 애플리케이션 위험:​<ul><li>데이터 중독(Data Poisoning): 훈련 데이터를 조작하여 AI 출력을 왜곡하는 공격. </li><li>간접 프롬프트 삽입(XPIA): 간접적인 데이터 소스를 통한 조작.</li><li>오케스트레이션 취약점: AI 서비스 통합 과정에서 발생하는 보안 취약점이 악용될 가능성.</li><li>공급망 위험: 타사 구성 요소에 대한 의존이 보안 취약점을 초래할 가능성.</li></ul>​AI 모델 위험:​<ul><li>안전하지 않은 플러그인/스킬 설계: 부실하게 설계된 통합 기능이 악용될 가능성.</li><li>탈옥(Jailbreak): AI 안전 메커니즘을 우회하는 기술.</li><li>모델 도난: 독점 모델에 대한 무단 접근.</li><li>데이터 중독: 애플리케이션 위험과 유사하지만, 모델 훈련 단계를 직접 겨냥하는 공격.</li><li>모델 취약점: AI 모델 자체의 고유한 약점이 악용될 가능성.</li></ul>​이러한 위험을 이해하는 것은 AI를 안전하고 윤리적으로 배포하는데 필수적입니다.
 </div></div>

I ❤ Hands-On

AI 위협 환경 이해하기 AI는 다양한 산업을 혁신하며, 텍스트, 이미지, 음성 생성 기능을 통해 전례 없는 가능성을 제공합니다. 다이어그램은 AI와 관련된 다양한 위협 요소를 강조합니다. AI 생태계의 주요 위협 : 사용자 상호작용 위험: 직접 프롬프트 삽입(UPIA): 악성 입력이 AI 응답을 조작할 수 있음. 데이터 유출: 민감한 데이터가 의도치 않게 노출될 가능성. 무단 접근/과도한 공유: 부적절한 접근 통제는 데이터 유출로 이어질 수 있음. 환각(Hallucination): AI가 부정확하거나 조작된 정보를 생성할 가능성. 과도한 의존(Overreliance): 사용자가 AI 출력에 대해 검증 없이 지나치게 의존할 가능성. 서비스 거부 공격(DoS): AI 시스.......

[Azure AI 보안] 11 생성형 AI 위협 환경

댓글