<div id="readability-page-1" class="page"><div>
                <div id="SE-23a9de12-92fb-4730-ad86-c6b1568851ee">
                            <p id="SE-900da638-2146-4908-aed5-add22de56a22"><span id="SE-c95cd90d-42c3-41e3-8d29-fb13178b3762">파일 형식을 식별해야 하는 이유는 컴퓨터 역사 초기부터 필요했던 기능으로, libmagic이 수십 년간 디펙토 표준이었습니다. 최근에는 웹브라우저나 개발용 IDE에서 처리하거나 악성코드 탐지 대상 선정 및 백업 전 효율 높은 압축 알고리즘 적용 등 각종 다양한 분야를 위해 정밀한 탐지의 필요가 끊이지 않습니다. 하지만 파일의 형식을 정확하게 식별한다는 것은 사실상 불가능하기 때문에, libmagic은 온갖 휴리스틱 규칙과 매직 값 식별 등을 총동원하여 결과를 도출해 냅니다.</span></p>
                        </div>                <div id="SE-f319bb2a-bfce-473a-9e53-b477ac4131cf">
                                    <p>#include &lt;stdio.h&gt;
#include &lt;magic.h&gt;

int main(void)
{
    const char *filename = "example.txt";
    const char *magic_full;
    magic_t magic_cookie;
	
    /* MAGIC_MIME_TYPE 플래그를 사용하여 MIME 타입만을 반환하도록 설정 */
    magic_cookie = magic_open(MAGIC_MIME_TYPE);
	
    if (magic_cookie == NULL) {
        printf("unable to initialize magic library\n");
        return 1;
    }
	
    printf("Loading default magic database\n");
    
    if (magic_load(magic_cookie, NULL) != 0) {
        printf("cannot load magic database - %s\n", magic_error(magic_cookie));
        magic_close(magic_cookie);
        return 1;
    }
	
    magic_full = magic_file(magic_cookie, filename);
    printf("%s: %s\n", filename, magic_full);
    magic_close(magic_cookie);
	
    return 0;
}</p>
                                </div>                <div id="SE-95e3cdf9-21af-4210-9b94-2fb046ac98ed">
                            <p id="SE-a2f23a4c-b1f6-4b23-ac1e-922982a4fb71"><span id="SE-9661719c-4409-420d-91d3-b37b6a3757ee">리눅스 도구 file이 이에 래퍼입니다. 파일의 종류를 출력해 줍니다.</span></p>
                        </div>                <div id="SE-df9da997-e5f4-4127-a555-9d917790b743">
                                    <p>file -i example.txt
example.txt: text/plain; charset=us-ascii</p>
                                </div>                <div id="SE-90fd7c32-4fd8-43fd-b590-870d6436dc43">
                            <p id="SE-186c6daf-6d85-4fb7-8a8f-210b1b022051"><span id="SE-2ab93d3f-851a-43df-a6b4-44a34d73bb25">딥러닝 기술이 등장하면서 파일을 식별하는 문제에도 AI 기술이 접목되는 건 시간문제였습니다. 구글은 지난 2월 15일 AI 기반 파일 식별 모델 Magika를 아파치2 라이선스로 자사 블로그를 통해 공개했습니다.</span></p>
                        </div>                <div id="SE-820deaaf-1057-499c-973c-99e03427a538">
                                <p><a href="#" onclick="return false;" data-linktype="img" data-linkdata="{&quot;id&quot; : &quot;SE-820deaaf-1057-499c-973c-99e03427a538&quot;, &quot;src&quot; : &quot;https://mblogthumb-phinf.pstatic.net/MjAyNDAyMTlfMjQ1/MDAxNzA4MjcwMTA1Mjgx.-BQLIZVrnUajLbaqtSsWZcIMAcHrbxoAmo5GxUWt-O4g.3iEj3BUdq-FBR-HKSM4XEQFO8Q7KU4Ah6MZe_Ui0WwYg.PNG.drvoss/magika-screenshot.png&quot;, &quot;originalWidth&quot; : &quot;782&quot;, &quot;originalHeight&quot; : &quot;484&quot;, &quot;linkUse&quot; : &quot;false&quot;, &quot;link&quot; : &quot;&quot;}">
                                        <img src="https://mblogthumb-phinf.pstatic.net/MjAyNDAyMTlfMjQ1/MDAxNzA4MjcwMTA1Mjgx.-BQLIZVrnUajLbaqtSsWZcIMAcHrbxoAmo5GxUWt-O4g.3iEj3BUdq-FBR-HKSM4XEQFO8Q7KU4Ah6MZe_Ui0WwYg.PNG.drvoss/magika-screenshot.png?type=w800" data-width="693" data-height="428" alt="">
                                    </a>
                                </p>
                        </div>
                <div id="SE-3cbb8230-45ce-4324-a64d-dca9e1922f90">
                            <p id="SE-6abbec3a-092b-451d-854f-8463bb2896c1"><span id="SE-a284dad1-4db0-459c-9e96-f481ba73300d">해당 모델은 아래 링크를 통해 json 파일과 함께 오픈소스로 제공하고 있으며, pip install magika를 통해 바로 사용해 볼 수 있습니다. 해당 모델은 1MB 정도로 가벼워서 CPU에서도 매우 빠르게 동작하며, onnx 특성상 많은 라이브러리를 지원합니다.</span></p>
                        </div>                <div id="SE-81236260-0919-4317-a695-cccde908d620">
                                <a href="https://github.com/google/magika/tree/main/python/magika/models/standard_v1" target="_blank">
                                    <div>
                                        
                                        <p>{"payload":{"allShortcutsEnabled":false,"path":"python/magika/models/standard_v1","repo":{"id":681566005,"defaultBranch":"main","name":"magika","ownerLogin":"google","currentUserCanPush":false,"isFork":false,"isEmpty":false,"createdAt":"2023-08-22T09:36:55.000Z","ownerAvatar":"https://avatars.github...</p>
                                        <p>github.com</p>
                                    </div>
                                </a>
                            </div>                <div id="SE-0e30af36-0bbc-4816-82ca-d88f31079d4d">
                            <p id="SE-2a91eb00-81f0-4f7f-a0cd-a103f2d31a14"><span id="SE-eb4ff8b6-7137-45b0-afa4-7d4c4a94329e">데모로 만든 웹사이트를 통해 동일한 모델을 테스트해 보고 결과를 확인해 볼 수 있습니다.</span></p>
                        </div>                                <div id="SE-73800633-4b7c-41c7-94b5-2c36d8048b8c">
                            <p id="SE-e0a2ec71-4069-498e-871b-fc5c60457688"><span id="SE-5e70073f-01dd-4713-90f3-4a57b8c43254">구글은 자사 블로그를 통해 libmagic이나 TrID 등 기존의 파일 식별 도구들과 벤치마킹 결과를 내 놓았습니다. GMail이나 GDrive의 가장 앞쪽에서 파일을 식별하는데 활용하고 있으며, 바이러스 토털의 Code Insight와 병합 중이라고 밝히면서, 기존 수작업 휴리스틱 기반보다 50%의 정확도 향상이 있었다고 말합니다.</span></p>
                        </div>                <div id="SE-f25ad5f5-fd41-486c-beb5-368a75fb11bb">
                                <p><a href="#" onclick="return false;" data-linktype="img" data-linkdata="{&quot;id&quot; : &quot;SE-f25ad5f5-fd41-486c-beb5-368a75fb11bb&quot;, &quot;src&quot; : &quot;https://mblogthumb-phinf.pstatic.net/MjAyNDAyMTlfMTkz/MDAxNzA4MjcwMjI2NDcz.SXuoMTR-hLlwyPwqzQ_VwOOblgWV8AIAvbrvlqwZmZ8g.ZJeKrXbxUXvSdCm8rFqR89EejBliwoH0K3higpuShFYg.PNG.drvoss/f1_scores.png&quot;, &quot;originalWidth&quot; : &quot;1600&quot;, &quot;originalHeight&quot; : &quot;989&quot;, &quot;linkUse&quot; : &quot;false&quot;, &quot;link&quot; : &quot;&quot;}">
                                        <img src="https://mblogthumb-phinf.pstatic.net/MjAyNDAyMTlfMTkz/MDAxNzA4MjcwMjI2NDcz.SXuoMTR-hLlwyPwqzQ_VwOOblgWV8AIAvbrvlqwZmZ8g.ZJeKrXbxUXvSdCm8rFqR89EejBliwoH0K3higpuShFYg.PNG.drvoss/f1_scores.png?type=w800" data-width="693" data-height="428" alt="">
                                    </a>
                                </p>
                        </div>
                <div id="SE-3793574a-2191-41b7-b9b3-3417fba4a932">
                            <p id="SE-5ace54e7-e330-42ef-9a84-94cfa424bf21"><span id="SE-448655ed-77e4-4b3a-8e36-9b2bedf2220b">먼저 onnx에 설정값도 공개 되어 onnx runtime C++로 구현하는데 큰 무리가 없겠다고 생각이 되었고, 다만 분류하는 파일 형식이 116개(아래 링크 참조)로 libmagic보다는 매우 작은 집합이었습니다.</span></p>
                        </div>                                <div id="SE-82ca131d-5ef5-4f51-b175-3dc8ddd65f76">
                            <p id="SE-73f5c393-12c1-497b-9b50-2757435383f6"><span id="SE-707e6eda-535c-43b7-9dc6-c8b0451662d9">테스트를 해보니 일부는 Unknown type으로 분류하기도 하는 등 벤치마크 결과와는 조금 차이가 있었습니다. 특히, 당연하지만, 지원하지 않는 파일 형식은 잘못 분류하는 경우도 많았습니다. 하지만, 텍스트 파일의 경우 분류 정확도가 높다고 벤치마크 결과를 공개하고 있고, 실제 테스트 했을 때도 꽤 높은 정확도로 분류되어 졌습니다.</span></p>
                        </div>                <div id="SE-c7731b86-b138-445b-8aab-4d86dd200349">
                                <p><a href="#" onclick="return false;" data-linktype="img" data-linkdata="{&quot;id&quot; : &quot;SE-c7731b86-b138-445b-8aab-4d86dd200349&quot;, &quot;src&quot; : &quot;https://mblogthumb-phinf.pstatic.net/MjAyNDAyMTlfMTYg/MDAxNzA4MjcwMjY4NjYx.gNe237YFLXtMvKojm8zx0yCbG-T0gLzmg8syx2WMj70g.BiWQE-pl4QzzjA09jrawFxVeJ3SLOLVFWTiiwCHGlzYg.PNG.drvoss/3.png&quot;, &quot;originalWidth&quot; : &quot;909&quot;, &quot;originalHeight&quot; : &quot;724&quot;, &quot;linkUse&quot; : &quot;false&quot;, &quot;link&quot; : &quot;&quot;}">
                                        <img src="https://mblogthumb-phinf.pstatic.net/MjAyNDAyMTlfMTYg/MDAxNzA4MjcwMjY4NjYx.gNe237YFLXtMvKojm8zx0yCbG-T0gLzmg8syx2WMj70g.BiWQE-pl4QzzjA09jrawFxVeJ3SLOLVFWTiiwCHGlzYg.PNG.drvoss/3.png?type=w800" data-width="693" data-height="551" alt="">
                                    </a>
                                </p>
                        </div>
                <div id="SE-325da308-abd4-4bda-8493-eabf2515a370">
                                    <p id="SE-ffec6a12-2116-4610-bce0-06a68a0aa445"><span id="SE-295bccdd-0d49-443a-985a-01e798e65950">새로운 파일 형식 식별 라이브러리의 출현을 환영하며, 어떻게 발전할지 기대됩니다.</span></p><p id="SE-664db525-9fdd-437f-bd5e-c3181aba1160"><span id="SE-0425e403-59a6-4492-ba71-949658be0fdb">​</span></p>
                            </div>                                    </div></div>

내 성격 100% 활용하기 -上-

파일 형식을 식별해야 하는 이유는 컴퓨터 역사 초기부터 필요했던 기능으로, libmagic이 수십 년간 디펙토 표준이었습니다. 최근에는 웹브라우저나 개발용 IDE에서 처리하거나 악성코드 탐지 대상 선정 및 백업 전 효율 높은 압축 알고리즘 적용 등 각종 다양한 분야를 위해 정밀한 탐지의 필요가 끊이지 않습니다. 하지만 파일의 형식을 정확하게 식별한다는 것은 사실상 불가능하기 때문에, libmagic은 온갖 휴리스틱 규칙과 매직 값 식별 등을 총동원하여 결과를 도출해 냅니다. 리눅스 도구 file이 이에 래퍼입니다. 파일의 종류를 출력해 줍니다. 딥러닝 기술이 등장하면서 파일을 식별하는 문제에도 AI 기술이 접목되는 건 시간문제였습니.......

딥러닝 기반의 파일 형식 식별 모델 Magika

댓글