<div id="readability-page-1" class="page"><div><p>저번 Quick 리뷰 글에 이어 계속해서 작성한다.<br>이번 글은 MLflow 에서 제공하는 Automatic Logging 기능 예제들을 살펴본다.</p>

<hr contenteditable="false" data-ke-type="horizontalRule" data-ke-style="style2">
<h2>사전 준비</h2>
<p>다음이 사전에 준비 되어 있어야 한다.</p>
<pre data-ke-language="python"><code># 파이썬 버전 확인
$ python --version
Python 3.8.7

# mlflow 설치 &amp; 버전 확인
$ pip install mlflow
$ mlflow --version
mlflow, version 1.16.0

# 예제 파일을 위한 mlflow repo clone
$ git clone https://github.com/mlflow/mlflow.git
$ cd mlflow/examples</code></pre>

<hr contenteditable="false" data-ke-type="horizontalRule" data-ke-style="style2">
<h2>예제 살펴보기</h2>
<h3><code>linear_regression.py</code></h3>
<p><code>examples</code> 내에 있는 많은 예제 중, <code>skelarn_autolog</code> 를 사용해보자.<br>먼저 <code>sklearn</code> 을 설치해준다.</p>
<pre data-ke-language="html"><code># sklearn 설치 &amp; 버전 확인
$ pip install sklearn
$ python -c "import sklearn; print(sklearn.__version__)"
0.24.2</code></pre>
<p><code>skelarn_autolog/linear_regression.py</code> 를 보면 다음처럼 생겼다.</p>
<pre data-ke-language="python"><code># skelarn_autolog/linear_regression.py

from pprint import pprint

import numpy as np
from sklearn.linear_model import LinearRegression

import mlflow
from utils import fetch_logged_data


def main():
    # enable autologging
    mlflow.sklearn.autolog()

    # prepare training data
    X = np.array([[1, 1], [1, 2], [2, 2], [2, 3]])
    y = np.dot(X, np.array([1, 2])) + 3

    # train a model
    model = LinearRegression()
    with mlflow.start_run() as run:
        model.fit(X, y)
        print("Logged data and model in run {}".format(run.info.run_id))

    # show logged data
    for key, data in fetch_logged_data(run.info.run_id).items():
        print("\n---------- logged {} - ---------".format(key))
        pprint(data)


if __name__ == "__main__":
    main()</code></pre>
<p>소스코드가 아주 간결하고 잘 설명되어 있다. 내용은 Linear Regression을 사용하는 간단한 머신러닝 코드다.<br>여기서는 2가지 코드가 눈에 띈다.</p>
<ul>
<li><code>mlflow.sklearn.autolog()</code>
<ul>
<li>Automatic Logging 기능을 사용하는 설정이다.</li>
<li>코드 앞부분에 들어가야 한다.</li>
</ul>
</li>
<li><code>with mlflow.start_run() as run:</code>
<ul>
<li>MLflow 의 실행(run) 의 시작을 알리는 컨텍스트 매니저 구문이다.</li>
<li><code>run</code> 에는 실행과 관련된 내용이 들어간다.</li>
</ul>
</li>
</ul>
<p>이제 다음 명령어로 실행해보자.</p>
<pre data-ke-language="html"><code>$ python sklearn_autolog/linear_regression.py</code></pre>
<figure data-filename="image-20210501142931986.png" data-origin-width="2064" data-origin-height="1488" data-ke-mobilestyle="widthContent"><span data-url="https://blog.kakaocdn.net/dn/ypRoq/btq3TytpJMO/K3Krk2hrYuRtMNOQsKBPn0/img.png" data-lightbox="lightbox" data-alt=""><img src="https://blog.kakaocdn.net/dn/ypRoq/btq3TytpJMO/K3Krk2hrYuRtMNOQsKBPn0/img.png" data-filename="image-20210501142931986.png" data-origin-width="2064" data-origin-height="1488" data-ke-mobilestyle="widthContent"></span></figure>
<p>실행하고 나면 위와같은 출력이 나온다.<br><code>warning</code> 은 일단 무시하면 될듯하고.. 로그를 좀 살펴보면, <code>run_id</code> 가 <code>8f93587bcd384c198daee5aaef6f5c4b</code> 로 생성되었고, 다음 사항들이 자동으로 기록한 것을 알 수 있다.</p>
<ul>
<li><code>params</code>
<ul>
<li>모델 생성(위에서는 <code>LinearRegression</code>)에 사용하는 <code>params</code> 를 기록한다.</li>
<li>부연 설명하면... <code>copy_X</code>, <code>fit_intercept</code> 등의 파라미터는 <code>LinearRegression</code> 의 <code>__init__</code> 파라미터다.</li>
</ul>
</li>
<li><code>metrics</code>
<ul>
<li>모델 훈련 중에 평가하는 <code>metrics</code>를 기록한다.</li>
<li>위의 경우, <code>mae</code>, <code>mse</code>, <code>r2_score</code>, <code>rmse</code>, <code>score</code> (이건 뭔지 모르겠다.) 를 모두 기록해주었다.</li>
</ul>
</li>
<li><code>tags</code>
<ul>
<li>이 실행에 관련된 <code>tag</code> 를 기록한다.</li>
<li>기본적으로 모델의 패키지와 클래스 이름을 기록한다.</li>
</ul>
</li>
<li><code>artifacts</code>
<ul>
<li>실행에 대한 메타 정보와 모델 파일을 기록한다.</li>
</ul>
</li>
</ul>
<p>실제로 잘 생성되었는지 <code>mlruns/</code> 에서 확인해보자.</p>
<pre data-ke-language="html"><code>$ tree mlruns/</code></pre>
<figure data-filename="image-20210501143223451.png" data-origin-width="1952" data-origin-height="1488" data-ke-mobilestyle="widthContent"><span data-url="https://blog.kakaocdn.net/dn/cdubau/btq3S9U53SQ/zrPhgPuo7ZOKkjsnYiKeC1/img.png" data-lightbox="lightbox" data-alt=""><img src="https://blog.kakaocdn.net/dn/cdubau/btq3S9U53SQ/zrPhgPuo7ZOKkjsnYiKeC1/img.png" data-filename="image-20210501143223451.png" data-origin-width="1952" data-origin-height="1488" data-ke-mobilestyle="widthContent"></span></figure>
<p><code>8f93587bcd384c198daee5aaef6f5c4b</code> 디렉토리에 각종 내용들이 로깅된 파일들이 있는 것을 볼 수 있다.<br>실제 어떤 값들이 들어가있는지 쉽게 보기위해 웹서버로 접속해서 봐보자.</p>
<pre data-ke-language="html"><code>$ mlflow ui
[2021-05-01 14:36:15 +0900] [87757] [INFO] Starting gunicorn 20.1.0
[2021-05-01 14:36:15 +0900] [87757] [INFO] Listening at: http://127.0.0.1:5000 (87757)
[2021-05-01 14:36:15 +0900] [87757] [INFO] Using worker: sync
[2021-05-01 14:36:15 +0900] [87759] [INFO] Booting worker with pid: 87759</code></pre>
<figure data-origin-width="3584" data-origin-height="2274" data-filename="image-20210501143727279.png" data-ke-mobilestyle="widthContent"><span data-url="https://blog.kakaocdn.net/dn/bkJBwV/btq3VOoiBIi/TK3N59LhKWPBXCQkVN2kV1/img.png" data-lightbox="lightbox" data-alt=""><img src="https://blog.kakaocdn.net/dn/bkJBwV/btq3VOoiBIi/TK3N59LhKWPBXCQkVN2kV1/img.png" data-origin-width="3584" data-origin-height="2274" data-filename="image-20210501143727279.png" data-ke-mobilestyle="widthContent"></span></figure>
<p><code>params</code> , <code>metrics</code>, <code>tags</code> 등을 좀 더 자세히 확인해보기 위해 <code>sklearn</code> 모델을 클릭하여 실행 상세 페이지에 들어가보자.</p>
<figure data-filename="image-20210501143912924.png" data-origin-width="3584" data-origin-height="2274" data-ke-mobilestyle="widthContent"><span data-url="https://blog.kakaocdn.net/dn/9CLPn/btq3SZE3CTz/wzHTBe69Q4Omx2uSChMKT0/img.png" data-lightbox="lightbox" data-alt=""><img src="https://blog.kakaocdn.net/dn/9CLPn/btq3SZE3CTz/wzHTBe69Q4Omx2uSChMKT0/img.png" data-filename="image-20210501143912924.png" data-origin-width="3584" data-origin-height="2274" data-ke-mobilestyle="widthContent"></span></figure>
<p>위에서 출력한 내용들이 모두 잘 들어가있는 것을 볼 수 있다.</p>
<h3><code></code></h3>
<h3><code>pipeline.py</code></h3>
<p>이번엔 <code>skelarn_autolog/pipeline.py</code> 예제를 살펴보자.<br>이 파일은 다음처럼 생겼다.</p>
<pre data-ke-language="python"><code>from pprint import pprint

import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline

import mlflow
from utils import fetch_logged_data


def main():
    # enable autologging
    mlflow.sklearn.autolog()

    # prepare training data
    X = np.array([[1, 1], [1, 2], [2, 2], [2, 3]])
    y = np.dot(X, np.array([1, 2])) + 3

    # train a model
    pipe = Pipeline([("scaler", StandardScaler()), ("lr", LinearRegression())])
    with mlflow.start_run() as run:
        pipe.fit(X, y)
        print("Logged data and model in run: {}".format(run.info.run_id))

    # show logged data
    for key, data in fetch_logged_data(run.info.run_id).items():
        print("\n---------- logged {} ----------".format(key))
        pprint(data)


if __name__ == "__main__":
    main()</code></pre>
<p><code>sklearn.pipeline.Pipeline</code> 을 사용하는 간단한 머신러닝 코드다.<br>바로 실행해보자.</p>
<pre data-ke-language="html"><code>$ python sklearn_autolog/pipeline.py</code></pre>
<figure data-origin-width="2120" data-origin-height="1590" data-filename="image-20210501145855792.png" data-ke-mobilestyle="widthContent"><span data-url="https://blog.kakaocdn.net/dn/dgZlYp/btq3Us7iKHh/YHsyysqxIeDQjRLvivaS20/img.png" data-lightbox="lightbox" data-alt=""><img src="https://blog.kakaocdn.net/dn/dgZlYp/btq3Us7iKHh/YHsyysqxIeDQjRLvivaS20/img.png" data-origin-width="2120" data-origin-height="1590" data-filename="image-20210501145855792.png" data-ke-mobilestyle="widthContent"></span></figure>
<p><code>logged_params</code> 를 보면 <code>Pipeline</code> 에 들어가는 모든 파라미터를 기록하는 것을 볼 수 있다.<br>기록된 값 역시 <code>mlruns/</code> 에 저장된다.</p>
<h3><code></code></h3>
<h3><code>grid_search_cv.py</code></h3>
<p>마지막으로, <code>skelarn_autolog/grid_search_cv.py</code> 예제를 살펴보자.<br>다음처럼 생겼다.</p>
<pre data-ke-language="python"><code>from pprint import pprint

import pandas as pd
from sklearn import svm, datasets
from sklearn.model_selection import GridSearchCV

import mlflow
from utils import fetch_logged_data


def main():
    mlflow.sklearn.autolog()

    iris = datasets.load_iris()
    parameters = {"kernel": ("linear", "rbf"), "C": [1, 10]}
    svc = svm.SVC()
    clf = GridSearchCV(svc, parameters)

    with mlflow.start_run() as run:
        clf.fit(iris.data, iris.target)

    # show data logged in the parent run
    print("========== parent run ==========")
    for key, data in fetch_logged_data(run.info.run_id).items():
        print("\n---------- logged {} ----------".format(key))
        pprint(data)

    # show data logged in the child runs
    filter_child_runs = "tags.mlflow.parentRunId = '{}'".format(run.info.run_id)
    runs = mlflow.search_runs(filter_string=filter_child_runs)
    param_cols = ["params.{}".format(p) for p in parameters.keys()]
    metric_cols = ["metrics.mean_test_score"]

    print("\n========== child runs ==========\n")
    pd.set_option("display.max_columns", None)  # prevent truncating columns
    print(runs[["run_id", *param_cols, *metric_cols]])


if __name__ == "__main__":
    main()</code></pre>
<p><code>iris</code> 데이터셋을 사용하고, <code>svm</code> 모델을 사용하는데, 이 때 <code>GridSearchCV</code> 를 사용하여 최적의 모델 파라미터를 찾는 머신러닝 코드다.<br><code># show data logged in the parent run</code> 아래 부분은 뭔가 양이 많은데, 그냥 로깅된 내용을 출력해주는 부분이므로, 여기서는 주의 깊게 봐지 않아도 된다.</p>
<p>아무튼 이 코드도 실행해보자.</p>
<pre data-ke-language="html"><code>$ python sklearn_autolog/grid_search_cv.py</code></pre>
<figure data-origin-width="1852" data-origin-height="2012" data-filename="image-20210501150904876.png" data-ke-mobilestyle="widthContent"><span data-url="https://blog.kakaocdn.net/dn/dqFLCH/btq3TgT2iY7/KyGIk2tJt9c45psFj9bGP0/img.png" data-lightbox="lightbox" data-alt=""><img src="https://blog.kakaocdn.net/dn/dqFLCH/btq3TgT2iY7/KyGIk2tJt9c45psFj9bGP0/img.png" data-origin-width="1852" data-origin-height="2012" data-filename="image-20210501150904876.png" data-ke-mobilestyle="widthContent"></span></figure>
<p>출력된 내용을 보면 크게 <code>parent run</code> 과 <code>child runs</code> 으로 구성해볼 수 있다.<br><code>parent run</code> 에서는 전체 파이프라인에 들어간 파라미터 값들을 기록하고, 또 이 <code>GridSearch</code> 를 통해 찾은 최적의 파라미터 값을 기록한다. (<code>best_C</code>, <code>best_kernel</code> ).<br><code>child runs</code> 에서는 <code>GridSearch</code> 진행할 때 각각 파라미터 경우의 수대로 <code>run</code> 들을 실행하고 기록한 모습을 볼 수 있다. 이 때 <code>child runs</code> 들도 각각 하나의 <code>run</code> 이 되므로 <code>run_id</code> 를 가지게 된다. 즉 <code>GridSearch</code> 에서 파라미터 조합의 경우의 수가 많아지면, 그만큼의 실행(<code>run</code>) 이 생기게 된다.</p>
<p>실제 <code>mlruns</code> 를 확인해보면 이 <code>child run</code> 들이 생긴 것을 볼 수 있다.<br>(다만 <code>parent run</code> 과 별다른 디렉토리 구분은 없다. 즉 누가 <code>child run</code> 인지 디렉토리 구조로는 파악이 잘 안된다.)</p>
<figure data-filename="image-20210501151749642.png" data-origin-width="1852" data-origin-height="1704" data-ke-mobilestyle="widthContent"><span data-url="https://blog.kakaocdn.net/dn/8CRWV/btq3UszsK31/WYRLcDHOdL2EJenlafjMQk/img.png" data-lightbox="lightbox" data-alt=""><img src="https://blog.kakaocdn.net/dn/8CRWV/btq3UszsK31/WYRLcDHOdL2EJenlafjMQk/img.png" data-filename="image-20210501151749642.png" data-origin-width="1852" data-origin-height="1704" data-ke-mobilestyle="widthContent"></span></figure>
<p>그렇다면 웹서버에서는 어떻게 보여줄까?<br>웹서버에서도 <code>child run</code> 들을 <code>parent run</code> 들과 구분 없이 보여줄까?<br>이를 확인하기 위해 웹서버로 접속해서 확인해보자.</p>
<figure data-filename="image-20210501152033250.png" data-origin-width="3584" data-origin-height="2274" data-ke-mobilestyle="widthContent"><span data-url="https://blog.kakaocdn.net/dn/bvwlZA/btq3UHpCXnQ/qyFgPOSpQDTy9d9CT5crKK/img.png" data-lightbox="lightbox" data-alt=""><img src="https://blog.kakaocdn.net/dn/bvwlZA/btq3UHpCXnQ/qyFgPOSpQDTy9d9CT5crKK/img.png" data-filename="image-20210501152033250.png" data-origin-width="3584" data-origin-height="2274" data-ke-mobilestyle="widthContent"></span></figure>
<p>재밌게도 웹서버에서는 <code>parent run</code> 만 보인다.<br><code>grid_search_cv.py</code> 가 있는 행에 <code>+</code> 버튼을 눌러보면 아래와 같이 <code>child runs</code> 가 나온다.</p>
<figure data-origin-width="3584" data-origin-height="2274" data-filename="image-20210501152156812.png" data-ke-mobilestyle="widthContent"><span data-url="https://blog.kakaocdn.net/dn/dM7EKn/btq3S0cR2Fu/9Q1O9YW11RZR45SNgKZz61/img.png" data-lightbox="lightbox" data-alt=""><img src="https://blog.kakaocdn.net/dn/dM7EKn/btq3S0cR2Fu/9Q1O9YW11RZR45SNgKZz61/img.png" data-origin-width="3584" data-origin-height="2274" data-filename="image-20210501152156812.png" data-ke-mobilestyle="widthContent"></span></figure>
<p><code>run</code> 자체는 <code>GridSearch</code> 에 맞게 독립적으로 여러 개로 생성하되, <code>run</code> 간에 Parent, Child 관계를 가질 수 있는 것이다.<br><code>parent_run_id</code> 로 <code>mlruns</code> 디렉토리를 검색해보면, 이러한 관계가 어떻게 구성될 수 있는지 알 수 있다.</p>
<figure data-filename="image-20210501152748266.png" data-origin-width="3258" data-origin-height="1970" data-ke-mobilestyle="widthContent"><span data-url="https://blog.kakaocdn.net/dn/lUy6G/btq3USxUnNs/vq0gYvhkRc9nYw8zFZekFK/img.png" data-lightbox="lightbox" data-alt=""><img src="https://blog.kakaocdn.net/dn/lUy6G/btq3USxUnNs/vq0gYvhkRc9nYw8zFZekFK/img.png" data-filename="image-20210501152748266.png" data-origin-width="3258" data-origin-height="1970" data-ke-mobilestyle="widthContent"></span></figure>
<p><code>mlruns</code> 에서 <code>child run</code> 의 디렉토리 구조를 살펴보면 <code>tags/mlflow.parentRunId</code> 가 있는 것을 볼 수 있다.<br>그리고 이 파일에 위 사진처럼 부모 <code>run_id</code> 가 기록되어 있다. (<code>b09de55d441e4a6ea0386f45c58dd96c</code> 는 <code>dc302019f7fb45ffa82165fcd679b84a</code> 의 <code>parent run</code> 이다.)</p>
<p>그리고 <code>child run</code> 은 <code>artifact</code> 과 관련하여 어떤 것도 기록하지 않고, <code>metrics</code>, <code>params</code>, <code>tags</code> 만 기록한다. <code>artifacts</code> 는 최종적으로 최적화된 모델을 사용하는 <code>parent run</code> 에서만 기록한다.</p>
<hr contenteditable="false" data-ke-type="horizontalRule" data-ke-style="style2">
<h2>정리</h2>
<ul>
<li><code>mlflow.sklearn.autolog()</code> 기능으로 로깅 함수를 쓰지 않아도 자동 로깅을 사용할 수 있다.
<ul>
<li><code>autolog()</code> 는 머신러닝 프레임워크별로 지원한다. 이에 대한 내용은 <a href="https://mlflow.org/docs/latest/tracking.html#automatic-logging">여기</a>에서 확인하자.</li>
<li><code>artifacts</code> ,<code>params</code>, <code>metrics</code>, <code>tags</code> 등을 모두 기록한다.</li>
</ul>
</li>
<li><code>GridSearch</code> 를 쓰는 경우 여러 개의 <code>run</code> 들을 만들어 실행하고 기록한다.
<ul>
<li><code>run</code> 은 <code>parent run</code> 과 <code>child run</code> 으로 구성된다.</li>
<li><code>child run</code> 은 <code>GridSearch</code> 에 사용되는 파라미터 별로 실행한다.</li>
<li><code>parent run</code> 은 <code>child run</code> 중 가장 최적화된 파라미터를 가지고 실행한다.</li>
<li><code>parent run</code> 만 <code>artifacts</code> 를 기록한다.</li>
<li>웹서버에서도 <code>parent</code> - <code>child</code> 구조를 확인할 수 있다.</li>
</ul>
</li>
</ul>
<p>이전 글에서 모델러가 로깅을 위해 <code>mlflow</code> 를 알고 써야하는 의존성에 대해서 걱정했었는데, 자동 로깅 기능을 사용하면 이러한 걱정이 좀 많이 내려가지 않을까 싶다.</p>            </div></div>

하나씩 점을 찍어 나가며

저번 Quick 리뷰 글에 이어 계속해서 작성한다.
이번 글은 MLflow 에서 제공하는 Automatic Logging 기능 예제들을 살펴본다.
 
사전 준비
다음이 사전에 준비 되어 있어야 한다.
# 파이썬 버전 확인
$ python --version
Python 3.8.7
# mlflow 설치 & 버전 확인
$ pip install mlflow
$ mlflow --version
mlflow, version 1.16.0
# 예제 파일을 위한 mlflow repo clone
$ git clone https://github.com/mlflow/mlflow.git
$ cd mlflow/examples
 
예제 살펴보기
linear_regression.py
examples 내에 있는 많은 예제 중, skelarn_autolog 를 사용해보자.
먼저 sklearn 을 설치해준다.
# sklearn 설치 & 버전 확인
$ pip install sklearn
$ python -c "import sklearn; print(sklearn.__version__)"
0.24.2
skelarn_autolog/linear_regression.py 를 보면 다음처럼 생겼다.
# skelarn_autolog/linear_regression.py
from pprint import pprint
import numpy as np
from sklearn.linear_model import LinearRegression
import mlflow
from utils import fetch_logged_data
def main():
    # enable autologging
    mlflow.sklearn.autolog()
    # prepare training data
    X = np.array([[1, 1], [1, 2], [2, 2], [2, 3]])
    y = np.dot(X, np.array([1, 2])) + 3
    # train a model
    model = LinearRegression()
    with mlflow.start_run() as run:
        model.fit(X, y)
        print("Logged data and model in run {}".format(run.info.run_id))
    # show logged data
    for key, data in fetch_logged_data(run.info.run_id).items():
        print("\n---------- logged {} - ---------".format(key))
        pprint(data)
if __name__ == "__main__":
    main()
소스코드가 아주 간결하고 잘 설명되어 있다. 내용은 Linear Regression을 사용하는 간단한 머신러닝 코드다.
여기서는 2가지 코드가 눈에 띈다.
mlflow.sklearn.autolog()
Automatic Logging 기능을 사용하는 설정이다.
코드 앞부분에 들어가야 한다.
with mlflow.start_run() as run:
MLflow 의 실행(run) 의 시작을 알리는 컨텍스트 매니저 구문이다.
run 에는 실행과 관련된 내용이 들어간다.
이제 다음 명령어로 실행해보자.
$ python sklearn_autolog/linear_regression.py
실행하고 나면 위와같은 출력이 나온다.
warning 은 일단 무시하면 될듯하고.. 로그를 좀 살펴보면, run_id 가 8f93587bcd384c198daee5aaef6f5c4b 로 생성되었고, 다음 사항들이 자동으로 기록한 것을 알 수 있다.
params
모델 생성(위에서는 LinearRegression)에 사용하는 params 를 기록한다.
부연 설명하면... copy_X, fit_intercept 등의 파라미터는 LinearRegression 의 __init__ 파라미터다.
metrics
모델 훈련 중에 평가하는 metrics를 기록한다.
위의 경우, mae, mse, r2_score, rmse, score (이건 뭔지 모르겠다.) 를 모두 기록해주었다.
tags
이 실행에 관련된 tag 를 기록한다.
기본적으로 모델의 패키지와 클래스 이름을 기록한다.
artifacts
실행에 대한 메타 정보와 모델 파일을 기록한다.
실제로 잘 생성되었는지 mlruns/ 에서 확인해보자.
$ tree mlruns/
8f93587bcd384c198daee5aaef6f5c4b 디렉토리에 각종 내용들이 로깅된 파일들이 있는 것을 볼 수 있다.
실제 어떤 값들이 들어가있는지 쉽게 보기위해 웹서버로 접속해서 봐보자.
$ mlflow ui
[2021-05-01 14:36:15 +0900] [87757] [INFO] Starting gunicorn 20.1.0
[2021-05-01 14:36:15 +0900] [87757] [INFO] Listening at: http://127.0.0.1:5000 (87757)
[2021-05-01 14:36:15 +0900] [87757] [INFO] Using worker: sync
[2021-05-01 14:36:15 +0900] [87759] [INFO] Booting worker with pid: 87759
params , metrics, tags 등을 좀 더 자세히 확인해보기 위해 sklearn 모델을 클릭하여 실행 상세 페이지에 들어가보자.
위에서 출력한 내용들이 모두 잘 들어가있는 것을 볼 수 있다.
pipeline.py
이번엔 skelarn_autolog/pipeline.py 예제를 살펴보자.
이 파일은 다음처럼 생겼다.
from pprint import pprint
import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline
import mlflow
from utils import fetch_logged_data
def main():
    # enable autologging
    mlflow.sklearn.autolog()
    # prepare training data
    X = np.array([[1, 1], [1, 2], [2, 2], [2, 3]])
    y = np.dot(X, np.array([1, 2])) + 3
    # train a model
    pipe = Pipeline([("scaler", StandardScaler()), ("lr", LinearRegression())])
    with mlflow.start_run() as run:
        pipe.fit(X, y)
        print("Logged data and model in run: {}".format(run.info.run_id))
    # show logged data
    for key, data in fetch_logged_data(run.info.run_id).items():
        print("\n---------- logged {} ----------".format(key))
        pprint(data)
if __name__ == "__main__":
    main()
sklearn.pipeline.Pipeline 을 사용하는 간단한 머신러닝 코드다.
바로 실행해보자.
$ python sklearn_autolog/pipeline.py
logged_params 를 보면 Pipeline 에 들어가는 모든 파라미터를 기록하는 것을 볼 수 있다.
기록된 값 역시 mlruns/ 에 저장된다.
grid_search_cv.py
마지막으로, skelarn_autolog/grid_search_cv.py 예제를 살펴보자.
다음처럼 생겼다.
from pprint import pprint
import pandas as pd
from sklearn import svm, datasets
from sklearn.model_selection import GridSearchCV
import mlflow
from utils import fetch_logged_data
def main():
    mlflow.sklearn.autolog()
    iris = datasets.load_iris()
    parameters = {"kernel": ("linear", "rbf"), "C": [1, 10]}
    svc = svm.SVC()
    clf = GridSearchCV(svc, parameters)
    with mlflow.start_run() as run:
        clf.fit(iris.data, iris.target)
    # show data logged in the parent run
    print("========== parent run ==========")
    for key, data in fetch_logged_data(run.info.run_id).items():
        print("\n---------- logged {} ----------".format(key))
        pprint(data)
    # show data logged in the child runs
    filter_child_runs = "tags.mlflow.parentRunId = '{}'".format(run.info.run_id)
    runs = mlflow.search_runs(filter_string=filter_child_runs)
    param_cols = ["params.{}".format(p) for p in parameters.keys()]
    metric_cols = ["metrics.mean_test_score"]
    print("\n========== child runs ==========\n")
    pd.set_option("display.max_columns", None)  # prevent truncating columns
    print(runs[["run_id", *param_cols, *metric_cols]])
if __name__ == "__main__":
    main()
iris 데이터셋을 사용하고, svm 모델을 사용하는데, 이 때 GridSearchCV 를 사용하여 최적의 모델 파라미터를 찾는 머신러닝 코드다.
# show data logged in the parent run 아래 부분은 뭔가 양이 많은데, 그냥 로깅된 내용을 출력해주는 부분이므로, 여기서는 주의 깊게 봐지 않아도 된다.
아무튼 이 코드도 실행해보자.
$ python sklearn_autolog/grid_search_cv.py
출력된 내용을 보면 크게 parent run 과 child runs 으로 구성해볼 수 있다.
parent run 에서는 전체 파이프라인에 들어간 파라미터 값들을 기록하고, 또 이 GridSearch 를 통해 찾은 최적의 파라미터 값을 기록한다. (best_C, best_kernel ).
child runs 에서는 GridSearch 진행할 때 각각 파라미터 경우의 수대로 run 들을 실행하고 기록한 모습을 볼 수 있다. 이 때 child runs 들도 각각 하나의 run 이 되므로 run_id 를 가지게 된다. 즉 GridSearch 에서 파라미터 조합의 경우의 수가 많아지면, 그만큼의 실행(run) 이 생기게 된다.
실제 mlruns 를 확인해보면 이 child run 들이 생긴 것을 볼 수 있다.
(다만 parent run 과 별다른 디렉토리 구분은 없다. 즉 누가 child run 인지 디렉토리 구조로는 파악이 잘 안된다.)
그렇다면 웹서버에서는 어떻게 보여줄까?
웹서버에서도 child run 들을 parent run 들과 구분 없이 보여줄까?
이를 확인하기 위해 웹서버로 접속해서 확인해보자.
재밌게도 웹서버에서는 parent run 만 보인다.
grid_search_cv.py 가 있는 행에 + 버튼을 눌러보면 아래와 같이 child runs 가 나온다.
run 자체는 GridSearch 에 맞게 독립적으로 여러 개로 생성하되, run 간에 Parent, Child 관계를 가질 수 있는 것이다.
parent_run_id 로 mlruns 디렉토리를 검색해보면, 이러한 관계가 어떻게 구성될 수 있는지 알 수 있다.
mlruns 에서 child run 의 디렉토리 구조를 살펴보면 tags/mlflow.parentRunId 가 있는 것을 볼 수 있다.
그리고 이 파일에 위 사진처럼 부모 run_id 가 기록되어 있다. (b09de55d441e4a6ea0386f45c58dd96c 는 dc302019f7fb45ffa82165fcd679b84a 의 parent run 이다.)
그리고 child run 은 artifact 과 관련하여 어떤 것도 기록하지 않고, metrics, params, tags 만 기록한다. artifacts 는 최종적으로 최적화된 모델을 사용하는 parent run 에서만 기록한다.
정리
mlflow.sklearn.autolog() 기능으로 로깅 함수를 쓰지 않아도 자동 로깅을 사용할 수 있다.
autolog() 는 머신러닝 프레임워크별로 지원한다. 이에 대한 내용은 여기에서 확인하자.
artifacts ,params, metrics, tags 등을 모두 기록한다.
GridSearch 를 쓰는 경우 여러 개의 run 들을 만들어 실행하고 기록한다.
run 은 parent run 과 child run 으로 구성된다.
child run 은 GridSearch 에 사용되는 파라미터 별로 실행한다.
parent run 은 child run 중 가장 최적화된 파라미터를 가지고 실행한다.
parent run 만 artifacts 를 기록한다.
웹서버에서도 parent - child 구조를 확인할 수 있다.
이전 글에서 모델러가 로깅을 위해 mlflow 를 알고 써야하는 의존성에 대해서 걱정했었는데, 자동 로깅 기능을 사용하면 이러한 걱정이 좀 많이 내려가지 않을까 싶다.

MLflow - Automatic logging

댓글