<div id="readability-page-1" class="page"><div>
    <div>
        
        
        <h2>
            MySQL TableSpace 삽질
        </h2>
        
        <h3>
            2023-02-11
        </h3>
        
    </div>
    

    
    


    
    
    

    <h2 id="문제-발생">문제 발생</h2>

<p>최근 서비스의 Database 용량이 차오르면서 저장 공간을 늘려야 하는 이슈를 맞닥드렸습니다.</p>

<p>하지만 지금 사용중인 서비스에선 Disk 만 늘릴 수 있는 기능을 제공하지 않고 있어 서버의 저장 공간을 늘리면,<br>
사용하지도 않을 CPU/RAM 이 늘어나는 비효율적인 <del>(제가 못참는)</del> 비용이 발생하다보니, 다른 방안이 필요한 상황입니다.</p>

<h2 id="고민">고민</h2>

<p>이 부분을 어떻게 해결할지 고민 하던 중 Table의 Data Directory를 수정할 수 있는 방법이 있었으나, MySQL8에선 Alter Table 이 지원되지 않는다고 합니다. <a href="https://dev.mysql.com/doc/refman/8.0/en/alter-table.html#alter-table-options">[문서]</a></p>

<p>MySQL에 TableSpace 를 지정할 수 있는 부분을 찾았고,<br>
기존의 용량이 큰 테이블만, Block Storage 를 통해 관리하면, 사용하는 용량 만큼 데이터를 제공할 수 있다는 생각에 실행으로 옮겼습니다.</p>

<h2 id="계획">계획</h2>

<blockquote>
  <ol>
    <li>Block Storage 를 DB 인스턴스에 붙인다.</li>
    <li>/mnt/data 에 Block Storage 를 마운트 한다.</li>
    <li>MySQL에서 용량이 큰 테이블의 저장 위치를 /mnt/data 로 옮긴다.</li>
  </ol>
</blockquote>

<p>계획은 간단했으나, <del>(말은 쉽지)</del> 막상 준비하면서 여러 어려움이 있었습니다.<br>
특히 apparmor 때문에 고생했습니다.</p>

<h2 id="사전-작업">사전 작업</h2>

<h3 id="innodb_file_per_table-활성화">innodb_file_per_table 활성화</h3>

<p>먼저 각 테이블별로 파일로 분리되어 있지 않으면, 모든 데이터를 옮겨야하기에 테이블을 각 파일별로 분리할 필요가 있습니다.</p>

<p>다행히 제가 사용중인 <code>MySQL 8.0</code> 은 기본적으로 <code>innodb_file_per_table</code> 설정이 활성화 되어있습니다.</p>

<pre><code>SELECT @@innodb_file_per_table; -- result: 1
</code></pre>

<h3 id="mount-block-storage">Mount Block storage</h3>

<h4 id="파티션-생성">파티션 생성</h4>

<ol>
  <li><code>parted</code> 명령어를 통해 파티션을 생성합니다.</li>
</ol>

<div><pre><code><span>$ </span>parted <span>-s</span> /dev/vdb mklabel gpt
<span>$ </span>parted <span>-s</span> /dev/vdb unit mib mkpart primary 0% 100%
</code></pre></div>

<ol>
  <li>생성된 파티션을 ext4로 포맷합니다.<br>
다른 파일 시스템도 상관은 없으나, 해당 파일 시스템을 MySQL이 지원하는지 확인 해야합니다.</li>
</ol>



<h4 id="파티션-마운트">파티션 마운트</h4>

<ul>
  <li>마운트할 위치를 만듭니다.</li>
</ul>



<ul>
  <li><code>/etc/fstab</code> 에 기록해 부팅시 자동으로 마운트 되게 합니다.</li>
</ul>



<div><pre><code><span># Mount Block Storage
</span>/<span>dev</span>/<span>vdb1</span> /<span>mnt</span>/<span>data</span> <span>ext4</span> <span>defaults</span>,<span>noatime</span>,<span>nofail</span> <span>0</span> <span>0</span>
</code></pre></div>

<ul>
  <li><code>mount /mnt/data</code> 를 이용해 마운트 합니다.</li>
</ul>

<p>이렇게 Block Storage 준비는 모두 완료 되었습니다.</p>

<h3 id="mysql-설정-변경">MySQL 설정 변경</h3>

<h4 id="innodb_directories-설정"><code>innodb_directories</code> 설정</h4>

<p>MySQL 8에선 <code>innodb_directories</code> 에 등록되지 않은 디렉토리는 테이블 스페이스로  사용할 수 없습니다. 이를 위해 등록을 해줘야하고, MySQL 또한 재시작이 필요합니다.</p>

<div><pre><code>vi /etc/mysql/mysql.conf.d/mysqld.conf
</code></pre></div>

<div><pre><code><span>innodb_directories</span>=<span>'/mnt/data'</span>
</code></pre></div>

<p><code>innodb_directories</code> 설정은 <code>;</code> 을 통해 여러 경로를 지정할 수 있습니다.<br>
예를들어 <code>/mnt/data;/data</code> 이렇게 등록하면 <code>/mnt/data</code> 와 <code>/data</code> 를 모두 테이블 스페이스로 사용할 수 있습니다.</p>

<p><code>innodb_directories</code> 옵션에 자세한 사항은 <a href="https://dev.mysql.com/doc/refman/8.0/en/innodb-parameters.html#sysvar_innodb_directories">MySQL 문서</a>를 확인해주세요!</p>

<h4 id="디렉토리-권한-수정">디렉토리 권한 수정</h4>

<p>이번에 마운트한 Block Storage인 <code>/mnt/data</code> 에 MySQL 이 읽고 쓸수 있는 권한이 필요합니다.</p>

<div><pre><code><span>$ </span><span>chown </span>mysql:mysql <span>-R</span> /mnt/data
</code></pre></div>
<hr>
<h4 id="비상"><del>비상!</del></h4>

<p>분명히 모든 설정을 해줫는데도 mysql 데몬이 데이터를 못쓰는 경우가 발생합니다.<br>
심지어 <code>sudo -u mysql touch /mnt/data/test.ibd</code> 로 파일 생성을 하면, mysql의 권한으로 파일이 생성됩니다.</p>

<p>권한 문제도 아니고.. error.log 를 보면 권한 오류만이 표시되어있습니다.</p>

<h4 id="해결-방법">해결 방법</h4>
<p><del>8 hours later..</del></p>

<p>만일 <code>seliunx</code> 를 사용하는 경우 <code>/var/log/audit.log</code> 를 확인하면됩니다.<br>
하지만 제가 사용하는 서버는 <code>ubuntu</code>이기에 기본적으로 <code>seliunx</code> 를 사용하지 않습니다.</p>

<p>그럼에도 이런 에러가 발생하는 이유는 <a href="https://ko.wikipedia.org/wiki/AppArmor"><code>apparmor</code></a> 때문입니다.</p>

<p>기본적으로 (제가 설치한 이미지에는) <code>apparmor</code>가 설치 되어있었고, 유저/그룹 리눅스 권한이 아닌 프로세스(<code>mysqld</code>)의 권한을 제어하고 있던 거였습니다.</p>

<h4 id="apparmor-mysql-데몬-권한-수정">Apparmor MySql 데몬 권한 수정</h4>

<div><pre><code>vi /etc/apparmor.d/usr.sbin.mysqld
</code></pre></div>

<p>아래 내용을 추가</p>
<div><pre><code>/<span>mnt</span>/<span>data</span>/ <span>r</span>,
/<span>mnt</span>/<span>data</span>/** <span>rwk</span>,
</code></pre></div>

<p>apparmor 설정 로드</p>
<div><pre><code><span>$ </span>apparmor_parser <span>-r</span> /etc/apparmor.d/usr.sbin.mysqld
</code></pre></div>

<h4 id="테이블-스페이스-생성">테이블 스페이스 생성</h4>

<div><pre><code><span>CREATE</span> <span>TABLESPACE</span> <span>new_table</span> <span>DATA</span> <span>DIRECTORY</span> <span>=</span> <span>'/mnt/data'</span>
</code></pre></div>

<h4 id="테이블-위치-이동">테이블 위치 이동</h4>

<div><pre><code><span>ALTER</span> <span>TABLE</span> <span>old_table</span> <span>MOVE</span> <span>TABLESPACE</span> <span>new_table</span><span>;</span>
</code></pre></div>

<h2 id="삽질-후기">삽질 후기</h2>

<p>이렇게 기존의 테이블을 다른 저장소(위치)로 옮기는 방법에 대해서 알아봤습니다.</p>

<p>실제론 mount 한 볼륨의 iops 너무 느려 이렇게 삽질을 하고 그냥 더 큰 볼륨을 가지고 있는 걸로 변경했습니다.</p>

<p>그리고… 10TB를 넣었지만, 2TB 밖에 인식하는 문제로 또 이틀을 삽질하게되는데…. <br>
이 이야기는 다음번에…</p>

    
    
    
</div></div>

 SilNex  

silnex

테이블의 저장 위치를 바꾸는 삽질을 기록한 내용입니다.

MySQL 테이블 저장 디렉토리 변경

댓글