<div id="readability-page-1" class="page"><div role="banner"> <div>  <h4>27 Sep 2024</h4> <p> <i></i> Reading time ~3 minutes </p> </div> <h2 id="aws-lambda에서-oracle에-접근하기-위한-python-layer-만들기">AWS Lambda에서 Oracle에 접근하기 위한 Python Layer 만들기</h2> <p>AWS Lambda 함수에서 Oracle 데이터베이스에 접근하려면 oracledb 모듈을 사용해야 합니다. 하지만 이 모듈을 Lambda에서 사용하기 위해서는 Layer를 만들어야 합니다. 이번 포스팅에서는 AWS Lambda에서 Oracle에 접근하기 위한 Python Layer를 만드는 방법과 발생할 수 있는 오류 및 해결 방법을 소개합니다.</p> <h2 id="문제-상황">문제 상황</h2> <p>AWS Lambda 함수에서 oracledb 모듈을 사용하기 위해 Layer를 생성하고 함수를 실행했을 때, 다음과 같은 오류가 발생했습니다.</p> <h2 id="aws-lambda에서-oracle에-접근하기-위한-python-layer-만들기-1">AWS Lambda에서 Oracle에 접근하기 위한 Python Layer 만들기</h2> <p>AWS Lambda 함수에서 Oracle 데이터베이스에 접근하려면 <code>oracledb</code> 모듈을 사용해야 합니다. 하지만 이 모듈을 Lambda에서 사용하기 위해서는 Layer를 만들어야 합니다. 이번 포스팅에서는 AWS Lambda에서 Oracle에 접근하기 위한 Python Layer를 만드는 방법과 발생할 수 있는 오류 및 해결 방법을 소개합니다.</p> <h2 id="문제-상황-1">문제 상황</h2> <p>AWS Lambda 함수에서 <code>oracledb</code> 모듈을 사용하기 위해 Layer를 생성하고 함수를 실행했을 때, 다음과 같은 오류가 발생했습니다.</p> <div><pre><code><span>[</span>ERROR] Runtime.ImportModuleError: Unable to import module <span>'lambda_function'</span>: cannot import name <span>'base_impl'</span> from partially initialized module <span>'oracledb'</span> <span>(</span>most likely due to a circular import<span>)</span> <span>(</span>/opt/python/lib/python3.11/site-packages/oracledb/__init__.py<span>)</span>
Traceback <span>(</span>most recent call last<span>)</span>:INIT_REPORT Init Duration: 93.00 ms	Phase: init	Status: error	Error Type: Runtime.Unknown
<span>[</span>ERROR] Runtime.ImportModuleError: Unable to import module <span>'lambda_function'</span>: cannot import name <span>'base_impl'</span> from partially initialized module <span>'oracledb'</span> <span>(</span>most likely due to a circular import<span>)</span> <span>(</span>/opt/python/lib/python3.11/site-packages/oracledb/__init__.py<span>)</span>
Traceback <span>(</span>most recent call last<span>)</span>:INIT_REPORT Init Duration: 1363.42 ms	Phase: invoke	Status: error	Error Type: Runtime.Unknown
</code></pre></div> <p>이 오류의 원인을 분석하고 해결하는 과정을 자세히 설명하겠습니다.</p> <h2 id="layer-생성-방법">Layer 생성 방법</h2> <p>AWS Lambda에서 Python 함수용 Layer를 생성하기 위해 AWS 공식 문서인 <a href="https://docs.aws.amazon.com/ko_kr/lambda/latest/dg/python-layers.html">Python Lambda 함수를 위한 계층 작업</a>을 참고하여 다음과 같이 Layer를 생성했습니다.</p> <h3 id="1-가상-환경-생성-및-패키지-설치">1. 가상 환경 생성 및 패키지 설치</h3> <p>먼저, Python 3.11 버전의 가상 환경을 생성하고 필요한 패키지를 설치합니다.</p> <p><strong>requirements.txt</strong></p>  <p><strong>1-install.sh</strong></p> <div><pre><code>python3.11 <span>-m</span> venv create_layer
<span>source </span>create_layer/bin/activate
pip install <span>-r</span> requirements.txt <span>--platform</span><span>=</span>manylinux2014_x86_64 <span>--only-binary</span><span>=</span>:all: <span>--target</span> ./create_layer/lib/python3.11/site-packages
</code></pre></div> <h3 id="2-layer-패키징">2. Layer 패키징</h3> <p><strong>2-package.sh</strong></p> <div><pre><code>mkdir python
cp <span>-r</span> create_layer/lib python/
zip <span>-r</span> layer_content.zip python
</code></pre></div> <h2 id="lambda-함수-코드">Lambda 함수 코드</h2> <p>Lambda 함수에서는 <code>oracledb</code> 모듈을 임포트하여 사용합니다.</p> <p><strong>lambda_function.py</strong></p> <div><pre><code><span>def</span> <span>lambda_handler</span><span>(</span><span>event</span><span>,</span> <span>context</span><span>):</span>
    <span>try</span><span>:</span>
        <span>import</span> <span>oracledb</span>
        <span>return</span> <span>"Successfully imported oracledb"</span>
    <span>except</span> <span>Exception</span> <span>as</span> <span>e</span><span>:</span>
        <span>return</span> <span>str</span><span>(</span><span>e</span><span>)</span>
</code></pre></div> <h2 id="오류-발생">오류 발생</h2> <p>위와 같이 Layer를 생성하고 Lambda 함수를 실행했을 때, 앞서 언급한 오류가 발생했습니다.</p> <h2 id="원인-분석">원인 분석</h2> <p>오류 메시지를 보면 <code>oracledb</code> 모듈에서 <code>base_impl</code>을 임포트할 수 없다는 내용과 순환 임포트(circular import)가 원인일 수 있다는 힌트를 제공합니다.</p> <p>Layer를 생성할 때 가상 환경을 생성하면서 기본적으로 설치되는 <code>pip</code> 등의 모듈이 함께 포함되어 <code>oracledb</code> 모듈과 충돌이 발생한 것입니다.</p> <h2 id="해결-방법">해결 방법</h2> <p>가상 환경에서 기본적으로 생성되는 불필요한 모듈들을 제외하고, 필요한 패키지만 Layer에 포함하도록 스크립트를 수정했습니다.</p> <h3 id="수정된-layer-생성-스크립트">수정된 Layer 생성 스크립트</h3> <p><strong>1-install.sh</strong></p> <div><pre><code>python3.11 <span>-m</span> venv create_layer
<span>source </span>create_layer/bin/activate
pip install <span>-r</span> requirements.txt <span>\</span>
    <span>--platform</span> manylinux2014_x86_64 <span>\</span>
    <span>--target</span><span>=</span>./src <span>\</span>
    <span>--implementation</span> cp <span>\</span>
    <span>--python-version</span> 3.11 <span>\</span>
    <span>--only-binary</span><span>=</span>:all: 
</code></pre></div> <ul> <li><code>--target=./src</code> 옵션을 사용하여 필요한 패키지만 <code>src</code> 디렉토리에 설치합니다.</li> <li>가상 환경의 기본 모듈들과 분리하여 충돌을 방지합니다.</li> </ul> <p><strong>2-package.sh</strong></p> <div><pre><code>mkdir -p python/lib/python3.11/site-packages
cp -r src/ python/lib/python3.11/site-packages/
zip -r layer_content.zip python
</code></pre></div> <ul> <li><code>src</code> 디렉토리에 설치된 패키지들을 Layer의 <code>site-packages</code> 디렉토리로 복사합니다.</li> </ul> <h2 id="결과-확인">결과 확인</h2> <p>수정된 Layer를 적용하여 Lambda 함수를 실행하면 <code>oracledb</code> 모듈이 성공적으로 임포트됩니다.</p> <div><pre><code>"Successfully imported oracledb"
</code></pre></div> <h2 id="결론">결론</h2> <p>AWS Lambda에서 Oracle에 접근하기 위한 Python Layer를 생성할 때, 가상 환경의 기본 모듈들과의 충돌로 인해 발생하는 오류를 해결하기 위해 필요한 패키지만 Layer에 포함시켰습니다. 이를 통해 <code>oracledb</code> 모듈을 성공적으로 임포트하고 Oracle 데이터베이스에 접근할 수 있었습니다.</p> <h2 id="참고-자료">참고 자료</h2> <ul> <li><a href="https://docs.aws.amazon.com/ko_kr/lambda/latest/dg/python-layers.html">Python Lambda 함수를 위한 계층 작업</a></li> </ul>  </div></div>

lahuman

Daniel Lim

AWS Lambda에서 Oracle에 접근하기 위한 Python Layer 만들기
AWS Lambda 함수에서 Oracle 데이터베이스에 접근하려면 oracledb 모듈을 사용해야 합니다. 하지만 이 모듈을 Lambda에서 사용하기 위해서는 Layer를 만들어야 합니다. 이번 포스팅에서는 AWS Lambda에서 Oracle에 접근하기 위한 Python Layer를 만드는 방법과 발생할 수 있는 오류 및 해결 방법을 소개합니다.
문제 상황
AWS Lambda 함수에서 oracledb 모듈을 사용하기 위해 Layer를 생성하고 함수를 실행했을 때, 다음과 같은 오류가 발생했습니다.
AWS Lambda에서 Oracle에 접근하기 위한 Python Layer 만들기
AWS Lambda 함수에서 Oracle 데이터베이스에 접근하려면 oracledb 모듈을 사용해야 합니다. 하지만 이 모듈을 Lambda에서 사용하기 위해서는 Layer를 만들어야 합니다. 이번 포스팅에서는 AWS Lambda에서 Oracle에 접근하기 위한 Python Layer를 만드는 방법과 발생할 수 있는 오류 및 해결 방법을 소개합니다.
문제 상황
AWS Lambda 함수에서 oracledb 모듈을 사용하기 위해 Layer를 생성하고 함수를 실행했을 때, 다음과 같은 오류가 발생했습니다.
[ERROR] Runtime.ImportModuleError: Unable to import module 'lambda_function': cannot import name 'base_impl' from partially initialized module 'oracledb' (most likely due to a circular import) (/opt/python/lib/python3.11/site-packages/oracledb/__init__.py)
Traceback (most recent call last):INIT_REPORT Init Duration: 93.00 ms	Phase: init	Status: error	Error Type: Runtime.Unknown
[ERROR] Runtime.ImportModuleError: Unable to import module 'lambda_function': cannot import name 'base_impl' from partially initialized module 'oracledb' (most likely due to a circular import) (/opt/python/lib/python3.11/site-packages/oracledb/__init__.py)
Traceback (most recent call last):INIT_REPORT Init Duration: 1363.42 ms	Phase: invoke	Status: error	Error Type: Runtime.Unknown
이 오류의 원인을 분석하고 해결하는 과정을 자세히 설명하겠습니다.
Layer 생성 방법
AWS Lambda에서 Python 함수용 Layer를 생성하기 위해 AWS 공식 문서인 Python Lambda 함수를 위한 계층 작업을 참고하여 다음과 같이 Layer를 생성했습니다.
1. 가상 환경 생성 및 패키지 설치
먼저, Python 3.11 버전의 가상 환경을 생성하고 필요한 패키지를 설치합니다.
requirements.txt
oracledb
1-install.sh
python3.11 -m venv create_layer
source create_layer/bin/activate
pip install -r requirements.txt --platform=manylinux2014_x86_64 --only-binary=:all: --target ./create_layer/lib/python3.11/site-packages
2. Layer 패키징
2-package.sh
mkdir python
cp -r create_layer/lib python/
zip -r layer_content.zip python
Lambda 함수 코드
Lambda 함수에서는 oracledb 모듈을 임포트하여 사용합니다.
lambda_function.py
def lambda_handler(event, context):
    try:
        import oracledb
        return "Successfully imported oracledb"
    except Exception as e:
        return str(e)
오류 발생
위와 같이 Layer를 생성하고 Lambda 함수를 실행했을 때, 앞서 언급한 오류가 발생했습니다.
원인 분석
오류 메시지를 보면 oracledb 모듈에서 base_impl을 임포트할 수 없다는 내용과 순환 임포트(circular import)가 원인일 수 있다는 힌트를 제공합니다.
Layer를 생성할 때 가상 환경을 생성하면서 기본적으로 설치되는 pip 등의 모듈이 함께 포함되어 oracledb 모듈과 충돌이 발생한 것입니다.
해결 방법
가상 환경에서 기본적으로 생성되는 불필요한 모듈들을 제외하고, 필요한 패키지만 Layer에 포함하도록 스크립트를 수정했습니다.
수정된 Layer 생성 스크립트
1-install.sh
python3.11 -m venv create_layer
source create_layer/bin/activate
pip install -r requirements.txt \
    --platform manylinux2014_x86_64 \
    --target=./src \
    --implementation cp \
    --python-version 3.11 \
    --only-binary=:all: 
--target=./src 옵션을 사용하여 필요한 패키지만 src 디렉토리에 설치합니다.
가상 환경의 기본 모듈들과 분리하여 충돌을 방지합니다.
2-package.sh
mkdir -p python/lib/python3.11/site-packages
cp -r src/ python/lib/python3.11/site-packages/
zip -r layer_content.zip python
src 디렉토리에 설치된 패키지들을 Layer의 site-packages 디렉토리로 복사합니다.
결과 확인
수정된 Layer를 적용하여 Lambda 함수를 실행하면 oracledb 모듈이 성공적으로 임포트됩니다.
"Successfully imported oracledb"
결론
AWS Lambda에서 Oracle에 접근하기 위한 Python Layer를 생성할 때, 가상 환경의 기본 모듈들과의 충돌로 인해 발생하는 오류를 해결하기 위해 필요한 패키지만 Layer에 포함시켰습니다. 이를 통해 oracledb 모듈을 성공적으로 임포트하고 Oracle 데이터베이스에 접근할 수 있었습니다.
참고 자료
Python Lambda 함수를 위한 계층 작업

AWS Lambda에서 oracle 에 접근하기 위한 python layer 만들기!

댓글