<div id="readability-page-1" class="page"><div role="banner"> <div> <h4>10 Jan 2023</h4> Reading time ~3 minutes  </div> <h2 id="nodejs-메모리-옵션">Node.js 메모리 옵션</h2> <blockquote> 테스트 케이스를 로컬에서 돌릴때는 문제 없었는데, 운영에서 실행하니 메모리 부족 오류가 발생했습니다. </blockquote> <h2 id="오류-로그">오류 로그</h2> <div><pre><code>&lt;--- Last few GCs ---&gt;

[1516:0x56a6a70] 93701 ms: Scavenge 1952.6 (2079.2) -&gt; 1939.9 (2079.2) MB, 5.0 / 0.3 ms (average mu = 0.309, current mu = 0.242) task 
[1516:0x56a6a70] 93740 ms: Scavenge 1953.1 (2079.2) -&gt; 1940.6 (2079.2) MB, 5.0 / 0.2 ms (average mu = 0.309, current mu = 0.242) task 
[1516:0x56a6a70] 93799 ms: Scavenge 1956.1 (2079.2) -&gt; 1941.9 (2079.2) MB, 5.5 / 0.7 ms (average mu = 0.309, current mu = 0.242) allocation failure 


&lt;--- JS stacktrace ---&gt;

FATAL ERROR: Ineffective mark-compacts near heap limit Allocation failed - JavaScript heap out of memory
 1: 0xb09c10 node::Abort() [node]
 2: 0xa1c193 node::FatalError(char const*, char const*) [node]
 3: 0xcf8dde v8::Utils::ReportOOMFailure(v8::internal::Isolate*, char const*, bool) [node]
 4: 0xcf9157 v8::internal::V8::FatalProcessOutOfMemory(v8::internal::Isolate*, char const*, bool) [node]
 5: 0xeb09f5 [node]
 6: 0xeb14d6 [node]
 7: 0xebf9fe [node]
 8: 0xec0440 v8::internal::Heap::CollectGarbage(v8::internal::AllocationSpace, v8::internal::GarbageCollectionReason, v8::GCCallbackFlags) [node]
 9: 0xec33be v8::internal::Heap::AllocateRawWithRetryOrFailSlowPath(int, v8::internal::AllocationType, v8::internal::AllocationOrigin, v8::internal::AllocationAlignment) [node]
10: 0xe84632 v8::internal::Factory::AllocateRaw(int, v8::internal::AllocationType, v8::internal::AllocationAlignment) [node]
11: 0xe7ef4c v8::internal::FactoryBase&lt;v8::internal::Factory&gt;::AllocateRawArray(int, v8::internal::AllocationType) [node]
12: 0xe7f025 v8::internal::FactoryBase&lt;v8::internal::Factory&gt;::NewFixedArrayWithFiller(v8::internal::Handle&lt;v8::internal::Map&gt;, int, v8::internal::Handle&lt;v8::internal::Oddball&gt;, v8::internal::AllocationType) [node]
13: 0x10e6c5b v8::internal::MaybeHandle&lt;v8::internal::OrderedHashSet&gt; v8::internal::OrderedHashTable&lt;v8::internal::OrderedHashSet, 1&gt;::Allocate&lt;v8::internal::Isolate&gt;(v8::internal::Isolate*, int, v8::internal::AllocationType) [node]
14: 0x109c878 v8::internal::KeyAccumulator::AddKey(v8::internal::Handle&lt;v8::internal::Object&gt;, v8::internal::AddKeyConversion) [node]
15: 0x10a14e1 v8::internal::KeyAccumulator::CollectOwnPropertyNames(v8::internal::Handle&lt;v8::internal::JSReceiver&gt;, v8::internal::Handle&lt;v8::internal::JSObject&gt;) [node]
16: 0x10a1a8f v8::internal::KeyAccumulator::CollectOwnKeys(v8::internal::Handle&lt;v8::internal::JSReceiver&gt;, v8::internal::Handle&lt;v8::internal::JSObject&gt;) [node]
17: 0x10a1d23 v8::internal::KeyAccumulator::CollectKeys(v8::internal::Handle&lt;v8::internal::JSReceiver&gt;, v8::internal::Handle&lt;v8::internal::JSReceiver&gt;) [node]
18: 0x10a2733 v8::internal::KeyAccumulator::GetKeys(v8::internal::Handle&lt;v8::internal::JSReceiver&gt;, v8::internal::KeyCollectionMode, v8::internal::PropertyFilter, v8::internal::GetKeysConversion, bool, bool) [node]
19: 0x10896bc v8::internal::JSReceiver::DefineProperties(v8::internal::Isolate*, v8::internal::Handle&lt;v8::internal::Object&gt;, v8::internal::Handle&lt;v8::internal::Object&gt;) [node]
20: 0xd7c726 v8::internal::Builtin_ObjectDefineProperties(int, unsigned long*, v8::internal::Isolate*) [node]
21: 0x15f2199 [node]
Aborted (core dumped)
</code></pre></div> <h2 id="oom-오류-수정-방법">OOM 오류 수정 방법</h2> OOM 오류를 해결하려면 Node.js 명령줄 옵션을 사용하여 메모리 제한을 명시적으로 구성하기만 하면 됩니다. <div><pre><code># -max-old-space-size=&lt;size_megabytes&gt;

# 사용 예제 
$ node --max-old-space-size=2048 index.js #increase to 2GB
$ node --max-old-space-size=3072 index.js #increase to 3GB
$ node --max-old-space-size=4096 index.js #increase to 4GB
$ node --max-old-space-size=5120 index.js #increase to 5GB
$ node --max-old-space-size=6144 index.js #increase to 6GB
$ node --max-old-space-size=7168 index.js #increase to 7GB
$ node --max-old-space-size=8192 index.js #increase to 8GB
</code></pre></div> <h2 id="사용-가이드">사용 가이드</h2> 메모리 값의 경우 환경, Node.js버젼의 기본값에 의존하는 대신 <code>--max-old-space-size</code>를 항상 명시적으로 설정하는 것이 좋습니다. 예를 들어 메모리가 <code>2GB</code>인 시스템에서는 이 값을 <code>1536(1.5GB)</code>으로 설정하여 일부 메모리를 다른 용도로 남겨두어 <code>메모리 스와핑을 방지</code>하는 것이 좋습니다. 또한 작은 컴퓨터(Raspberry Pi 보드 등)에서 Node.js를 사용하여 간단한 웹 서버를 실행하는 경우 Node.js가 소중한 메모리를 너무 많이 사용하지 않도록 128MB 정도의 작은 값으로 <code>--max-old-space-size</code>를 이용해 설정할 수 있습니다. <h2 id="gc-등-추가-옵션">gc 등 추가 옵션</h2> 대용량 접속(<a href="https://blog.jayway.com/2015/04/13/600k-concurrent-websocket-connections-on-aws-using-node-js/">600k concurrent websocket connections on AWS using Node.js</a>)의 처리를 진행할 경우 gc(garbage collector)로 인해 몇초간 서버가 멈추는 현상이 발생할 수 있습니다. gc를 수동으로 전환하기 위해서는 다음 옵션을 사용합니다. <div><pre><code>$ node --trace-gc --expose-gc --nouse-idle-notification --max-new-space-size=2048 --max-old-space-size=8192 index.js
</code></pre></div> <ul> <li><code>--nouse-idle-notification</code>: gc 자동 실행 방지</li> <li><code>--expose-gc</code> : gc() 함수를 자바스크립트에서 직접 호출</li> <li><code>--trace-gc</code> : gc 표출 <a href="https://nodejs.org/en/docs/guides/diagnostics/memory/using-gc-traces/">Tracing garbage collection</a></li> <li><code>--max-new-space-size</code> : 피크 성능을 줄여버리지만, 멈춤 시간을 짧게 가져가야 한다면 해당 값을 2048(2G) 정도로 작게 가져가면, 100ms 정도로 짧아짐</li> <li><code>--noincremental-marking</code> : 피크 성능이 중요하고 서버 멈춤을 늘려도 된다면 사용, 1GB 당 1초의 서버 멈춤 가능</li> <li><code>--max-semi-space-size</code> : 단기 객체용으로 예약된 최대 힙 크기</li> <li><code>--max-executable-size</code> : 실행 코드용으로 예약된 힙의 최대 크기(적시 컴파일된 JavaScript의 기본 코드 결과)</li> </ul> <h2 id="참고자료">참고자료</h2> <ul> <li><a href="https://medium.com/geekculture/node-js-default-memory-settings-3c0fe8a9ba1">Node.js Default Memory Settings</a></li> <li><a href="https://blog.jayway.com/2015/04/13/600k-concurrent-websocket-connections-on-aws-using-node-js/">600k concurrent websocket connections on AWS using Node.js</a></li> <li><a href="https://stackoverflow.com/questions/30252905/nodejs-decrease-v8-garbage-collector-memory-usage">nodejs decrease v8 garbage collector memory usage</a></li> </ul> </div></div>

lahuman

Daniel Lim

Node.js 메모리 옵션
테스트 케이스를 로컬에서 돌릴때는 문제 없었는데, 운영에서 실행하니 메모리 부족 오류가 발생했습니다.
오류 로그
<--- Last few GCs --->
[1516:0x56a6a70] 93701 ms: Scavenge 1952.6 (2079.2) -> 1939.9 (2079.2) MB, 5.0 / 0.3 ms (average mu = 0.309, current mu = 0.242) task 
[1516:0x56a6a70] 93740 ms: Scavenge 1953.1 (2079.2) -> 1940.6 (2079.2) MB, 5.0 / 0.2 ms (average mu = 0.309, current mu = 0.242) task 
[1516:0x56a6a70] 93799 ms: Scavenge 1956.1 (2079.2) -> 1941.9 (2079.2) MB, 5.5 / 0.7 ms (average mu = 0.309, current mu = 0.242) allocation failure 
<--- JS stacktrace --->
FATAL ERROR: Ineffective mark-compacts near heap limit Allocation failed - JavaScript heap out of memory
 1: 0xb09c10 node::Abort() [node]
 2: 0xa1c193 node::FatalError(char const*, char const*) [node]
 3: 0xcf8dde v8::Utils::ReportOOMFailure(v8::internal::Isolate*, char const*, bool) [node]
 4: 0xcf9157 v8::internal::V8::FatalProcessOutOfMemory(v8::internal::Isolate*, char const*, bool) [node]
 5: 0xeb09f5 [node]
 6: 0xeb14d6 [node]
 7: 0xebf9fe [node]
 8: 0xec0440 v8::internal::Heap::CollectGarbage(v8::internal::AllocationSpace, v8::internal::GarbageCollectionReason, v8::GCCallbackFlags) [node]
 9: 0xec33be v8::internal::Heap::AllocateRawWithRetryOrFailSlowPath(int, v8::internal::AllocationType, v8::internal::AllocationOrigin, v8::internal::AllocationAlignment) [node]
10: 0xe84632 v8::internal::Factory::AllocateRaw(int, v8::internal::AllocationType, v8::internal::AllocationAlignment) [node]
11: 0xe7ef4c v8::internal::FactoryBase<v8::internal::Factory>::AllocateRawArray(int, v8::internal::AllocationType) [node]
12: 0xe7f025 v8::internal::FactoryBase<v8::internal::Factory>::NewFixedArrayWithFiller(v8::internal::Handle<v8::internal::Map>, int, v8::internal::Handle<v8::internal::Oddball>, v8::internal::AllocationType) [node]
13: 0x10e6c5b v8::internal::MaybeHandle<v8::internal::OrderedHashSet> v8::internal::OrderedHashTable<v8::internal::OrderedHashSet, 1>::Allocate<v8::internal::Isolate>(v8::internal::Isolate*, int, v8::internal::AllocationType) [node]
14: 0x109c878 v8::internal::KeyAccumulator::AddKey(v8::internal::Handle<v8::internal::Object>, v8::internal::AddKeyConversion) [node]
15: 0x10a14e1 v8::internal::KeyAccumulator::CollectOwnPropertyNames(v8::internal::Handle<v8::internal::JSReceiver>, v8::internal::Handle<v8::internal::JSObject>) [node]
16: 0x10a1a8f v8::internal::KeyAccumulator::CollectOwnKeys(v8::internal::Handle<v8::internal::JSReceiver>, v8::internal::Handle<v8::internal::JSObject>) [node]
17: 0x10a1d23 v8::internal::KeyAccumulator::CollectKeys(v8::internal::Handle<v8::internal::JSReceiver>, v8::internal::Handle<v8::internal::JSReceiver>) [node]
18: 0x10a2733 v8::internal::KeyAccumulator::GetKeys(v8::internal::Handle<v8::internal::JSReceiver>, v8::internal::KeyCollectionMode, v8::internal::PropertyFilter, v8::internal::GetKeysConversion, bool, bool) [node]
19: 0x10896bc v8::internal::JSReceiver::DefineProperties(v8::internal::Isolate*, v8::internal::Handle<v8::internal::Object>, v8::internal::Handle<v8::internal::Object>) [node]
20: 0xd7c726 v8::internal::Builtin_ObjectDefineProperties(int, unsigned long*, v8::internal::Isolate*) [node]
21: 0x15f2199 [node]
Aborted (core dumped)
OOM 오류 수정 방법
OOM 오류를 해결하려면 Node.js 명령줄 옵션을 사용하여 메모리 제한을 명시적으로 구성하기만 하면 됩니다.
# -max-old-space-size=<size_megabytes>
# 사용 예제 
$ node --max-old-space-size=2048 index.js #increase to 2GB
$ node --max-old-space-size=3072 index.js #increase to 3GB
$ node --max-old-space-size=4096 index.js #increase to 4GB
$ node --max-old-space-size=5120 index.js #increase to 5GB
$ node --max-old-space-size=6144 index.js #increase to 6GB
$ node --max-old-space-size=7168 index.js #increase to 7GB
$ node --max-old-space-size=8192 index.js #increase to 8GB
사용 가이드
메모리 값의 경우 환경, Node.js버젼의 기본값에 의존하는 대신 --max-old-space-size를 항상 명시적으로 설정하는 것이 좋습니다.
예를 들어 메모리가 2GB인 시스템에서는 이 값을 1536(1.5GB)으로 설정하여 일부 메모리를 다른 용도로 남겨두어 메모리 스와핑을 방지하는 것이 좋습니다.
또한 작은 컴퓨터(Raspberry Pi 보드 등)에서 Node.js를 사용하여 간단한 웹 서버를 실행하는 경우 Node.js가 소중한 메모리를 너무 많이 사용하지 않도록 128MB 정도의 작은 값으로 --max-old-space-size를 이용해 설정할 수 있습니다.
gc 등 추가 옵션
대용량 접속(600k concurrent websocket connections on AWS using Node.js)의 처리를 진행할 경우 gc(garbage collector)로 인해 몇초간 서버가 멈추는 현상이 발생할 수 있습니다.
gc를 수동으로 전환하기 위해서는 다음 옵션을 사용합니다.
$ node --trace-gc --expose-gc --nouse-idle-notification --max-new-space-size=2048 --max-old-space-size=8192 index.js
--nouse-idle-notification: gc 자동 실행 방지
--expose-gc : gc() 함수를 자바스크립트에서 직접 호출
--trace-gc : gc 표출 Tracing garbage collection
--max-new-space-size : 피크 성능을 줄여버리지만, 멈춤 시간을 짧게 가져가야 한다면 해당 값을 2048(2G) 정도로 작게 가져가면, 100ms 정도로 짧아짐
--noincremental-marking : 피크 성능이 중요하고 서버 멈춤을 늘려도 된다면 사용, 1GB 당 1초의 서버 멈춤 가능
--max-semi-space-size : 단기 객체용으로 예약된 최대 힙 크기
--max-executable-size : 실행 코드용으로 예약된 힙의 최대 크기(적시 컴파일된 JavaScript의 기본 코드 결과)
참고자료
Node.js Default Memory Settings
600k concurrent websocket connections on AWS using Node.js
nodejs decrease v8 garbage collector memory usage

Node.js 메모리 옵션

댓글