<div id="readability-page-1" class="page"><div><p data-ke-size="size16">pytorch를 이용해서 모델을 학습한 뒤, 모델을 평가할 때 model.eval()과 with torch.no_grad()를 둘다 사용하라고 하는데, 두 명령어의 차이는 무엇일까?</p>

<h3 data-ke-size="size23">model.eval()</h3>
<ul data-ke-list-type="disc">
<li><b>해당 model의 모든 layer가 eval mode에 들어가게 함</b></li>
<li>학습할 때만 사용하는 개념인 Dropout layer이나 Batch Normalization Layer 등을 비활성화시킴</li>
</ul>

<h3 data-ke-size="size23">with torch.no_grad()</h3>
<ul data-ke-list-type="disc">
<li>with torch.no_grad()는 pytorch의 autograd engine을 비활성화시킴. 즉, <b>더이상 gradient를 트래킹하지 않음</b></li>
<li>필요한 메모리가 줄어들고 계산속도가 증가함</li>
</ul>
<pre id="code_1681958403041" data-ke-language="python" data-ke-type="codeblock"><code># pytorch model evaluate code
model.eval()
with torch.no_grad():
	for batch in data_loader:
    	# code</code></pre>

<div data-ke-type="moreLess" data-text-more="더보기" data-text-less="닫기"><p><a>더보기</a></p><div>
<p data-ke-size="size16">참고문헌</p>
<p data-ke-size="size16">stackoverflow.com/questions/55627780/evaluating-pytorch-models-with-torch-no-grad-vs-model-eval</p>
<p data-ke-size="size16">androidkt.com/use-of-model-eval-and-with-torch-no_grad-in-pytorch-model-evaluate/</p>

</div>
</div></div></div>

sohyunwriter

pytorch를 이용해서 모델을 학습한 뒤, 모델을 평가할 때 model.eval()과 with torch.no_grad()를 둘다 사용하라고 하는데, 두 명령어의 차이는 무엇일까?
 
model.eval()
해당 model의 모든 layer가 eval mode에 들어가게 함
학습할 때만 사용하는 개념인 Dropout layer이나 Batch Normalization Layer 등을 비활성화시킴
 
with torch.no_grad()
with torch.no_grad()는 pytorch의 autograd engine을 비활성화시킴. 즉, 더이상 gradient를 트래킹하지 않음
필요한 메모리가 줄어들고 계산속도가 증가함
# pytorch model evaluate code
model.eval()
with torch.no_grad():
	for batch in data_loader:
    	# code
 
더보기
참고문헌
stackoverflow.com/questions/55627780/evaluating-pytorch-models-with-torch-no-grad-vs-model-eval
androidkt.com/use-of-model-eval-and-with-torch-no_grad-in-pytorch-model-evaluate/

[Pytorch] model.eval()과 with torch.no_grad()의 차이점

댓글