<div id="readability-page-1" class="page"><div>
    <div>
        
        
        
        <h2>
            2019-08-27 13:00:00 +0000
        </h2>
    </div>

    
    
    
    
    <h2 id="1-개발-환경-구성">1. 개발 환경 구성</h2>

<ul>
  <li>
    <p>Jupyter는 웹 브라우저에서 파이썬 코드를 작성하고 실행할 수 있음</p>

    <h3 id="1-1-anaconda-설치">1-1. Anaconda 설치</h3>

    <ul>
      <li>아나콘다(Anaconda)는 패키지 관리와 디플로이를 단순케 할 목적으로 과학 계산(데이터 과학, 기계 학습 애플리케이션, 대규모 데이터 처리, 예측 분석 등)을 위해 파이썬과 R 프로그래밍 언어의 자유-오픈 소스 배포판이다. 패키지 버전들은 패키지 관리 시스템 conda를 통해 관리된다.</li>
      <li>https://www.anaconda.com/distribution/#download-section</li>
      <li>Version: Anaconda3 for Python 3.7 version</li>
      <li>설치 중간에 ‘Advnced Options’ 단계에서 ‘Add Anaconda to my PATH environment variable’ 옵션 체크 (혹은 설치 완료 후 직접 환경 변수 설정)</li>
      <li>cmd에서 <code>conda</code> 명령어 입력하여 설치 완료 확인</li>
    </ul>

    <h3 id="1-2-virtual-환경-구성">1-2. Virtual 환경 구성</h3>
    <ol>
      <li>
        <p>cmd &gt; <code>conda create --name kaggle python=3.6</code> 입력하여 환경 구성</p>

        <div><pre><code>wincertstore-0.2     | 14 KB     | 
python-3.6.9         | 20.4 MB   | 
wheel-0.33.4         | 57 KB     | 
pip-19.2.2           | 1.9 MB    | 
setuptools-41.0.1    | 521 KB    | 
certifi-2019.6.16    | 156 KB    | 
</code></pre></div>
      </li>
      <li>
        <p>cmd &gt; <code>active kaggle</code> 입력하여 virtual 환경 진입</p>
      </li>
    </ol>

    <h3 id="1-3-python-scientific-libraries-설치">1-3. Python Scientific Libraries 설치</h3>
    <ol>
      <li><em>(3-2에 이어서)</em> cmd 실행 &gt; virtual 환경 진입</li>
      <li><code>pip install jupyter numpy pandas matplotlib seaborn scikit-learn scipy plotly cufflinks tqdm</code></li>
    </ol>

    <h3 id="1-4-기타-라이브러리-설치-xgboost-lightgbm-graphviz-python-graphvis">1-4. 기타 라이브러리 설치 (XGBoost, LightGBM, graphviz, python-graphvis)</h3>
    <ol>
      <li>
        <p>(3-2에 이어서)* cmd 실행 &gt; virtual 환경 진입</p>
      </li>
      <li><code>conda install -c anaconda py-xgboost</code></li>
      <li><code>conda install -c conda-forge lighthgbm graphviz python-graphviz</code></li>
    </ol>

    <h3 id="1-5-virual-환경-사용을-위한-ipython-커널-등록">1-5. virual 환경 사용을 위한 IPython 커널 등록</h3>

    <ol>
      <li>(3-2에 이어서)* cmd 실행 &gt; virtual 환경 진입</li>
      <li><code>pip install ipykernel</code>`</li>
      <li>``python -m ipykernel install –user –name kaggle –display-name “kaggle”`</li>
    </ol>

    <h3 id="1-6-jupyter-notebook-실행">1-6. Jupyter notebook 실행</h3>

    <ol>
      <li>(3-2에 이어서)* cmd 실행 &gt; virtual 환경 진입</li>
      <li><code>jupyter notebook</code></li>
    </ol>
  </li>
</ul>

<h2 id="2-ipython">2. IPython</h2>

<ul>
  <li>Interactive Python. python을 실행할 수 있는 웹 기반의 쉘.</li>
  <li>A powerful interactive shell.</li>
  <li>A kernel for <a href="https://jupyter.org/">Jupyter</a>.</li>
  <li>Support for interactive data visualization and use of <a href="http://ipython.org/ipython-doc/stable/interactive/reference.html#gui-event-loop-support">GUI toolkits</a>.</li>
  <li>Flexible, <a href="http://ipython.org/ipython-doc/stable/interactive/reference.html#embedding-ipython">embeddable interpreters</a></li>
  <li>
    <p>Easy to use, high performance tools for <a href="https://ipyparallel.readthedocs.io/en/latest/">parallel computing</a>.</p>

    <h4 id="2-1-magic-commands">2-1. Magic commands</h4>

    <ul>
      <li><code>%timeit</code>: 실행 시간 측정
        <ul>
          <li>%: line magic</li>
          <li>%%: cell magic</li>
        </ul>
      </li>
      <li><code>%history</code>: 히스토리</li>
      <li><code>%%writefile [filename]</code>: 셀의 내용을 파일에 쓰기</li>
      <li><code>%run</code>: 파일 실행</li>
      <li><em>추가)</em> 가장 전통적인 그래프 라이브러리인 <code>matplotlib</code> 사용 시 노트북 위에서 그래프를 보여주는 기능을 제공하지 않기 때문에 magic command를 쓰면 그래프를 직접 확인할 수 있다. : <code>%matplotlib</code></li>
    </ul>

    <h4 id="2-2-shell-commands">2-2. Shell Commands</h4>

    <ul>
      <li><code>!</code> 를 앞에 붙여주면 CLI 사용 가능 (ex: <code>!pip --version</code> or <code>!date</code>)</li>
      <li>자주 쓰이는 커맨드는 <code>!</code> 없이도 사용 가능 (ex: <code>cd ..</code> or <code>dir</code>)</li>
    </ul>

    <h4 id="2-3-helptab-completion">2-3. Help&amp;Tab completion</h4>

    <ul>
      <li><code>tab</code> key를 누르면 코드 자동 완성이 됨</li>
      <li><code>shift</code>+<code>tab</code> key를 누르면 Help 말풍선이 나타남</li>
      <li><code>shift</code>+<code>tab</code>+<code>tab</code> key를 누르면 Help 말풍선이 확대됨</li>
      <li><code>?</code>를 붙이고 실행(<code>shift</code>+<code>enter</code>)를 누르면 signature를 볼 수 있음 (ex: <code>range?</code>)</li>
    </ul>

    <h4 id="2-4-이전-명령어--결과-보기">2-4. 이전 명령어 &amp; 결과 보기</h4>

    <ul>
      <li><code>_</code>: 직전 결과</li>
      <li><code>__</code>: 전전 결과</li>
    </ul>

    <h4 id="2-5-pdf">2-5. pdf</h4>

    <ul>
      <li><code>%debug</code> 명령어를 통해 디버깅 모드에 진입할 수 있음</li>
      <li><code>%pdb on</code>: pdb 자동 실행</li>
      <li><code>%pdb off</code>: pdb 자동 실행 종료</li>
      <li>pdb 명령어:
        <ul>
          <li><code>help</code>: 도움말</li>
          <li><code>next</code>: 다음 문장으로 이동</li>
          <li><code>print</code>: 변수값 화면에 표시</li>
          <li><code>list</code>: 소스코드 리스트 출력. 현재 위치 화살표로 표시됨</li>
          <li><code>where</code>: 콜스택 출력</li>
          <li><code>continue</code>: 계속 실행. 다음 중단점에 멈추거나 중단점 없으면 끝까지 실행</li>
          <li><code>step</code>: Step Into 하여 함수 내부로 들어감</li>
          <li><code>return</code>: 현재 함수의 리턴 직전까지 실행</li>
          <li><code>!변수명</code>: 값 변수에 값 재설정</li>
          <li><code>up</code>: 한 프레임 위로</li>
          <li><code>down</code>: 한 프레임 아래로</li>
          <li><code>quit</code>: pdb 종료</li>
        </ul>
      </li>
    </ul>
  </li>
</ul>

<h2 id="3-jupyter-notebook">3. Jupyter Notebook</h2>

<ul>
  <li>Visualized한 결과물을 위해 사용</li>
  <li>Language agnostic(언어에 상관 없는): IPython은 Jupyter의 커널 중 하나일 뿐</li>
  <li>Youtube, audio 삽입이 자유롭고 Markdown, HTML, Latex 등등 사용 가능</li>
  <li>커널 컨트롤이 가능 (interrupt: <code>ii</code>, restart: <code>00</code>)</li>
  <li>
    <p>Widget 제공: <code>interact</code>를 통한 위젯 사용</p>

    <h3 id="3-1-shortcut">3-1. Shortcut</h3>

    <ul>
      <li><code>enter</code> key를 눌러 editor 모드 진입</li>
      <li><code>esc</code> key를 눌러 editor 모드 해제</li>
      <li><code>ctrl</code>+<code>enter</code> key를 눌러 코드 실행</li>
      <li><code>shift</code>+<code>enter</code> key를 눌러 코드 실행 후 다음라인으로 전환</li>
    </ul>
  </li>
</ul>

<h2 id="4-conda">4. Conda</h2>

<ul>
  <li>
    <p>패키지, 디펜던시, 가상 환경 관리의 끝판왕 - Python부터 R, Ruby, Lua, Scala, Java, JavaScript, C/ C++, FORTRAN 등등</p>

    <h4 id="4-1-pip-vs-conda">4-1. pip vs conda</h4>

    <ul>
      <li><strong>pip</strong>
        <ul>
          <li>파이썬 패키지 관리자</li>
          <li>파이썬만 관리. 파이썬 너머에 의존성이 있는 경우는 관리하지 못함</li>
        </ul>
      </li>
      <li><strong>conda</strong>
        <ul>
          <li>패키지 관리자이자 가상환경 관리자</li>
          <li>언어 상관 없이 모두 관리. 파이썬도 패키지 중 하나일 뿐.</li>
          <li>패키지 관리 뿐 아니라 가상 환경 생성 및 관리도 가능하다.</li>
          <li>파이썬으로 쓰여짐</li>
        </ul>
      </li>
    </ul>

    <h4 id="4-2-가상-환경-관리">4-2. 가상 환경 관리</h4>

    <ul>
      <li>새 가상 환경 만들기</li>
      <li><code>conda create --name tensorflow</code>
	* <code>conda create --name tensorflow python</code>: 파이썬만 있는 깨끗한 환경
 	* <code>conda create --name tensorflow python=2.7</code>: 파이썬 버전 지정</li>
      <li>가상 환경 진입
        <ul>
          <li><code>source active tensorflow</code></li>
        </ul>
      </li>
      <li>Jupyter에 새 kernel 등록
        <ul>
          <li><code>pip install ipykernel</code>
	* <code>python -m ipykernel install --user --name tensorflow --display-name "Python (TensorFlow)"</code></li>
        </ul>
      </li>
      <li>가상 환경 빠져나오기
        <ul>
          <li><code>source deactivate</code></li>
        </ul>
      </li>
      <li>가상 환경 목록 보기
        <ul>
          <li><code>conda env list</code></li>
        </ul>
      </li>
      <li>설치된 패키지 목록 보기
        <ul>
          <li><code>conda list</code></li>
        </ul>
      </li>
    </ul>
  </li>
</ul>


    
</div></div>

개발요정 김소연 블로그 🧚‍♀️

1. 개발 환경 구성
Jupyter는 웹 브라우저에서 파이썬 코드를 작성하고 실행할 수 있음
1-1. Anaconda 설치
아나콘다(Anaconda)는 패키지 관리와 디플로이를 단순케 할 목적으로 과학 계산(데이터 과학, 기계 학습 애플리케이션, 대규모 데이터 처리, 예측 분석 등)을 위해 파이썬과 R 프로그래밍 언어의 자유-오픈 소스 배포판이다. 패키지 버전들은 패키지 관리 시스템 conda를 통해 관리된다.
https://www.anaconda.com/distribution/#download-section
Version: Anaconda3 for Python 3.7 version
설치 중간에 ‘Advnced Options’ 단계에서 ‘Add Anaconda to my PATH environment variable’ 옵션 체크 (혹은 설치 완료 후 직접 환경 변수 설정)
cmd에서 conda 명령어 입력하여 설치 완료 확인
1-2. Virtual 환경 구성
cmd > conda create --name kaggle python=3.6 입력하여 환경 구성
wincertstore-0.2     | 14 KB     | 
python-3.6.9         | 20.4 MB   | 
wheel-0.33.4         | 57 KB     | 
pip-19.2.2           | 1.9 MB    | 
setuptools-41.0.1    | 521 KB    | 
certifi-2019.6.16    | 156 KB    | 
        
cmd > active kaggle 입력하여 virtual 환경 진입
1-3. Python Scientific Libraries 설치
(3-2에 이어서) cmd 실행 > virtual 환경 진입
pip install jupyter numpy pandas matplotlib seaborn scikit-learn scipy plotly cufflinks tqdm
1-4. 기타 라이브러리 설치 (XGBoost, LightGBM, graphviz, python-graphvis)
(3-2에 이어서)* cmd 실행 > virtual 환경 진입
conda install -c anaconda py-xgboost
conda install -c conda-forge lighthgbm graphviz python-graphviz
1-5. virual 환경 사용을 위한 IPython 커널 등록
(3-2에 이어서)* cmd 실행 > virtual 환경 진입
pip install ipykernel`
``python -m ipykernel install –user –name kaggle –display-name “kaggle”`
1-6. Jupyter notebook 실행
(3-2에 이어서)* cmd 실행 > virtual 환경 진입
jupyter notebook
2. IPython
Interactive Python. python을 실행할 수 있는 웹 기반의 쉘.
A powerful interactive shell.
A kernel for Jupyter.
Support for interactive data visualization and use of GUI toolkits.
Flexible, embeddable interpreters
Easy to use, high performance tools for parallel computing.
2-1. Magic commands
%timeit: 실행 시간 측정
        
%: line magic
%%: cell magic
%history: 히스토리
%%writefile [filename]: 셀의 내용을 파일에 쓰기
%run: 파일 실행
추가) 가장 전통적인 그래프 라이브러리인 matplotlib 사용 시 노트북 위에서 그래프를 보여주는 기능을 제공하지 않기 때문에 magic command를 쓰면 그래프를 직접 확인할 수 있다. : %matplotlib
2-2. Shell Commands
! 를 앞에 붙여주면 CLI 사용 가능 (ex: !pip --version or !date)
자주 쓰이는 커맨드는 ! 없이도 사용 가능 (ex: cd .. or dir)
2-3. Help&Tab completion
tab key를 누르면 코드 자동 완성이 됨
shift+tab key를 누르면 Help 말풍선이 나타남
shift+tab+tab key를 누르면 Help 말풍선이 확대됨
?를 붙이고 실행(shift+enter)를 누르면 signature를 볼 수 있음 (ex: range?)
2-4. 이전 명령어 & 결과 보기
_: 직전 결과
__: 전전 결과
2-5. pdf
%debug 명령어를 통해 디버깅 모드에 진입할 수 있음
%pdb on: pdb 자동 실행
%pdb off: pdb 자동 실행 종료
pdb 명령어:
        
help: 도움말
next: 다음 문장으로 이동
print: 변수값 화면에 표시
list: 소스코드 리스트 출력. 현재 위치 화살표로 표시됨
where: 콜스택 출력
continue: 계속 실행. 다음 중단점에 멈추거나 중단점 없으면 끝까지 실행
step: Step Into 하여 함수 내부로 들어감
return: 현재 함수의 리턴 직전까지 실행
!변수명: 값 변수에 값 재설정
up: 한 프레임 위로
down: 한 프레임 아래로
quit: pdb 종료
3. Jupyter Notebook
Visualized한 결과물을 위해 사용
Language agnostic(언어에 상관 없는): IPython은 Jupyter의 커널 중 하나일 뿐
Youtube, audio 삽입이 자유롭고 Markdown, HTML, Latex 등등 사용 가능
커널 컨트롤이 가능 (interrupt: ii, restart: 00)
Widget 제공: interact를 통한 위젯 사용
3-1. Shortcut
enter key를 눌러 editor 모드 진입
esc key를 눌러 editor 모드 해제
ctrl+enter key를 눌러 코드 실행
shift+enter key를 눌러 코드 실행 후 다음라인으로 전환
4. Conda
패키지, 디펜던시, 가상 환경 관리의 끝판왕 - Python부터 R, Ruby, Lua, Scala, Java, JavaScript, C/ C++, FORTRAN 등등
4-1. pip vs conda
pip
        
파이썬 패키지 관리자
파이썬만 관리. 파이썬 너머에 의존성이 있는 경우는 관리하지 못함
conda
        
패키지 관리자이자 가상환경 관리자
언어 상관 없이 모두 관리. 파이썬도 패키지 중 하나일 뿐.
패키지 관리 뿐 아니라 가상 환경 생성 및 관리도 가능하다.
파이썬으로 쓰여짐
4-2. 가상 환경 관리
새 가상 환경 만들기
conda create --name tensorflow
	* conda create --name tensorflow python: 파이썬만 있는 깨끗한 환경
 	* conda create --name tensorflow python=2.7: 파이썬 버전 지정
가상 환경 진입
        
source active tensorflow
Jupyter에 새 kernel 등록
        
pip install ipykernel
	* python -m ipykernel install --user --name tensorflow --display-name "Python (TensorFlow)"
가상 환경 빠져나오기
        
source deactivate
가상 환경 목록 보기
        
conda env list
설치된 패키지 목록 보기
        
conda list

Data Science - Python을 활용한 데이터 분석 환경 구성

댓글