<div id="readability-page-1" class="page"><div><main id="_main" role="main" data-color="#4f86aa" data-image="/assets/img/nap.jpg"><article id="post-data/2023/05/27/pandas-ai" role="article"><header><p> <time datetime="2023-05-27T00:00:00+00:00">27 May 2023</time> in <a href="/category/data/" data-flip="title">Data</a> on <a href="/tag/data-analytics/" data-flip="title">Analytics</a></p></header><div><ul id="toc"><li><a href="#pandas-ai">Pandas-AI</a><ul><li><a href="#설치">설치</a></li><li><a href="#openai-api-key-발급">OpenAI API Key 발급</a></li></ul></li><li><a href="#사용법">사용법</a><ul><li><a href="#라이브러리-import--데이터셋-정의">라이브러리 Import &amp; 데이터셋 정의</a></li><li><a href="#openai-api-key를-사용해-llm-정의">OpenAI API Key를 사용해 LLM 정의</a></li><li><a href="#pandas-ai에게-프롬프트-제출">Pandas AI에게 프롬프트 제출</a></li><li><a href="#그래프-그려달라는-프롬프트-제출">그래프 그려달라는 프롬프트 제출</a></li><li><a href="#한국어로-pandas-ai-실행">한국어로 Pandas AI 실행</a></li></ul></li><li><a href="#총평">총평</a></li><li><a href="#사용한-코드-전체">사용한 코드 전체</a></li></ul><br><ul><li>Python으로 데이터 분석을 할 때 빼먹을 수 없는 라이브러리인 Pandas. 아마 많은 분들이 사용하시고, 처음에 많이 학습하고 있을거에요</li><li>최근 Pandas-AI라는 라이브러리가 공개되었는데 대화형으로 Pandas를 사용할 수 있는 시대가 되었습니다. 아직 버전은 0.2지만, 추후에 더 많이 발전할 것 같네요</li><li>참고 : 이 글은 0.2.2 버전을 기준으로 작성했고, 글을 보시는 시기에 따라 다른 부분이 존재할 수 있습니다</li></ul><hr><h2 id="pandas-ai">Pandas-AI</h2><ul><li><a href="https://github.com/gventuri/pandas-ai">Github Repo</a></li><li>Pandas AI는 Generative AI 기능을 Pandas와 결합해 사용할 수 있는 만든 라이브러리</li></ul><h2 id="설치">설치</h2><div><pre><code>pip3 install pandasai==0.2.2
</code></pre></div><h2 id="openai-api-key-발급">OpenAI API Key 발급</h2><ul><li><a href="https://platform.openai.com/overview">OpenAI Platform</a> 가입</li><li><a href="https://platform.openai.com/account/api-keys">API Key</a> 접근해서 발급</li></ul><p><img src="https://capture.dropbox.com/tvJVdtWCvGy17MpY?raw=1"></p><ul><li>Create new secret key 클릭</li></ul><p><img src="https://capture.dropbox.com/cgW3ytcbqBHy3QRl?raw=1" height="300"></p><ul><li>name은 원하는 이름을 지정</li></ul><p><img src="https://capture.dropbox.com/BrrqAmggcpX8QH9g?raw=1" height="300"></p><ul><li>이제 나오는 Key를 복사(우측 아이콘 클릭시 복사)<ul><li>이 Key를 계속 사용하니 잘 저장해두기! 어딘가에 노출되면 안되니 Github에 업로드할 때도 주의 필요</li></ul></li><li>만약 RateLimitError: You exceeded your current quota, please check your plan and billing details 오류가 발생하면 <a href="https://help.openai.com/en/articles/6891831-error-code-429-you-exceeded-your-current-quota-please-check-your-plan-and-billing-details">Open AI</a> 문서에서 해결 방법을 찾을 수 있음<ul><li>Open AI에서 Plan이나 빌링 정보 확인. <a href="https://platform.openai.com/account/billing/overview">Billing Overview</a>에 접근해서 설정</li></ul></li></ul><p><img src="https://capture.dropbox.com/WAxNc8EWNT31d0ba?raw=1"></p><ul><li>카드 등록 후 몇분 후 API를 다시 사용하면 오류가 발생하지 않음</li></ul><h2 id="사용법">사용법</h2><ul><li>Jupyter Lab 실행</li></ul><h2 id="라이브러리-import--데이터셋-정의">라이브러리 Import &amp; 데이터셋 정의</h2><div><pre><code>import pandas as pd
import numpy as np
from pandasai import PandasAI
from pandasai.llm.openai import OpenAI

df = pd.DataFrame({
    "country": ["United States", "United Kingdom", "France", "Germany", "Italy", "Spain", "Canada", "Australia", "Japan", "China"],
    "gdp": [21400000, 2940000, 2830000, 3870000, 2160000, 1350000, 1780000, 1320000, 516000, 14000000],
    "happiness_index": [7.3, 7.2, 6.5, 7.0, 6.0, 6.3, 7.3, 7.3, 5.9, 5.0]
})
</code></pre></div><h2 id="openai-api-key를-사용해-llm-정의">OpenAI API Key를 사용해 LLM 정의</h2><div><pre><code>OPENAI_API_KEY = "여러분들이 생성한 OpenAI API Key"
llm = OpenAI(api_token=OPENAI_API_KEY)
</code></pre></div><h2 id="pandas-ai에게-프롬프트-제출">Pandas AI에게 프롬프트 제출</h2><div><pre><code>pandas_ai = PandasAI(llm, verbose=True)
pandas_ai.run(df, prompt='Which are the 5 happiest countries?')
</code></pre></div><ul><li>verbose=True 인자를 주면 생성한 코드를 볼 수 있음(Jupyter Lab을 실행한 CLI에서 확인했음. 처음엔 Cell의 Output에서 보이다가 몇번 진행하니 나오지 않았음)<ul><li>Code generated가 보이고, 그것을 실행하는 것이 보임</li></ul></li><li>결과</li></ul><p><img src="https://capture.dropbox.com/z1ysusFdNZDcfGA1?raw=1"></p><h2 id="그래프-그려달라는-프롬프트-제출">그래프 그려달라는 프롬프트 제출</h2><div><pre><code>pandas_ai.run(df, prompt='Divide GDP into 3 grades in ascending order, and draw each grade as a bar graph.')
</code></pre></div><p><img src="https://capture.dropbox.com/TzxpWaVwigp0C2UD?raw=1"></p><ul><li><p>생성된 코드는 다음과 같음</p><div><pre><code>  import pandas as pd
  import matplotlib.pyplot as plt
	
  df = pd.DataFrame({
      'country': ['United States', 'United Kingdom', 'France', 'Germany', 'Italy'],
      'gdp': [21400000, 2940000, 2830000, 3870000, 2160000],
      'happiness_index': [7.3, 7.2, 6.5, 7.0, 6.0]
  })
	
  # Divide GDP into 3 categories
  gdp_categories = pd.qcut(df['gdp'], q=3, labels=['Low', 'Medium', 'High'])
  df['gdp_category'] = gdp_categories
	
  # Plot bar graph for each GDP category
  grouped = df.groupby('gdp_category').mean()
  grouped.plot(kind='bar', y='happiness_index')
  plt.show()
</code></pre></div></li></ul><h2 id="한국어로-pandas-ai-실행">한국어로 Pandas AI 실행</h2><ul><li><p>이 부분에서 wow 포인트를 느껴 한국어로도 질문. “GDP를 높은 순으로 3등급으로 나눠주고, 각 등급의 평균 GDP를 Bar 그래프로 그려줘”</p><div><pre><code>  pandas_ai.run(df, prompt='GDP를 높은 순으로 3등급으로 나눠주고, 각 등급의 평균 GDP를 Bar 그래프로 그려줘')
</code></pre></div></li></ul><p><img src="https://capture.dropbox.com/BbndHX9SC0UOKIH9?raw=1"></p><ul><li><p>생성한 코드</p><div><pre><code>  # GDP를 높은 순으로 3등급으로 나누기
  df['gdp_category'] = pd.qcut(df['gdp'], q=3, labels=['Low', 'Medium', 'High'])
	
  # 각 등급의 평균 GDP 구하기
  gdp_mean = df.groupby('gdp_category')['gdp'].mean()
	
  # Bar 그래프로 그리기
  gdp_mean.plot(kind='bar')
</code></pre></div></li><li><p>직접 코드로 구현한 값과 비교하면 동일</p><div><pre><code>  df.groupby('gdp_category')['gdp'].mean().astype(int)
</code></pre></div></li></ul><p><img src="https://capture.dropbox.com/BJ5SqcRncIWWPmXX?raw=1" height="150"></p><h2 id="총평">총평</h2><ul><li>요즘 HTML 작업을 할 때 ChatGPT와 협업(?)했는데 앞으론 데이터 분석에서도 이렇게 될 것으로 예상</li><li>목적을 정의하고 알아서 분석해봐! 가 가능한 시대가 올 것</li><li>프롬프트를 잘 작성하면 결과를 잘 내주고, 프롬프트를 구체적으로 작성하지 않으면 오류가 생기는 코드를 만들기도 합니다. 이 부분은 점차 개선될 것<ul><li>속도도 아직 엄청 빠르진 않지만, 코드를 직접 짜는 것보단 수월한 편</li></ul></li><li>Pandas AI Prompt, Pandas Data Analytics Prompt 등도 점점 생길 것 같음</li><li>Pandas 교육도 변화가 필요한 시점이 아닐까 싶음</li></ul><h2 id="사용한-코드-전체">사용한 코드 전체</h2><div><pre><code>import pandas as pd
import numpy as np
from pandasai import PandasAI
from pandasai.llm.openai import OpenAI

df = pd.DataFrame({
    "country": ["United States", "United Kingdom", "France", "Germany", "Italy", "Spain", "Canada", "Australia", "Japan", "China"],
    "gdp": [21400000, 2940000, 2830000, 3870000, 2160000, 1350000, 1780000, 1320000, 516000, 14000000],
    "happiness_index": [7.3, 7.2, 6.5, 7.0, 6.0, 6.3, 7.3, 7.3, 5.9, 5.0]
})

OPENAI_API_KEY = "여러분들이 생성한 OpenAI API Key"
llm = OpenAI(api_token=OPENAI_API_KEY)


pandas_ai = PandasAI(llm, verbose=True)
pandas_ai.run(df, prompt='Which are the 5 happiest countries?')

pandas_ai.run(df, prompt='Divide GDP into 3 grades in ascending order, and draw each grade as a bar graph.')

pandas_ai.run(df, prompt='GDP를 높은 순으로 3등급으로 나눠주고, 각 등급의 평균 GDP를 Bar 그래프로 그려줘')
</code></pre></div><p><a href="https://bit.ly/kyleschool_blog">카일스쿨 유튜브</a> 채널을 만들었습니다. 데이터 사이언스, 성장, 리더십, BigQuery 등을 이야기할 예정이니, 관심 있으시면 구독 부탁드립니다 :)</p><p><a href="https://bit.ly/data-for-pm-inflearn">PM을 위한 데이터 리터러시</a> 강의를 만들었습니다. 문제 정의, 지표, 실험 설계, 문화 만들기, 로그 설계, 회고 등을 담은 강의입니다</p><div><p>이 글이 도움이 되셨거나 다양한 의견이 있다면 댓글 부탁드립니다 :) </p></div> </div></article><hr><br></main></div></div>

어쩐지 오늘은

Python으로 데이터 분석을 할 때 빼먹을 수 없는 라이브러리인 Pandas. 아마 많은 분들이 사용하시고, 처음에 많이 학습하고 있을거에요
최근 Pandas-AI라는 라이브러리가 공개되었는데 대화형으로 Pandas를 사용할 수 있는 시대가 되었습니다. 아직 버전은 0.2지만, 추후에 더 많이 발전할 것 같네요
참고 : 이 글은 0.2.2 버전을 기준으로 작성했고, 글을 보시는 시기에 따라 다른 부분이 존재할 수 있습니다
Pandas-AI
Github Repo
Pandas AI는 Generative AI 기능을 Pandas와 결합해 사용할 수 있는 만든 라이브러리
설치
pip3 install pandasai==0.2.2
OpenAI API Key 발급
OpenAI Platform 가입
API Key 접근해서 발급
Create new secret key 클릭
name은 원하는 이름을 지정
이제 나오는 Key를 복사(우측 아이콘 클릭시 복사)
    
이 Key를 계속 사용하니 잘 저장해두기! 어딘가에 노출되면 안되니 Github에 업로드할 때도 주의 필요
만약 RateLimitError: You exceeded your current quota, please check your plan and billing details 오류가 발생하면 Open AI 문서에서 해결 방법을 찾을 수 있음
    
Open AI에서 Plan이나 빌링 정보 확인. Billing Overview에 접근해서 설정
카드 등록 후 몇분 후 API를 다시 사용하면 오류가 발생하지 않음
사용법
Jupyter Lab 실행
jupyter lab
라이브러리 Import & 데이터셋 정의
import pandas as pd
import numpy as np
from pandasai import PandasAI
from pandasai.llm.openai import OpenAI
df = pd.DataFrame({
    "country": ["United States", "United Kingdom", "France", "Germany", "Italy", "Spain", "Canada", "Australia", "Japan", "China"],
    "gdp": [21400000, 2940000, 2830000, 3870000, 2160000, 1350000, 1780000, 1320000, 516000, 14000000],
    "happiness_index": [7.3, 7.2, 6.5, 7.0, 6.0, 6.3, 7.3, 7.3, 5.9, 5.0]
})
OpenAI API Key를 사용해 LLM 정의
OPENAI_API_KEY = "여러분들이 생성한 OpenAI API Key"
llm = OpenAI(api_token=OPENAI_API_KEY)
Pandas AI에게 프롬프트 제출
pandas_ai = PandasAI(llm, verbose=True)
pandas_ai.run(df, prompt='Which are the 5 happiest countries?')
verbose=True 인자를 주면 생성한 코드를 볼 수 있음(Jupyter Lab을 실행한 CLI에서 확인했음. 처음엔 Cell의 Output에서 보이다가 몇번 진행하니 나오지 않았음)
    
Code generated가 보이고, 그것을 실행하는 것이 보임
결과
그래프 그려달라는 프롬프트 제출
pandas_ai.run(df, prompt='Divide GDP into 3 grades in ascending order, and draw each grade as a bar graph.')
생성된 코드는 다음과 같음
  import pandas as pd
  import matplotlib.pyplot as plt
	
  df = pd.DataFrame({
      'country': ['United States', 'United Kingdom', 'France', 'Germany', 'Italy'],
      'gdp': [21400000, 2940000, 2830000, 3870000, 2160000],
      'happiness_index': [7.3, 7.2, 6.5, 7.0, 6.0]
  })
	
  # Divide GDP into 3 categories
  gdp_categories = pd.qcut(df['gdp'], q=3, labels=['Low', 'Medium', 'High'])
  df['gdp_category'] = gdp_categories
	
  # Plot bar graph for each GDP category
  grouped = df.groupby('gdp_category').mean()
  grouped.plot(kind='bar', y='happiness_index')
  plt.show()
    
한국어로 Pandas AI 실행
이 부분에서 wow 포인트를 느껴 한국어로도 질문. “GDP를 높은 순으로 3등급으로 나눠주고, 각 등급의 평균 GDP를 Bar 그래프로 그려줘”
  pandas_ai.run(df, prompt='GDP를 높은 순으로 3등급으로 나눠주고, 각 등급의 평균 GDP를 Bar 그래프로 그려줘')
    
생성한 코드
  # GDP를 높은 순으로 3등급으로 나누기
  df['gdp_category'] = pd.qcut(df['gdp'], q=3, labels=['Low', 'Medium', 'High'])
	
  # 각 등급의 평균 GDP 구하기
  gdp_mean = df.groupby('gdp_category')['gdp'].mean()
	
  # Bar 그래프로 그리기
  gdp_mean.plot(kind='bar')
    
직접 코드로 구현한 값과 비교하면 동일
  df.groupby('gdp_category')['gdp'].mean().astype(int)
    
총평
요즘 HTML 작업을 할 때 ChatGPT와 협업(?)했는데 앞으론 데이터 분석에서도 이렇게 될 것으로 예상
목적을 정의하고 알아서 분석해봐! 가 가능한 시대가 올 것
프롬프트를 잘 작성하면 결과를 잘 내주고, 프롬프트를 구체적으로 작성하지 않으면 오류가 생기는 코드를 만들기도 합니다. 이 부분은 점차 개선될 것
    
속도도 아직 엄청 빠르진 않지만, 코드를 직접 짜는 것보단 수월한 편
Pandas AI Prompt, Pandas Data Analytics Prompt 등도 점점 생길 것 같음
Pandas 교육도 변화가 필요한 시점이 아닐까 싶음
사용한 코드 전체
import pandas as pd
import numpy as np
from pandasai import PandasAI
from pandasai.llm.openai import OpenAI
df = pd.DataFrame({
    "country": ["United States", "United Kingdom", "France", "Germany", "Italy", "Spain", "Canada", "Australia", "Japan", "China"],
    "gdp": [21400000, 2940000, 2830000, 3870000, 2160000, 1350000, 1780000, 1320000, 516000, 14000000],
    "happiness_index": [7.3, 7.2, 6.5, 7.0, 6.0, 6.3, 7.3, 7.3, 5.9, 5.0]
})
OPENAI_API_KEY = "여러분들이 생성한 OpenAI API Key"
llm = OpenAI(api_token=OPENAI_API_KEY)
pandas_ai = PandasAI(llm, verbose=True)
pandas_ai.run(df, prompt='Which are the 5 happiest countries?')
pandas_ai.run(df, prompt='Divide GDP into 3 grades in ascending order, and draw each grade as a bar graph.')
pandas_ai.run(df, prompt='GDP를 높은 순으로 3등급으로 나눠주고, 각 등급의 평균 GDP를 Bar 그래프로 그려줘')

Pandas AI 사용법 - Pandas와 ChatGPT의 결합

댓글