<div id="readability-page-1" class="page"><article id="mainContent">
                <div>
                  <p><a href="/m/category/Dev/Python"><span>Dev/Python</span></a></p><h3>웹스크래핑 - Web Scraping</h3>
                </div>
                <p><cite>healthyryu</cite>
                  <span> 2022. 10. 2. 23:59</span>
                </p>
                                <div>
                                <p data-ke-size="size16">웹 스크래핑에서 사용할 라이브러리</p>

<p data-ke-size="size16">- Selenium</p>
<p data-ke-size="size16">&nbsp; &nbsp; - webdriver</p>
<p data-ke-size="size16">&nbsp; &nbsp; - ChromDriveManager</p>
<p data-ke-size="size16"><span>&nbsp; &nbsp; -<span> By</span></span></p>
<p data-ke-size="size16"><span>&nbsp; &nbsp; -<span> Service</span></span></p>
<p data-ke-size="size16"><span>&nbsp; &nbsp; -<span> EC</span></span></p>
<p data-ke-size="size16">- json</p>

<p data-ke-size="size16">Selenium 은 웹 브라우저를 원하는 대로 제어하기 위한 라이브러리이다. 그리고 WebDriver 는 Selenium 을 사용하기 위해서 필요하다.</p>

<h4 data-ke-size="size20"><b>1. Selenium 을 사용하기 위한 드라이버 설정 작업</b></h4>
<pre id="code_1664722121701" data-ke-language="python" data-ke-type="codeblock"><code>def set_driver():
    chrome_options = webdriver.ChromeOptions()
    // 크롬 브라우저를 열지 않고 동작 하도록
    chrome_options.headless = True
    driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=chrome_options)
    return driver</code></pre>

<h4 data-ke-size="size20"><b>2. 크롬에서 해당 URL 열기</b></h4>
<pre id="code_1664722210270" data-ke-language="python" data-ke-type="codeblock"><code>url = "http://www.naver.com"

browser = set_driver()
browser.get(url)</code></pre>

<h4 data-ke-size="size20"><b>3. 해당 페이지에서 특정 엘리먼트 찾기 - 버튼 찾기</b></h4>
<pre id="code_1664722475149" data-ke-language="python" data-ke-type="codeblock"><code>// ID 값 search_btn 찾기
browser.find_element(By.ID, "search_btn")</code></pre>
<figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2022-10-02 오후 11.55.03.png" data-origin-width="1582" data-origin-height="643">
    <span data-url="https://k.kakaocdn.net/dn/byTbNi/btrNB5MMI4g/NYkwn52U9pPOLn028svjT0/img.png" data-lightbox="lightbox">
        <img src="https://k.kakaocdn.net/dn/byTbNi/btrNB5MMI4g/NYkwn52U9pPOLn028svjT0/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="스크린샷 2022-10-02 오후 11.55.03.png" data-origin-width="1582" data-origin-height="643">
    </span>
    
</figure>

<h4 data-ke-size="size20"><b>4. 데이터를 json 형태로 변환해서 저장하는 작업</b></h4>
<pre id="code_1664721755754" data-ke-language="python" data-ke-type="codeblock"><code>with open("outfile.json", "w", encoding="utf-8") as f:
    f.write(json.dumps(out, ensure_ascii=False, indent=4))</code></pre>

<h4 data-ke-size="size20"><b>5. 분리 및 공백 제거 작업</b></h4>
<pre id="code_1664722057850" data-ke-language="python" data-ke-type="codeblock"><code>// class_name 클래스의 텍스트 추출
info = item.find_element(By.CLASS_NAME, "class_name").text
// info 라는 텍스트에 "|" 구분해서 나눠서 리스트에 담고 -&gt; 리스트의 첫번째 문자의 공백을 제거
text = info.split("|")[0].strip()</code></pre>

<h4 data-ke-size="size20"><b>6. XPATH 로 Element 찾기</b></h4>
<pre id="code_1664722739136" data-ke-language="python" data-ke-type="codeblock"><code>// div 태그 안의 attribute 가 data-clk-prefix 이고 값이 sch 요소
elem.find_element(By.XPATH, "//div[contains(@data-clk-prefix, 'sch')]")</code></pre>
<figure data-ke-mobilestyle="widthOrigin" data-filename="스크린샷 2022-10-02 오후 11.57.02.png" data-origin-width="447" data-origin-height="57">
    <span data-url="https://k.kakaocdn.net/dn/rflR0/btrNv7S9ylv/CSVk9O5ptQY9vG7Ztp7SIK/img.png" data-lightbox="lightbox">
        <img src="https://k.kakaocdn.net/dn/rflR0/btrNv7S9ylv/CSVk9O5ptQY9vG7Ztp7SIK/img.png" onerror="this.onerror=null; this.src='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png'; this.srcset='//t1.daumcdn.net/tistory_admin/static/images/no-image-v1.png';" data-filename="스크린샷 2022-10-02 오후 11.57.02.png" data-origin-width="447" data-origin-height="57">
    </span>
    
</figure>
            
            
                </div>
                

              </article></div>

대부류 - [Dev u Ryu]

류지훈

웹 스크래핑에서 사용할 라이브러리
 
- Selenium
    - webdriver
    - ChromDriveManager
    - By
    - Service
    - EC
- json
 
Selenium 은 웹 브라우저를 원하는 대로 제어하기 위한 라이브러리이다. 그리고 WebDriver 는 Selenium 을 사용하기 위해서 필요하다.
 
1. Selenium 을 사용하기 위한 드라이버 설정 작업
def set_driver():
    chrome_options = webdriver.ChromeOptions()
    // 크롬 브라우저를 열지 않고 동작 하도록
    chrome_options.headless = True
    driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()), options=chrome_options)
    return driver
 
2. 크롬에서 해당 URL 열기
url = "http://www.naver.com"
browser = set_driver()
browser.get(url)
 
3. 해당 페이지에서 특정 엘리먼트 찾기 - 버튼 찾기
// ID 값 search_btn 찾기
browser.find_element(By.ID, "search_btn")
 
4. 데이터를 json 형태로 변환해서 저장하는 작업
with open("outfile.json", "w", encoding="utf-8") as f:
    f.write(json.dumps(out, ensure_ascii=False, indent=4))
 
5. 분리 및 공백 제거 작업
// class_name 클래스의 텍스트 추출
info = item.find_element(By.CLASS_NAME, "class_name").text
// info 라는 텍스트에 "|" 구분해서 나눠서 리스트에 담고 -> 리스트의 첫번째 문자의 공백을 제거
text = info.split("|")[0].strip()
 
6. XPATH 로 Element 찾기
// div 태그 안의 attribute 가 data-clk-prefix 이고 값이 sch 요소
elem.find_element(By.XPATH, "//div[contains(@data-clk-prefix, 'sch')]")

웹스크래핑 - Web Scraping

댓글