반응형 혼자 공부하는 것들/web crawling4 파이썬으로 크롤링하기 (안심도서인원수 파악하기,selenium, webdriver ,chromdriver) +하면서 논리오류점 찾기 도서관에서 잠깐 방학 동안 일하게 되었습니다. 코로나 때문에 비대면으로 책을 대출해주는 서비스를 하고 있는데, 인원수 제한이 없어 몇 명 신청했는지 항상 직접 세어보기 귀찮아서 만들게 되었습니다. import requests from bs4 import BeautifulSoup from selenium import webdriver def findpeople(): driver = webdriver.Chrome('/Users/sungmin/chromedriver') driver.get('http://www.gdlibrary.or.kr/gilib/1000658/100049/bbsList.do') url = 'http://www.gdlibrary.or.kr/gilib/1000658/100049/bbsList... 2020. 9. 5. 파이썬으로 웹크롤링 하기(selenium, webdriver 기본세팅, chromdriver) +하면서 오류났던 점 고정된 url을 크롤링 하기위해서 찾은방법이 selenium을 사용하는 것입니다. 일단 환경세팅을 해보겠습니다. pip install selenium selenium을 일단 인스톨해줍니다. chromedriver.chromium.org/downloads Downloads - ChromeDriver - WebDriver for Chrome WebDriver for Chrome chromedriver.chromium.org 여기서 chromdriver를 설치해줍니다. 여기서 자신의 크롬버젼과 동일해야합니다. 크롬버젼을 확인하는방법은 도움말에 chrom정보를 클릭해서 확인하시면됩니다. 저는 85버젼이니 크롬드라이버도 85버젼을 깔아주겠습니다. (여기서 버젼이다르면안됩니다. 이유는 밑에 설명드리겠습니다.) fr.. 2020. 8. 28. 파이썬으로 웹크롤링 하기 무신사 검색어 순위 가져오기 (VScode, pip ,BeautifulSoup,requests) .py 파일을 하나 생성해줍시다. import requests from bs4 import BeautifulSoup 필요한 라이브러리를 import 해줍니다. #무신사 검색어 순위 검색 url = 'https://store.musinsa.com/app/usr/search_ranking' req = requests.get(url) html = req.text soup = BeautifulSoup(html, 'html.parser') rank= 1 for tag in soup.select('span[class="word"]'): print(str(rank)+"등 " + tag.text) rank+=1 url이라는 변수안에 크롤링할 http페이지를 가져옵니다. 저는 무신사에서 검색순위를 가져와보았습니다. re.. 2020. 8. 26. 파이썬으로 웹크롤링 하기 (VScode, pip ,BeautifulSoup,requests) +하면서 import,from 오류났던거 정리 웹크롤링을 한번 공부해볼려고합니다. 저의 개발환경은 윈도우와 vscode를 이용하겠습니다. vscode를 실행시킵니다. 그러고나서 가상환경을 켜줍니다. py -m venv myvenv 저는 myvenv라는 가상환경을 만들어주었습니다. 그리고 source myvnev/Scripts/Activate 가상환경을 실행시켜줍니다. beautifulsoup4를 사용할 것이 때문에 인스톨해줍시다. pip install beautifulsoup4 그리고, requests도 사용하기때문에 인스톨해줍시다. pip install requests 여기까지 해줬으면 개발환경세팅은 거의 다되었습니다. +오류 이렇게 실행하면 import,from이 인식이 안되는 경우가 있습니다. (혼자설치해보고 삭제하고... 삽질했음...) 이때.. 2020. 8. 26. 이전 1 다음 반응형
