반응형 크롤링4 연관검색어,해시태그 서비스 구현 [Django로 개발 git, Heroku로 배포] 간단하게 키워드를 입력하면 연관검색어와 연관 해시태그를 찾아주는 웹서비스를 구현해보고싶었다. 키워드에 대한 연관검색어, 해시태그를 데이터베이스에 저장한 뒤 엑셀파일로 저장해보고 싶었다. 회사에서 간단하게 서브프로젝트로 해보라고하였다. 기술은 django로 구현하였고 배포는 heroku로 하였다. 밑에는 배포완성된 링크다. 한 번 사용해보면 좋겠다. 아직 정확성이 없지만 심심풀이로 해보면 재미있을 것 같다. jsmkeyword.herokuapp.com/ https://jsmkeyword.herokuapp.com/ jsmkeyword.herokuapp.com ├── feeds │ ├── __pycache__ │ ├── migrations │ │ └── __pycache__ │ └── templates └──.. 2020. 12. 12. django로 크롤링해서 적용하기 +BeautifulSoup사용 github 아이디를 입력하면 커밋한 날은 얼마나 되는지, 1년 동안 총 며칠을 커밋을 했는지 간편하게 보고 싶어 만들게 되었습니다. 순위는 아직 구현 중입니다.! 저는 home이라는 url에서 텍스트 박스에 값을 result페이지로 보내서 크롤링한 값을 적용하려고 합니다. 여기가 home url입니다. home.html의 값을 넘겨받는 코드를 보자면 githubID 이런 식으로 form을 통해 result 페이지로 텍스트박스의 값을 넘겨줍니다. 이제 views.py의 코드를 분석해보겠습니다. @csrf_exempt #CSRF token missing or incorrect오류 해결 def result(request): if request.method == "POST": gitID = request.PO.. 2020. 9. 24. 파이썬으로 웹크롤링 하기 무신사 검색어 순위 가져오기 (VScode, pip ,BeautifulSoup,requests) .py 파일을 하나 생성해줍시다. import requests from bs4 import BeautifulSoup 필요한 라이브러리를 import 해줍니다. #무신사 검색어 순위 검색 url = 'https://store.musinsa.com/app/usr/search_ranking' req = requests.get(url) html = req.text soup = BeautifulSoup(html, 'html.parser') rank= 1 for tag in soup.select('span[class="word"]'): print(str(rank)+"등 " + tag.text) rank+=1 url이라는 변수안에 크롤링할 http페이지를 가져옵니다. 저는 무신사에서 검색순위를 가져와보았습니다. re.. 2020. 8. 26. 파이썬으로 웹크롤링 하기 (VScode, pip ,BeautifulSoup,requests) +하면서 import,from 오류났던거 정리 웹크롤링을 한번 공부해볼려고합니다. 저의 개발환경은 윈도우와 vscode를 이용하겠습니다. vscode를 실행시킵니다. 그러고나서 가상환경을 켜줍니다. py -m venv myvenv 저는 myvenv라는 가상환경을 만들어주었습니다. 그리고 source myvnev/Scripts/Activate 가상환경을 실행시켜줍니다. beautifulsoup4를 사용할 것이 때문에 인스톨해줍시다. pip install beautifulsoup4 그리고, requests도 사용하기때문에 인스톨해줍시다. pip install requests 여기까지 해줬으면 개발환경세팅은 거의 다되었습니다. +오류 이렇게 실행하면 import,from이 인식이 안되는 경우가 있습니다. (혼자설치해보고 삭제하고... 삽질했음...) 이때.. 2020. 8. 26. 이전 1 다음 반응형
