본문 바로가기
반응형

전체 글179

파이썬으로 웹크롤링 하기(selenium, webdriver 기본세팅, chromdriver) +하면서 오류났던 점 고정된 url을 크롤링 하기위해서 찾은방법이 selenium을 사용하는 것입니다. 일단 환경세팅을 해보겠습니다. pip install selenium selenium을 일단 인스톨해줍니다. chromedriver.chromium.org/downloads Downloads - ChromeDriver - WebDriver for Chrome WebDriver for Chrome chromedriver.chromium.org 여기서 chromdriver를 설치해줍니다. 여기서 자신의 크롬버젼과 동일해야합니다. 크롬버젼을 확인하는방법은 도움말에 chrom정보를 클릭해서 확인하시면됩니다. 저는 85버젼이니 크롬드라이버도 85버젼을 깔아주겠습니다. (여기서 버젼이다르면안됩니다. 이유는 밑에 설명드리겠습니다.) fr.. 2020. 8. 28.
파이썬으로 웹크롤링 하기 무신사 검색어 순위 가져오기 (VScode, pip ,BeautifulSoup,requests) .py 파일을 하나 생성해줍시다. import requests from bs4 import BeautifulSoup 필요한 라이브러리를 import 해줍니다. #무신사 검색어 순위 검색 url = 'https://store.musinsa.com/app/usr/search_ranking' req = requests.get(url) html = req.text soup = BeautifulSoup(html, 'html.parser') rank= 1 for tag in soup.select('span[class="word"]'): print(str(rank)+"등 " + tag.text) rank+=1 url이라는 변수안에 크롤링할 http페이지를 가져옵니다. 저는 무신사에서 검색순위를 가져와보았습니다. re.. 2020. 8. 26.
파이썬으로 웹크롤링 하기 (VScode, pip ,BeautifulSoup,requests) +하면서 import,from 오류났던거 정리 웹크롤링을 한번 공부해볼려고합니다. 저의 개발환경은 윈도우와 vscode를 이용하겠습니다. vscode를 실행시킵니다. 그러고나서 가상환경을 켜줍니다. py -m venv myvenv 저는 myvenv라는 가상환경을 만들어주었습니다. 그리고 source myvnev/Scripts/Activate 가상환경을 실행시켜줍니다. beautifulsoup4를 사용할 것이 때문에 인스톨해줍시다. pip install beautifulsoup4 그리고, requests도 사용하기때문에 인스톨해줍시다. pip install requests 여기까지 해줬으면 개발환경세팅은 거의 다되었습니다. +오류 이렇게 실행하면 import,from이 인식이 안되는 경우가 있습니다. (혼자설치해보고 삭제하고... 삽질했음...) 이때.. 2020. 8. 26.
django에서 kakao 로그인 api 사용하기 +(allauth 사용) 일단 어느 정도 구현했으니 카카오 로그인 기능도 추가하고 싶었습니다. 완성된 페이지를 보여드리겠습니다. 이런 식으로 구현했습니다. pip install django-allauth 일단 allauth를 깔아줍시다. INSTALLED_APPS = [ ... 'allauth', 'allauth.account', 'allauth.socialaccount', # ... include the providers you want to enable: 'allauth.socialaccount.providers.auth0', 'allauth.socialaccount.providers.kakao', ... ] LOGIN_REDIRECT_URL = 'home' # 로그인 후 리디렉션할 페이지 ACCOUNT_LOGOUT_REDI.. 2020. 8. 19.
django로 diary 만들기 [mydiary(글쓰기) 세션 구현] -4 이번시간에는 templates을 다루어보겠습니다. {% extends 'menu_bar.html' %} {% block contents %} {% load static %} {% if user.is_active %} {% for post in posts.all %} 글쓴이 : {{ post.username}} 일기 제목:{{ post.title }} {{post.pub_date}} 날씨 : {% if post.weather == "sunny" %} {% elif post.weather == "umbrella" %} {% elif post.weather == "cloud" %} {% elif post.weather == "snow" %} {% endif %} 기분: {% if post.emotion == .. 2020. 8. 8.
django로 diary 만들기 [mydiary(글쓰기) 세션 구현] -3 이번 시간에는 diary앱에있는 urls.py를 고쳐보도록하겠습니다. from django.urls import path from django.contrib.auth import views as auth_views from django.conf.urls.static import static from django.conf import settings from . import views urlpatterns = [ path('write_diary',views.write_diary,name='write_diary'), path('view_diary',views.view_diary,name='view_diary'), path('create',views.create,name='create'), path('deta.. 2020. 8. 8.
django로 diary 만들기 [mydiary(글쓰기) 세션 구현] -2 이번 시간에는 views.py를 사용해보겠습니다. from django.shortcuts import render ,get_object_or_404 from django.views.decorators.csrf import csrf_exempt from .models import Post from accounts.models import User from django.db import IntegrityError import getpass # Create your views here. def home(request): return render(request,'home.html') def write_diary(request): return render(request, 'write_diary.html') @cs.. 2020. 8. 7.
django로 diary 만들기 [mydiary(글쓰기) 세션 구현] -1 이번에는 일기를 쓸 수 있도록 기능을 구현해보겠습니다. accounts앱을 만들었던 것처럼 똑같이 py manage.py startapp mydiary 이 것을 메인 프로젝트로 shell을 옮긴뒤 생성해줍니다. urls.py도 선언해줍니다. 전 시간에 해봤죠? 글쓰기위해서 models.py에서 모델링을 해줘야합니다. from django.db import models from django.contrib.auth.models import User from datetime import datetime from django.utils import timezone class Post(models.Model): username = models.ForeignKey(User, on_delete=models.CASCA.. 2020. 8. 7.
django로 diary 만들기 [accounts(회원) 세션 구현] -3 이번시간에는 디자인?을 다루어볼려고합니다. 제가 디자인은 잘못해서 bootstrap을 통해서 구현하려고합니다. 일단 회원가입 폼을 볼까요? {% extends 'menu_bar.html' %} {% block contents %} {%csrf_token%} Create your account ID: PASSWORD: confirm PASSWORD: {% endblock %} 이렇게 구현했습니다. form의 method는 POST방식으로 가져왔습니다. 그리고 저번시간에 적용했던 회원가입 함수 signup을 연동해주었습니다. 여기서 제일 중요한 keypoint는 바로 {%csrf_token%}입니다. 사용자가 주어진값을 난수로 변환한 뒤에 값을 넘겨줍니다. 이렇게 하지않으면 보안에 위험이 있어 적용했습니다... 2020. 8. 7.
반응형

티스토리툴바