목록Python/Python ETC (57)

달나라 노트

Python : Web page의 HTML 코드를 가져오기. (Web Crawling, 크롤링, 웹 크롤링)

import requests from bs4 import BeautifulSoup as bs URL = "https://www.naver.com" rq = requests.get(URL) soup = bs(rq.content, 'html.parser') print(soup) 어떤 Web 페이지의 HTML 코드를 가져오기 위해선 위처럼 requests와 bs4 libarary를 사용합니다. URL = "https://www.naver.com" rq = requests.get(URL) 위 부분은 정해진 URL에 대한 웹 자원을 요청하여 가져오는 역할을 합니다. soup = bs(rq.content, 'html.parser') print(soup) 그리고 BeautifulSoup의 기능을 사용합니다. 먼저 r..
Python/Python ETC 2021. 1. 23. 19:50
Python tistory api : 앱 등록 & Access token 발급

Python에서 Tistory api를 이용하기 위해선 사전 작업이 필요합니다. www.tistory.com/guide/api/manage/register TISTORY 나를 표현하는 블로그를 만들어보세요. www.tistory.com 먼저 위 주소에 진입합시다. 그러면 위같은 화면이 뜹니다. 각 항목에 대한 의미를 살펴봅시다. 서비스 명 -> 내가 등록할 앱의 이름입니다. 설명 -> 내가 등록할 앱의 설명입니다. 로고 등록 -> 내가 등록할 앱의 로고를 등록하는 곳입니다.(생략 가능합니다.) 서비스 URL -> 자신의 블로그 url을 적으면 됩니다. 서비스 권한 -> 읽기 전용인지 읽기, 쓰기 모두 건드릴건지를 정하는데 전 쓰기도 건드려보면 재밌겠어서 읽기, 쓰기로 하겠습니다. CallBack -> A..
Python/Python ETC 2021. 1. 4. 02:39
Python에서 로또 당첨 번호 가져오기

Python에서 Lotto 번호를 가져오기 위해선 먼저 동행복권 측에서 제공하는 데이터를 이용해야합니다. https://www.dhlottery.co.kr/common.do?method=getLottoNumber&drwNo=(원하는 회차 번호) 가장 먼저 위 주소를 봐주세요. 로또 관련 정보를 가져오기 위해선 위 url을 이용해야 합니다. url을 한번 단위별로 살펴보면 https://www.dhlottery.co.kr -> 이 부분은 동행복권 홈페이지 주소입니다. method=getLottoNumber -> 이 부분은 Lotto 번호를 가져오라는 의미를 나타냅니다. drwNo=(원하는 회차 번호) -> 이 부분에 바로 우리가 원하는 회차 번호를 넣어줘야 합니다. https://www.dhlottery...
Python/Python ETC 2021. 1. 4. 02:21
Python Hive : access hive and run query using python

from pyhive import hive def query_execute_hive(query, result_cols): hive_connection = hive.Connection( host='host_name_url', port=10000 # port_number, username='hive_user_id', password='hive_user_password', database='default', auth='LDAP' ) cursor = hive_connection.cursor() raw_query_list = query.split(';\n') raw_query_list = [str(x).strip() for x in raw_query_list] raw_query_list = list(filter(..
Python/Python ETC 2020. 12. 23. 00:43
Prev 1 ··· 11 12 13 14 15 Next