목록Python (379)

달나라 노트

Python pyspark : createDataFrame (spark dataframe 생성하기. pandas dataframe을 spark dataframe으로 변환하기. spark dataframe을 pandas dataframe으로 변환하기)

pyspark를 이용하면 쿼리를 돌려서 엑셀 형태의 dataframe을 생성하고 다룰 수 있으며 쿼리를 돌리지 않아도 직접 생성할 수 있습니다. pyspark에서 dataframe을 생성하는 방법은 여러 가지가 있습니다만, pandas를 알고있다면 가장 익숙한건 pandas dataframe을 spark dataframe으로 만드는 것입니다. from pyspark.sql import SparkSession import pandas as pd spark = SparkSession.builder.getOrCreate() # 1 df_test = pd.DataFrame({ # 2 'a': [1, 2, 3], 'b': [10.0, 3.5, 7.315], 'c': ['apple', 'banana', 'tomat..
Python/Python pyspark 2021. 5. 19. 04:46
Python으로 HTML 태그의 특정 속성값 가져오기

https://cosmosproject.tistory.com/158?category=953474 Python : Web page의 HTML 코드를 가져오기. import requests from bs4 import BeautifulSoup as bs URL = "https://www.naver.com" rq = requests.get(URL) soup = bs(rq.content, 'html.parser') print(soup) 어떤 Web 페이지의 HTML 코드를 가져오기 위해.. cosmosproject.tistory.com 위 링크에서 web page의 HTML 코드를 crawling해오는 내용을 다뤘습니다. https://cosmosproject.tistory.com/159?category=953..
Python/Python ETC 2021. 5. 17. 00:50
Python os : os.environ.get (environment_variable_name)

컴퓨터에 저장된 환경변수를 python에서 불러오려면 os library를 사용하면 됩니다. 현재 제 컴퓨터에는 test_environ 이라는 이름의 환경변수에 'Cloud'라는 텍스트를 저장해놨다고합시다. import os val_env = os.environ.get('test_environ') print(val_env) -- Result Cloud 만약 test_environ이라는 이름의 환경변수에 저장된 Cloud라는 내용을 불러오려면 위처럼 os.environ.get('환경변수이름')을 사용하면 됩니다.
Python/Python os 2021. 5. 11. 13:34
Image를 ASCII Character art로 변환하기 in Python

image를 ASCII character를 이용한 그림으로 변환할 수 있습니다. 변환할 image인 apple.png는 다음과 같습니다. apple 로고를 변환해볼게요. import PIL.Image # list of ascii characters used when convert image to ascii text list_ascii_chars = ['@', '#', 'S', '%', '?', '*', '+', ';', ':', ',', '.'] # resize image according to a new width def resize_image(pil_obj_image, new_width): width, height = pil_obj_image.size # obj_image = image object ..
Python/Python ETC 2021. 4. 1. 03:06
Prev 1 ··· 68 69 70 71 72 73 74 ··· 95 Next