목록Python (384)

달나라 노트

Python pyspark : select (Dataframe에서 column 추출하기)

spark dataframe에서 특정 컬럼의 정보만을 추출하려면 어떻게 해야하는지 봅시다. from pyspark.sql import SparkSession import pandas as pd spark = SparkSession.builder.getOrCreate() df_test = pd.DataFrame({ 'a': [1, 2, 3], 'b': [10.0, 3.5, 7.315], 'c': ['apple', 'banana', 'tomato'] }) df_spark = spark.createDataFrame(df_test) spark_col_a = df_spark.a # 1 print(spark_col_a) # 1 df_col_a = df_spark.select(df_spark.a) # 2 df_col..
Python/Python pyspark 2021. 5. 19. 05:13
Python pyspark : createDataFrame (spark dataframe 생성하기. pandas dataframe을 spark dataframe으로 변환하기. spark dataframe을 pandas dataframe으로 변환하기)

pyspark를 이용하면 쿼리를 돌려서 엑셀 형태의 dataframe을 생성하고 다룰 수 있으며 쿼리를 돌리지 않아도 직접 생성할 수 있습니다. pyspark에서 dataframe을 생성하는 방법은 여러 가지가 있습니다만, pandas를 알고있다면 가장 익숙한건 pandas dataframe을 spark dataframe으로 만드는 것입니다. from pyspark.sql import SparkSession import pandas as pd spark = SparkSession.builder.getOrCreate() # 1 df_test = pd.DataFrame({ # 2 'a': [1, 2, 3], 'b': [10.0, 3.5, 7.315], 'c': ['apple', 'banana', 'tomat..
Python/Python pyspark 2021. 5. 19. 04:46
Python으로 HTML 태그의 특정 속성값 가져오기

https://cosmosproject.tistory.com/158?category=953474 Python : Web page의 HTML 코드를 가져오기. import requests from bs4 import BeautifulSoup as bs URL = "https://www.naver.com" rq = requests.get(URL) soup = bs(rq.content, 'html.parser') print(soup) 어떤 Web 페이지의 HTML 코드를 가져오기 위해.. cosmosproject.tistory.com 위 링크에서 web page의 HTML 코드를 crawling해오는 내용을 다뤘습니다. https://cosmosproject.tistory.com/159?category=953..
Python/Python ETC 2021. 5. 17. 00:50
Python os : os.environ.get (environment_variable_name)

컴퓨터에 저장된 환경변수를 python에서 불러오려면 os library를 사용하면 됩니다. 현재 제 컴퓨터에는 test_environ 이라는 이름의 환경변수에 'Cloud'라는 텍스트를 저장해놨다고합시다. import os val_env = os.environ.get('test_environ') print(val_env) -- Result Cloud 만약 test_environ이라는 이름의 환경변수에 저장된 Cloud라는 내용을 불러오려면 위처럼 os.environ.get('환경변수이름')을 사용하면 됩니다.
Python/Python os 2021. 5. 11. 13:34
Prev 1 ··· 69 70 71 72 73 74 75 ··· 96 Next