달나라 노트

pyspark를 이용하면 쿼리를 돌려서 엑셀 형태의 dataframe을 생성하고 다룰 수 있으며 쿼리를 돌리지 않아도 직접 생성할 수 있습니다. pyspark에서 dataframe을 생성하는 방법은 여러 가지가 있습니다만, pandas를 알고있다면 가장 익숙한건 pandas dataframe을 spark dataframe으로 만드는 것입니다. from pyspark.sql import SparkSession import pandas as pd spark = SparkSession.builder.getOrCreate() # 1 df_test = pd.DataFrame({ # 2 'a': [1, 2, 3], 'b': [10.0, 3.5, 7.315], 'c': ['apple', 'banana', 'tomat..