목록spark dataframe s3 upload (1)

달나라 노트

Python pyspark : write, option, saveAsTable (spark dataframe을 AWS s3에 업로드하기)

spark dataframe은 table에 삽입될 수도 있지만 AWS s3 server에 upload될 수도 있습니다. from pyspark.sql import SparkSession spark = SparkSession.builder\ # 1 .appName('Test_runner')\ .config('hive.mapred.mode', 'nonstrict')\ .config('hive.exec.dynamic.partition', 'true')\ .config('hive.exec.dynamic.partition.mode', 'nonstrict')\ .config('hive.exec.parallel', 'true')\ .config('hive.stats.fetch.column.stats', 'true')..
Python/Python pyspark 2021. 5. 19. 06:14
Prev 1 Next