목록spark dataframe을 table에 삽입하기 (1)

달나라 노트

Python pyspark : write, saveAsTable (spark dataframe을 database의 table에 삽입하기)

spark dataframe은 dataframe의 어떤 table안에 삽입될 수 있습니다. from pyspark.sql import SparkSession spark = SparkSession.builder\ # 1 .appName('Test_runner')\ .config('hive.mapred.mode', 'nonstrict')\ .config('hive.exec.dynamic.partition', 'true')\ .config('hive.exec.dynamic.partition.mode', 'nonstrict')\ .config('hive.exec.parallel', 'true')\ .config('hive.stats.fetch.column.stats', 'true')\ .config('hive...
Python/Python pyspark 2021. 5. 19. 06:09
Prev 1 Next