달나라 노트

hive에서 직접 쿼리를 돌릴때보단 spark에서 돌리는게 좀 더 빠릅니다. 물론 결과 데이터가 크면 용량 초과 에러가 뜰 순 있지만요. from pyspark.sql import SparkSession spark = SparkSession.builder\ .appName('Test_runner')\ .config('hive.mapred.mode', 'nonstrict')\ .config('hive.exec.dynamic.partition', 'true')\ .config('hive.exec.dynamic.partition.mode', 'nonstrict')\ .config('hive.exec.parallel', 'true')\ .config('hive.stats.fetch.column.stats', '..