목록s3 server (2)

달나라 노트

Redshift : unload & copy (Manifest format으로 s3 서버에 query 결과 upload하기, s3서버에서 파일 불러와 database table 만들기)

Redshift -> S3 -- Redshift -> S3 unload (' ----- (S3 server에 올릴 data를 추출하는 query) select item_id , item_name , price from test_table -- where valid in (''valid'') ----- (쿼리가 따옴표로 감싸져있기때문에 따옴표 2개로 string을 감싸야함.) ') to 's3://items/price_info/' ----- (unload 속에 적힌 query 결과가 저장될 s3 server의 경로) iam_role 'credential' ----- (s3 server에 로그인하기 위한 credential) manifest ----- (manifest format으로 저장) delimite..
SQL/Redshift 2021. 7. 9. 23:31
Python pyspark : write, option, saveAsTable (spark dataframe을 AWS s3에 업로드하기)

spark dataframe은 table에 삽입될 수도 있지만 AWS s3 server에 upload될 수도 있습니다. from pyspark.sql import SparkSession spark = SparkSession.builder\ # 1 .appName('Test_runner')\ .config('hive.mapred.mode', 'nonstrict')\ .config('hive.exec.dynamic.partition', 'true')\ .config('hive.exec.dynamic.partition.mode', 'nonstrict')\ .config('hive.exec.parallel', 'true')\ .config('hive.stats.fetch.column.stats', 'true')..
Python/Python pyspark 2021. 5. 19. 06:14
Prev 1 Next