달나라 노트

- S3를 이용하는 구문들에 대한 설명은 아래 링크 참조 S3 server에 data 올리기 (csv format) = https://cosmosproject.tistory.com/176 Redshift : unload & copy (s3 서버에 query 결과 upload하기, s3서버에서 파일 불러와 database table 만들기. CSV redshift의 unload 구문은 query결과를 s3 서버에 파일의 형식으로 업로드할 수 있게 해줍니다. copy 구문은 반대로 s3 서버에 있는 파일을 불러와 database 내의 table로 만들 수 있도록 해줍니다. 예시를 보 cosmosproject.tistory.com 이번에는 parquet format을 이용해서 Redshift, Hive등의 d..

drop view if exists test_temporary_table; create temporary view test_temporary_table as select current_date ; select * from test_temporary_table ; -> 결과 : 2020-12-17 drop view if exists test_temporary_table; drop view view_name은 어떤 이름의 view를 삭제하는데 사용됩니다. 여기에 if exists라는 키워드를 붙이면 해당 view가 존재한다면 삭제하고 존재하지않는다면 그냥 넘어가게됩니다. 즉, 존재하지 않는 view를 drop하려할 때 생기는 에러를 방지할 수 있죠. create temporary view test_tempo..

일반적으로 drop table (if exists) 위처럼 drop table 구문을 사용하면 table이 drop되긴 하지만 휴지통 directory에 해당 table이 이동되며 drop된 table을 복구할 수 있습니다. drop table (if exists) purge 그런데 위처럼 drop table 구문의 가장 끝에 purge를 적어주면 table drop 시에 휴지통 directory로 이동하지 않고 완전히 table이 삭제되며 이 경우 table 복구가 불가능합니다.

Hive에서 s3 서버를 다룰 수 있는 방법을 알아봅시다. ----- Hive database -> S3 server ----- drop table if exists test_schema.test_table; create external table test_schema.test_table ( col_1 bigint, col_2 string ) row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde' -- row format delimited fields terminated by ',' -- lines terminated by '\n' stored as textfile location 's3://root_dir/test_dir/' ; ----- Inse..