달나라 노트

Hive에서는 기본적으로 partition이 있는 table은 partition 조건을 명시해야합니다. (data full scan은 성능에 영향을 미칠 수 있기 때문이죠.) 만약 partition 조건을 명시하지 않으면 Error가 발생합니다. 그런데 사용하다보면 partition 조건 없이 table full scan을 해야하는 경우가 있죠. set hive.mapred.mode = nonstrict; 이 경우 위처럼 hive.mapred.mode를 nonstrict 모드로 설정해주면 partition table에 대해서도 table full scan이 가능해집니다. 참고 위같은 option은 그냥 쿼리돌리듯이 돌리면 설정됩니다. Apache Hive document = https://cwiki.ap..

Hive에서 큰 데이터를 다루다보면 reducer가 더 많은 메모리를 필요로 하는 경우가 있습니다. Reducer memory set hive.exec.reducers.bytes.per.reducer = 256000000; hive에서 위 setting은 하나의 reducer당 할당되는 메모리의 크기를 의미합니다. reducer 하나에 할당되는 메모리 기본값은 256MB(256,000,000B)입니다. 위 예시는 기본값인 256MB를 할당하도록 되어있지만 이걸 바꾸면 원하는 크기의 메모리를 할당할 수 있습니다. Reducer max set hive.exec.reducers.max = 128; reducer max option은 hive job마다 사용할 수 있는 최대 reducer의 개수를 정해줍니다. ..

Hive에선 collect_list, collect_set이라는 함수를 제공합니다. 이는 여러 행의 데이터를 합칠 때 사용합니다. 마치 Redshift의 listagg와 비슷한 함수라고 생각하면 되겠네요. Table name = employees department_no join_dt name 10 2020-02-01 Bero 10 2020-02-02 Alice 10 2020-02-03 Alice 20 2020-02-03 Dave 20 2020-02-02 Hella 20 2020-02-04 Alice 30 2020-02-06 Grace 30 2020-02-04 Irene 30 2020-02-05 Hella 위와 같은 table이 있다고 가정해봅시다. selectdepartment_no , collect_..

truncate table talbe_name; 위 구문은 table_name이라는 이름의 테이블 속 데이터를 모두 삭제합니다. (table 속 데이터만 없어지는 것이고 table 자체와 해당 table에 존재했던 컬럼들은 보존됩니다.)