달나라 노트

Hive에서 partition table은 아래와 같이 만들 수 있습니다. SET hive.exec.dynamic.partition = true;SET hive.exec.dynamic.partition.mode = nonstrict;create table test_schema.test_table ( col1 bigint, col2 string, col3 float, col4 string, col5 timestamp)partitioned by ( col6 bigint, col7 bigint);insert into test_schema.test_table partition (col6,..

Hive에서 schema의 정보를 보고 싶으면 show create schema을 이용하면 됩니다. Syntaxshow create schema schema_name;    show create schema test_schema;-- ResultCREATE DATABASE `test_schema`LOCATION '~~' show create schema를 사용하면 위처럼 schema와 schema의 타겟 위치가 출력됩니다.

Hive에서 table에 있는 column 등 table의 정보를 보고 싶으면 show create table을 이용하면 됩니다. Syntaxshow create table schema.table;    show create table schema.table;-- ResultCREATE TABLE `test_schema.test_table` ( `id` bigint, `name` string, `price` bigint)ROQ FORMAT SERDE 'org.apache.hadoop.hive.ql.io.orc.OrcSerde'SRORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat'OUTPUTFORMA..

cummin은 누적 최소값을 구하며cummax는 누적 최대값을 구합니다. 이는 cumsum, cumprod와 매우 유사하게 작동합니다.참고 cumsum, cumprod = https://cosmosproject.tistory.com/860    cummin부터 알아봅시다. Syntaxcummin(skipna=True/False, axis=0/1)cummax(skipna=True/False, axis=0/1) - skipnaTrue일 경우 NaN값을 무시하고 계산합니다.False일 경우 NaN값을 고려하고 계산합니다. - axis누적합을 구할 축을 지정합니다.기본값은 0이며 0으로 지정해야 컬럼 기준 누적합이 됩니다.    import pandas as pddict_test = { 'seq': [0,..