티스토리

달나라 노트

검색하기

블로그 홈

달나라 노트

cosmosproject.tistory.com/m

CosmosProject 님의 블로그입니다.

구독자: 25

방명록 방문하기

주요 글 목록

Redshift : REGEXP_SUBSTR() (정규표현식 추출, 패턴 문자 추출, Regular Expression Substring) Redshift에서 REGEXP_SUBSTR() 함수는 특정한 패턴을 주고 이 패턴에 일치하는 문자열을 return합니다. Syntaxregexp_substr(string, pattern, start_position, occurence, search_parameter) - stringpattern 검색을 할 대상이 될 string 또는 column 이름 입니다. - pattern검색할 pattern입니다. - start_positionstring에서 몇 번째 문자부터 검색을 시작할지를 나타냅니다.1을 전달할 경우 string의 가장 첫 번째 문자부터 pattern 검색을 시작합니다.(1이 default 값입니다.) - occurencestring에서 pattern과 맞는 부분이 여러 개 발견될 경우 몇.. 공감수 0 댓글수 0 2024. 5. 2.
Redshift : current_database (현재 database 이름 출력) Redshift에서 현재 사용중인 database의 이름을 알고 싶으면 current_datebase를 이용하면 됩니다. select current_database() ; -- Result sandbox 공감수 0 댓글수 0 2024. 4. 4.
Redshift : current_user (현재 사용중인 user id 출력) Redshift에서 현재 query를 돌리는 user를 알고 싶으면 current_user를 사용하면 됩니다. select current_user ; -- Result test_user_1 공감수 0 댓글수 0 2024. 4. 4.
Redshift : svv_all_schemas (Database에 있는 schema 종류 보기) Database에 존재하는 모든 schema와 각 schema에 대한 정보를 얻기 위해선 아래 쿼리를 사용하면 됩니다. select * from svv_all_schemas ; 그러면 결과로 database_name, schema_name, schema_owner 등 schema에 대한 다양한 정보를 얻을 수 있습니다. 공감수 0 댓글수 0 2024. 4. 1.
Redshift : to_timestamp() (timestamp로 변환) to_timestamp() 함수는 날짜/시간 형태의 문자열이나 timestamp type의 데이터를 받아 원하는 timestampz로 변환합니다. Syntax to_timestamp(timestamp/timestamp_string, format) - timestamp/timestamp_string timestamp로 type을 변환할 대상 timestamp 또는 날짜/시간 형태의 문자열을 전달합니다. - format timestamp/timestamp_string 이 어떤 형태를 가지고 있는지에 대한 pattern을 의미합니다. select to_timestamp('20230101_082739', 'yyyymmdd_HH24MISS') -- Result 2023-01-01 08:27:39.000000 +0.. 공감수 0 댓글수 0 2023. 10. 10.
Redshift : next_day() (다음 특정 요일의 날짜) Redshift의 next_day() 함수는 어떤 timestamp로부터 가장 가까운 미래의 어떤 요일의 날짜를 return해줍니다. Syntax next_day(timestamp, weekday) - timestamp 기준이 되는 날짜시점입니다. - weekday 가장 가까운 미래의 어떤 요일을 의미합니다. 예시로 보는게 더 이해가 빠를겁니다. select current_date --> 2023-09-20 , next_day(current_date, 'mon') as next_mon --> 2023-09-25 , next_day(current_date, 'tue') as next_tue --> 2023-09-26 , next_day(current_date, 'wed') as next_wed --> 20.. 공감수 0 댓글수 0 2023. 9. 20.
Redshift : json_extract_array_element_text() (Redshift에서 array indexing하기, array 선택하기, array 값 추출) Redshift에서 json_extract_array_element_text() 함수는 indexing을 통해 array에서 값을 추출해줍니다. Syntax json_extract_array_element_text(json_array_text, index) 사용법은 위와 같습니다. json_array_text -> JSON array 형태로 된 text를 받습니다. index -> 추출할 index의 번호를 의미합니다. select '["apple", "banana", "pineapple", "peach"]' as json_arr_text , json_extract_array_element_text(json_arr_text, 0) as col0 , json_extract_array_element_text.. 공감수 0 댓글수 0 2023. 8. 4.
Redshift : json_extract_path_text() (Redshift에서 JSON data 참조하기, Redshift dictionary) Redshift에서 json_extract_path_text() 함수를 사용하면 JSON 형태로 존재하는 text를 JSON을 다루듯이 사용할 수 있습니다. Syntax json_extract_path_text(json_text, key1, key2, ...) 사용법은 위와 같습니다. 첫 번째 인자로 JSON 형태의 텍스트를 받습니다. 그리고 두번째부터는 JSON에 있는 key값을 적어주면 됩니다. select '{"apple": 20000, "banana": 8000, "peach": 22000}' as json_string , json_extract_path_text(json_string, 'apple') --> 20000 , json_extract_path_text(json_string, 'bana.. 공감수 0 댓글수 0 2023. 8. 4.
Redshift : last_day() (특정 날짜가 속한 월의 가장 마지막 날짜 return) Redshift의 last_day 함수는 특정 날짜가 속한 달의 마지막 날짜를 return해줍니다. Syntax last_day(date or timestamp) 사용법은 간단합니다. parameter로써 날짜 type의 데이터나 timestamp type의 데이터를 받습니다. select last_day(to_date('20230216', 'yyyymmdd')) ; -- Result 2023-02-28 위 예시는 last_day 함수에 20230216이라는 날짜를 전달한 것입니다. (날짜를 전달할 땐 to_date 함수를이용해서 날짜 형식으로 바꿔줍니다.) 결과를 보면 2023년 2월의 마지막 날짜인 2023-02-28이 return됩니다. select last_day(to_date('20230908'.. 공감수 0 댓글수 0 2023. 2. 23.
Redshift : table 생성 일시 추출, table 생성 시점 추출 Table의 생성 시점을 보기 위해선 아래 query를 실행하면 됩니다. select nspname as schema_name , relname as table_name , relcreationtime as creation_time from pg_class_info as pci -- left join pg_namespace as pns on pns.oid = pci.relnamespace -- where pci.reltype != 0 and pns.nspname = 'schema_name' and pci.relname = 'table_name' ; 공감수 0 댓글수 0 2023. 1. 31.
Redshift : pg_tables (table 종류, owner 종류 추출) select * from pg_tables ; Redshift에서는 pg_table를 이용하면 database에 있는 table의 종류와 각 tabe의 owner를 알 수 있습니다. 공감수 0 댓글수 0 2023. 1. 31.
Redshift : set timezone (timezone 설정, 시간대 설정) set timezone syntax를 이용하면 특정 지역에 대한 시간대를 설정할 수 있습니다. 즉, 서버에 기본으로 적용되어있는 시간대를 무시하고 내가 설정한 시간대를 이용할 수 있습니다. Syntax set timezone to 'area' area는 원하는 지역의 이름을 의미합니다. set timezone to 'Asia/Seoul'; 위 구문을 실행하면 Asia의 Seoul로 timezone이 설정됩니다. set timezone to 'America/New_York' 위 구문은 America의 New_York으로 timezone을 설정합니다. set timezone to default; 위 구문은 system default값으로 timezone을 설정하며 보통 UTC를 의미합니다. 이렇게 timez.. 공감수 0 댓글수 0 2023. 1. 31.
Redshift : alter table ~ drop column ~ (column 삭제, column 제거) alter table 구문을 이용해서 table에 존재하는 column을 삭제할 수 있습니다. Syntax alter table (table_name) drop column (column_name) (table_name) = 변경 사항을 적용할 table 이름입니다. (column_name) = 삭제할 column의 이름입니다. create table test_schema.test_table ( col1 bigint, col2 varchar(60), col3 date, col4 timestamp ) ; 테스트를 위해 위처럼 test_schema.test_table을 생성합시다. column은 col1, col2, col3, col4 총 4개가 존재합니다. alter table test_schema.tes.. 공감수 0 댓글수 0 2022. 10. 19.
Redshift : alter table ~ add ~ (column 추가, column 추가하기) alter table 구문을 이용해서 table에 새로운 컬럼을 추가해봅시다. Syntax alter table (table_name) add (column_name) (data_type) (table_name) = 변경 사항을 적용할 table 이름입니다. (column_name) = 새롭게 추가할 column의 이름입니다. (data_type) = 새롭게 추가할 column의 data type입니다. create table test_schema.test_table ( col1 bigint, col2 varchar(60), col3 date, col4 timestamp ) ; 테스트를 위해 위처럼 test_schema.test_table을 생성합시다. column은 col1, col2, col3, co.. 공감수 0 댓글수 0 2022. 10. 19.
Redshift : alter table ~ rename column ~ (column 이름 변경, column 이름 바꾸기) alter table 구문을 이용하면 table에 존재하는 column의 이름을 바꿀 수 있습니다. Syntax alter table (table_name) rename column (original_column_name) to (new_column_name) (table_name) = 변경 내용을 적용할 table 이름 (original_column_name) = 이름을 변경할 기존의 column 이름 (new_column_name) = 변경할 새로운 column 이름 alter table test_schema.test_table rename column col3 to dt_col; 위 예시에 있는 alter table 구문을 실행하면 test_schema.test_table에 있는 col3 컬럼 이름.. 공감수 0 댓글수 0 2022. 10. 19.
Redshift : alter table ~ alter column/modify column ~ type ~ (varchar type column의 크기 제한 변경, column 최대 크기 제한 변경, column data type 변경) alter table ~ alter column/modify column ~ type ~ 구문을 사용하면 column의 data type을 변경할 수 있습니다. Syntax alter table (table_name) alter column (column_name) type (data_type) alter table (table_name) modify column (column_name) type (data_type) alter table (table_name) modify (column_name) type (data_type) alter table로 column의 data type을 바꾸기 위한 syntax로는 대표적으로 위 3가지가 있습니다. 위 3가지 형식은 사용하는 DB의 종류와 version에 .. 공감수 0 댓글수 0 2022. 10. 19.
Redshift : alter table ~ rename to ~ (table 이름 변경, table 명 바꾸기) alter table ~ rename to ~ 구문을 사용하면 table의 이름을 바꿀 수 있습니다. Syntax alter table (original_table_name) rename to (new_table_name) (original_table_name) = 기존 테이블 이름입니다. schema와 table 이름 모두를 적어야합니다. (new_table_name) = 새로운 테이블 이름입니다. schema 이름은 생략하고 table 이름만 적어야 합니다. alter table test_schema.first_table rename to second_table ; 현재 test_schema.first_table이라는 테이블이 있다고 가정해봅시다. 그리고 이 table의 이름을 test_schema... 공감수 0 댓글수 0 2022. 10. 19.
Redshift : show table (DDL information, DDL 정보 출력, 테이블 정보 출력, table information, Data Definition Language) SQL을 다루다보면 어떤 table의 정보가 필요한 경우가 있습니다. 여기서 말하는 정보란 table에 존재하는 column의 종류, column의 자료형(data type), column에 들어갈 수 있는 데이터의 최대 크기 등을 의미합니다. 이러한 정보들을 DDL(Data Definition Language, Data Description Language)이라고 합니다. SQL에서 DDL이란 보통 table의 이름, table에 존재하는 column 종류, 각 column의 data type, column들이 수용할 수 있는 데이터의 최대 크기, distinct key, sort key 등 table의 특징에 관한 정보를 담은 내용을 의미합니다. (더 자세하고 정확히 말하면 위 설명보다 더 상세한 정.. 공감수 0 댓글수 0 2022. 10. 14.
Redshfit : information_schema, information_schema.tables, information_schema.columns (table list, column list) information_schema를 이용하면 DB에 존재하는 table의 리스트 또는 column의 리스트 등 table에 대한 다양한 정보를 얻을 수 있습니다. select * from information_schema.tables ; 위 쿼리를 돌리면 현재 DB에 존재하는 table의 list를 얻을 수 있습니다. output되는 대표적인 정보로는 아래와 같은 것들이 있습니다. - table이 속한 cluster 정보 - table의 schema - table의 이름 select * from information_schema.columns ; information_schema의 columns에는 테이블의 정보와 테이블에 속한 column의 정보까지 들어있습니다. output되는 대표적인 정보로는 아래.. 공감수 0 댓글수 0 2022. 5. 24.
Redshift : pg_catalog.pg_namespace, pg_catalog.pg_user (Schema list) pg_catalog를 이용하면 DB에 있는 Schema list를 얻을 수 있습니다. select * from pg_catalog.pg_namespace ; pg_catalog의 pg_namespace에서 select를 하면 schema list와 schema의 owner id를 얻을 수 있습니다. select * from pg_catalog.pg_user ; pg_catalog.pg_user에는 user 정보가 저장되어있습니다. pg_user의 usesysid 컬럼과 pg_namespace의 nspowner 컬럼이 user id를 의미하므로 이 두 컬럼을 join하서 사용하면 됩니다. 공감수 0 댓글수 0 2022. 5. 24.
Redshift : fnv_hash (데이터를 FNV hash값으로 변환하기) Redshift에서 제공하는 fnv_hash함수는 모든 데이터를 64비트 FNV-1a 비암호화 hash 값으로 변환해줍니다. Syntax fnv_hash(value) 사용은 위처럼 간단하게 fnv hash값으로 변환할 value만 전달해주면 됩니다. select fnv_hash(1); --> -5968735742475085900 select fnv_hash(58); --> -8267080261417850737 select fnv_hash('apple'); --> -627580740061692481 select fnv_hash('sky'); --> -9060523260731967306 select fnv_hash('Amazon'); --> -4105363379246965939 select fnv_hash(.. 공감수 0 댓글수 0 2021. 10. 27.
Redshift : exp (자연 상수 e. Euler's number) Redshift에서 exp 함수를 이용하면 자연상수를 지수함수처럼 이용할 수 있습니다. Syntax exp(x) exp(x)는 e^x와 같습니다. 지수함수라고 보시면 됩니다. select exp(1), --> 2.718281828459045 exp(0), --> 1 exp(1) - 1, --> 1.718281828459045 1 / exp(1) --> 0.367879441171442 ; exp(1) = e^1 = e = 2.718281828459045 exp(0) = e^0 = 1 exp(1) - 1 = e^1 - 1 = e - 1 = 1.718281828459045 1 / exp(1) = 1 / e^1 = 1 / e = 0.367879441171442 공감수 0 댓글수 0 2021. 9. 30.
Redshift : split_part (특정 구분자를 기준으로 텍스트 나누기) Redshift의 split_part 함수를 사용하면 특정 구분자를 기준으로 텍스트를 나눌 수 있습니다. Syntax split_part(text, delimiter, part) text = split_part를 적용할 original text입니다. delimiter = text를 어떤 것을 기준으로 나눌지에 대한 구분자입니다. part = delimiter를 기준으로 나뉜 text 중 몇 번째 text를 return할지에 대한 숫자를 적습니다. 반드시 0 이상이어야 하며 part의 숫자가 나뉜 text 개수보다 더 많다면 공백을 return합니다. select split_part('10, cc, 3, bb, 5, aa', ', ', 1), --> 10 split_part('10, cc, 3, bb, .. 공감수 0 댓글수 0 2021. 9. 30.
Redshift : strpos (특정 문자열 위치 찾기) 특정 문자열 내에서 원하는 sub text의 위치를 찾을 때에는 strpos 함수를 사용할 수 있습니다. Syntax strpos(text1, text2) text1에서 text2의 위치를 찾습니다. select strpos('watermelon', 'me'); --> 1. 6 select strpos('watermelon', 'elon'); --> 2. 7 1. watermelon에서 me라는 글자를 찾으면 water'me'lon 여기에 있죠. 가장 첫 번째 글자인 w의 위치가 1번이며 그 후로 1씩 늘어갑니다. 그러면 me의 위치가 시작되는 부분은 6이겠죠. 따라서 6이 return됩니다. 2. watermelon에서 elon이라는 글자를 찾으면 waterm'elon' 여기에 있죠. 가장 첫 번째 글.. 공감수 0 댓글수 0 2021. 9. 13.
Redshift : substring (문자열 추출하기) 어떤 문자열 안에 있는 내부 문자열을 추출하고싶다면 substring 함수를 사용할 수 있습니다. Syntax substring(text, position1, position2) Syntax는 위와 같습니다. text에서 position1(숫자)에 적힌 위치로부터 position2(숫자) 만큼의 길이의 텍스트를 추출합니다. select substring('CONGRATULATIONS', 1, 1); --> 1. C select substring('CONGRATULATIONS', 1, 2); --> 2. CO select substring('CONGRATULATIONS', 2, 1); --> 3. O select substring('CONGRATULATIONS', 2, 3); --> 4. ONG selec.. 공감수 0 댓글수 0 2021. 9. 13.
Redshift : current_date, sysdate, getdate (현재 날짜, 현재 시간 얻기) Redshift에서 현재 날짜 또는 현재 시간을 추출할 수 있는 방법을 알아봅시다. select current_date; -- Result 2021-08-25 먼저 current_date입니다. current_date는 현재 날짜를 반환해줍니다. select to_char(current_date, 'yyyymmdd'); -- Result 20210825 current_date로 반환되는 날짜의 data type은 날짜이기때문에 to_char 함수와 같이 사용할 수 있습니다. select sysdate, --> 2021-08-25 19:38:52.382610 getdate() --> 2021-08-25 19:38:52.000000 ; sysdate와 getdate 함수는 현재 날짜와 시간을 반환해줍니다. .. 공감수 0 댓글수 0 2021. 8. 25.
Redshift : unload & copy (Manifest format으로 s3 서버에 query 결과 upload하기, s3서버에서 파일 불러와 database table 만들기) Redshift -> S3 -- Redshift -> S3 unload (' ----- (S3 server에 올릴 data를 추출하는 query) select item_id , item_name , price from test_table -- where valid in (''valid'') ----- (쿼리가 따옴표로 감싸져있기때문에 따옴표 2개로 string을 감싸야함.) ') to 's3://items/price_info/' ----- (unload 속에 적힌 query 결과가 저장될 s3 server의 경로) iam_role 'credential' ----- (s3 server에 로그인하기 위한 credential) manifest ----- (manifest format으로 저장) delimite.. 공감수 1 댓글수 0 2021. 7. 9.
Redshift : like & ilike (텍스트 패턴 매칭, text pattern matching) SQL에서 어떤 패턴의 텍스트를 찾아낼 때 흔히 사용하는 operator로는 like와 ilike가 있습니다. Syntax some_text like 'pattern' some_text ilike 'pattern' Syntax는 위와 같습니다. some_text 속에 pattern과 일치하는 부분이 있다면 True를 반환하고, pattern과 일치하는 부분이 없다면 False를 반환합니다. some_text는 column 이름으로 대체 가능합니다. like와 ilike는 동일한 기능을 가지지만 차이점은 다음과 같습니다. like = 대소문자 구분(case sensitive) (e.g. a와 A는 다르다고 판단) ilike = 대소문자 구분 안함(case insensitive) (e.g. a와 A는 동일하.. 공감수 1 댓글수 0 2021. 7. 7.
Redshift : values too long for type character varying error 해결하기 table을 생성하고 insert into로 데이터를 insert하거나 update를 할 때 아래와 같은 에러가 발생할 수 있습니다. values too long for type character varying 위 에러는 table에 있는 column의 최대 길이보다 insert 또는 update할 값의 길이가 더 길어서 값을 담지 못할 때 발생합니다. 이런 경우 alter table, alter column을 이용하여 column의 최대 길이를 늘려주면 됩니다. Syntax는 아래와 같습니다. alter table table_name alter column column_name type data_type ; alter table main.items alter column item_name type va.. 공감수 0 댓글수 0 2021. 6. 16.
Redshift : delete, insert, update (테이블의 데이터 삭제, 삽입, 변경) delete from syntax delete from table_name where condition; table_name이라는 table에서 명시한 condition이 True인 행(row)들을 삭제합니다. delete from test_table where dy > 20201110; 위처럼 적게되면 test_table에 있는 dy컬럼의 데이터가 20201120보다 큰 값을 가진 행(row)을 모두 삭제하게됩니다. delete from test_table; 만약 조건을 명시하지 않는다면 해당 테이블의 모든 데이터가 지워집니다.(단, 테이블은 그대로 남아있습니다.) insert into syntax insert into table_name values (value1, value2, ...) ; inse.. 공감수 0 댓글수 0 2021. 6. 16.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.