달나라 노트

SQL을 다루다보면 어떤 table의 정보가 필요한 경우가 있습니다. 여기서 말하는 정보란 table에 존재하는 column의 종류, column의 자료형(data type), column에 들어갈 수 있는 데이터의 최대 크기 등을 의미합니다. 이러한 정보들을 DDL(Data Definition Language, Data Description Language)이라고 합니다. SQL에서 DDL이란 보통 table의 이름, table에 존재하는 column 종류, 각 column의 data type, column들이 수용할 수 있는 데이터의 최대 크기, distinct key, sort key 등 table의 특징에 관한 정보를 담은 내용을 의미합니다. (더 자세하고 정확히 말하면 위 설명보다 더 상세한 정..

pyhive 라이브러리는 python에서 서버에 접근하여 Hive SQL query를 실행할 수 있도록 해줍니다. 이번에는 pyhive 라이브러리를 이용해서 Hive query를 돌리는 예시를 봐봅시다. 아래 코드가 가장 기본적인 pyhive 사용 예시입니다. from pyhive import hive import pandas as pd hive_con = hive.Connection( host='test_host', port=10000, username='test_user_id', password='test_user_password', database='default', auth='LDAP' ) cursor = hive_con.cursor() test_query = ''' select tt.id, tt..

Redshift에서 제공하는 fnv_hash함수는 모든 데이터를 64비트 FNV-1a 비암호화 hash 값으로 변환해줍니다. Syntax fnv_hash(value) 사용은 위처럼 간단하게 fnv hash값으로 변환할 value만 전달해주면 됩니다. select fnv_hash(1); --> -5968735742475085900 select fnv_hash(58); --> -8267080261417850737 select fnv_hash('apple'); --> -627580740061692481 select fnv_hash('sky'); --> -9060523260731967306 select fnv_hash('Amazon'); --> -4105363379246965939 select fnv_hash(..

어떤 문자열 안에 있는 내부 문자열을 추출하고싶다면 substring 함수를 사용할 수 있습니다. Syntax substring(text, position1, position2) Syntax는 위와 같습니다. text에서 position1(숫자)에 적힌 위치로부터 position2(숫자) 만큼의 길이의 텍스트를 추출합니다. select substring('CONGRATULATIONS', 1, 1); --> 1. C select substring('CONGRATULATIONS', 1, 2); --> 2. CO select substring('CONGRATULATIONS', 2, 1); --> 3. O select substring('CONGRATULATIONS', 2, 3); --> 4. ONG selec..