목록2024/08/22 (5)

달나라 노트

Hive : IllegalArgumentException Size requested for unknown type: java.util.Collection

IllegalArgumentException Size requested for unknown type: java.util.Collection Hive에서 위같은 에러가 발생할 때가 있습니다. 그럴 땐 두 가지 방법으로 해결할 수 있습니다. 첫 번째는 아래처럼 hive.map.aggr 옵션을 false로 지정하는 것입니다.SET hive.map.aggr = false;    두 번째는 COLLECT_SET() 대신 ARRAY_AGG(DISTINCT ~~) function을 사용하는 것입니다.COLLECT_SET()이 중복값을 제거하고 값을 Array로 연결해주는 것이기 때문에ARRAY_AGG()에 DISTINCT를 같이 사용해서 COLLECT_SET()과 동일한 기능을 구현할 수 있습니다.  FYI.htt..
SQL/Apache Hive 2024. 8. 22. 20:01
GraphQL : Open API of GraphQL, GraphQL open API

- GraphQL 기능을 제공하는 OpenAPI 사이트 https://swapi-graphql.netlify.app/ SWAPI GraphQL API swapi-graphql.netlify.app  https://anilist.co/graphiql https://anilist.co/graphiql anilist.co     - GraphQL tutorial or learning https://graphql.org/learn/ Introduction to GraphQL | GraphQLCopyright © 2024 The GraphQL Foundation. All rights reserved. For web site terms of use, trademark policy and general project..
GraphQL 2024. 8. 22. 19:48
GraphQL : 존재하는 field 리스트 출력

GraphQL에서 아래 query를 이용하면 존재하는 모든 type field 정보를 얻어올 수 있습니다. { __schema { types { name fields { name description } } }}     https://stackoverflow.com/questions/34199982/how-to-query-all-the-graphql-type-fields-without-writing-a-long-query
GraphQL 2024. 8. 22. 19:43
Hive : alter table ~ drop partition, partition drop, partition 지우기, partition 삭제

Hive에서 partition을 없애는 방법은 alter table을 이용하는 것입니다. alter table test_schema.test_tabledrop if exists partition ( dt >= 20240601, dt  위 query는 dt 컬럼을 partition으로 가지고 있는 test_schema.test_table 테이블에서 특정 값을 가진 partition을 없애는 쿼리입니다. drop if exists partition을 보면if exists를 적을 경우 drop 할 partition이 보이지 않는다면 별도로 drop하지 않고 지나갑니다.   dt >= 20240601, dt  조건을 보면 위처럼 되어있기 때문에dt 컬럼의 값이 20240601 이상이고, d..
SQL/Apache Hive 2024. 8. 22. 19:38
Prev 1 2 Next