반응형
Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
Tags
- Google Spreadsheet
- 파이썬
- google apps script
- math
- Github
- Apache
- Redshift
- string
- Tkinter
- gas
- PySpark
- Mac
- list
- Google Excel
- django
- Python
- numpy
- matplotlib
- PostgreSQL
- SQL
- PANDAS
- array
- Excel
- GIT
- Kotlin
- dataframe
- hive
- Java
- c#
Archives
- Today
- Total
달나라 노트
Hive : IllegalArgumentException Size requested for unknown type: java.util.Collection 본문
SQL/Apache Hive
Hive : IllegalArgumentException Size requested for unknown type: java.util.Collection
CosmosProject 2024. 8. 22. 20:01728x90
반응형
IllegalArgumentException Size requested for unknown type: java.util.Collection
Hive에서 위같은 에러가 발생할 때가 있습니다.
그럴 땐 두 가지 방법으로 해결할 수 있습니다.
첫 번째는 아래처럼 hive.map.aggr 옵션을 false로 지정하는 것입니다.
SET hive.map.aggr = false;
두 번째는 COLLECT_SET() 대신 ARRAY_AGG(DISTINCT ~~) function을 사용하는 것입니다.
COLLECT_SET()이 중복값을 제거하고 값을 Array로 연결해주는 것이기 때문에
ARRAY_AGG()에 DISTINCT를 같이 사용해서 COLLECT_SET()과 동일한 기능을 구현할 수 있습니다.
FYI.
https://www.sqlines.com/hive-to-trino/collect_set
728x90
반응형
'SQL > Apache Hive' 카테고리의 다른 글
| Hive : alter table ~ drop partition, partition drop, partition 지우기, partition 삭제 (0) | 2024.08.22 |
|---|---|
| Hive : Partition table 만들기, partition에 insert하기 (0) | 2024.08.22 |
| Hive : show create schema (schema information) (0) | 2024.08.06 |
| Hive : show create table (table 정보 보기, table column list, table information) (0) | 2024.08.06 |
| Hive : percentile (백분률 구하기, 백분위 구하기) / 백분위로 중간값(median) 구하기 (0) | 2023.11.28 |