반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 |
Tags
- SQL
- math
- Tkinter
- GIT
- PySpark
- google apps script
- PostgreSQL
- list
- numpy
- Apache
- Kotlin
- 파이썬
- matplotlib
- Mac
- Google Excel
- Python
- Java
- Redshift
- hive
- array
- PANDAS
- c#
- Excel
- gas
- dataframe
- Google Spreadsheet
- django
- string
- Github
Archives
- Today
- Total
목록hive reducer max (1)
달나라 노트
Hive : hive.exec.reducers (Reducer에 메모리 할당하기)
Hive에서 큰 데이터를 다루다보면 reducer가 더 많은 메모리를 필요로 하는 경우가 있습니다. Reducer memory set hive.exec.reducers.bytes.per.reducer = 256000000; hive에서 위 setting은 하나의 reducer당 할당되는 메모리의 크기를 의미합니다. reducer 하나에 할당되는 메모리 기본값은 256MB(256,000,000B)입니다. 위 예시는 기본값인 256MB를 할당하도록 되어있지만 이걸 바꾸면 원하는 크기의 메모리를 할당할 수 있습니다. Reducer max set hive.exec.reducers.max = 128; reducer max option은 hive job마다 사용할 수 있는 최대 reducer의 개수를 정해줍니다. ..
SQL/Apache Hive
2021. 6. 4. 02:09