반응형
Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | ||||
4 | 5 | 6 | 7 | 8 | 9 | 10 |
11 | 12 | 13 | 14 | 15 | 16 | 17 |
18 | 19 | 20 | 21 | 22 | 23 | 24 |
25 | 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- Github
- matplotlib
- array
- PANDAS
- google apps script
- GIT
- Python
- Google Excel
- string
- 파이썬
- Mac
- numpy
- Google Spreadsheet
- Redshift
- list
- PostgreSQL
- PySpark
- c#
- dataframe
- hive
- Java
- Tkinter
- Kotlin
- SQL
- django
- math
- gas
- Apache
- Excel
Archives
- Today
- Total
목록createDataFrame (1)
달나라 노트
Python pyspark : createDataFrame (spark dataframe 생성하기. pandas dataframe을 spark dataframe으로 변환하기. spark dataframe을 pandas dataframe으로 변환하기)
pyspark를 이용하면 쿼리를 돌려서 엑셀 형태의 dataframe을 생성하고 다룰 수 있으며 쿼리를 돌리지 않아도 직접 생성할 수 있습니다. pyspark에서 dataframe을 생성하는 방법은 여러 가지가 있습니다만, pandas를 알고있다면 가장 익숙한건 pandas dataframe을 spark dataframe으로 만드는 것입니다. from pyspark.sql import SparkSession import pandas as pd spark = SparkSession.builder.getOrCreate() # 1 df_test = pd.DataFrame({ # 2 'a': [1, 2, 3], 'b': [10.0, 3.5, 7.315], 'c': ['apple', 'banana', 'tomat..
Python/Python pyspark
2021. 5. 19. 04:46