달나라 노트

pyspark를 이용하면 쿼리를 돌려서 엑셀 형태의 dataframe을 생성하고 다룰 수 있으며 쿼리를 돌리지 않아도 직접 생성할 수 있습니다. pyspark에서 dataframe을 생성하는 방법은 여러 가지가 있습니다만, pandas를 알고있다면 가장 익숙한건 pandas dataframe을 spark dataframe으로 만드는 것입니다. from pyspark.sql import SparkSession import pandas as pd spark = SparkSession.builder.getOrCreate() # 1 df_test = pd.DataFrame({ # 2 'a': [1, 2, 3], 'b': [10.0, 3.5, 7.315], 'c': ['apple', 'banana', 'tomat..

DataFrame의 fillna는 DataFrame에 존재하는 NaN값을 어떠한 값으로 채워줍니다. import pandas as pd import numpy as np dict_test = { 'col1': [1, 2, np.nan, 4, np.nan], 'col2': [np.nan, 'a', 'b', np.nan, 'z'], } df_test = pd.DataFrame(dict_test) print(df_test) df_filled = df_test.fillna('n') print(df_filled) - Output col1 col2 0 1.0 NaN 1 2.0 a 2 NaN b 3 4.0 NaN 4 NaN z col1 col2 0 1 n 1 2 a 2 n b 3 4 n 4 n z 위 예시를 보면 d..

Python Pandas에는 DataFrame을 복사하여 clipboard로 넣어주는 to_clipboard라는 기능을 제공합니다. import pandas as pd dict_test = { 'col1': [1, 2, 3, 4, 5], 'col2': [6, 7, 8, 9, 10], 'col3': [11, 12, 13, 14, 15] } df_test = pd.DataFrame(dict_test) df_test.to_clipboard(sep='\t', index=False) 위처럼 Test용 DataFrame을 만든 후 to_clipboard를 적용시킵니다. sep='\t'는 DataFrame의 column separator를 tab(\t)으로 하겠다는 뜻이고, index=False는 DataFrame의..

pandas.DataFrame.rename rename은 DataFrame의 column name이나 row index name을 변경해주는 역할을 합니다. 먼저 테스트용 DataFrame을 생성합시다. import pandas as pd dict_1 = { 'col1': [1, 2, 3, 4, 5], 'col2': [6, 7, 8, 9, 10], 'col3': [11, 12, 13, 14, 15] } df_1 = pd.DataFrame(dict_1) print(df_1) print(type(df_1)) - Output col1 col2 col3 0 1 6 11 1 2 7 12 2 3 8 13 3 4 9 14 4 5 10 15 이제 위에서 생성한 DataFrame의 컬럼명을 바꿔봅시다. import pa..