달나라 노트

pandas의 to_dict는 DataFrame에 적용하여 DataFrame을 dictionary로 변경해줍니다. import pandas as pd dict_1 = { 'col1': [1, 2, 3, 4, 5], 'col2': [6, 7, 8, 9, 10], 'col3': [11, 12, 13, 14, 15] } df_1 = pd.DataFrame(dict_1) print(df_1) dict_1 = df_1.to_dict() print(dict_1) -- Result col1 col2 col3 0 1 6 11 1 2 7 12 2 3 8 13 3 4 9 14 4 5 10 15 {'col1': {0: 1, 1: 2, 2: 3, 3: 4, 4: 5}, 'col2': {0: 6, 1: 7, 2: 8, 3: 9..

DataFrame은 기본적으로 index가 0부터 1씩 증가하는 정수로 생성됩니다. 다만 set_index를 이용하면 DataFrame의 index를 원하는대로 변경할 수 있습니다. Syntax set_index(keys=[k1, k2, ...], inplace=True/False, drop=True/False) 사용법은 위와 같습니다. keys=[k1, k2, ...] index로 설정할 list 형태의 데이터입니다. index는 보통 1줄이지만 2줄 3줄 또는 그 이상이 될 수도 있습니다. (다중 index가 가능하다는 의미입니다.) k1은 index 한 줄 이라고 보시면 됩니다. 예를들어 총 10행의 데이터를 가진 DataFrame의 index를 변경하려면 k1의 자리에 [1, 2, 3, 4, 5,..

min, max method를 이용하면 컬럼간의 값 비교가 가능해집니다. import pandas as pd import numpy as np dict_test = { 'col1': [1, 2, np.nan, 4, 5], 'col2': [6, 2, 7, 3, 9], 'col3': [10, 6, 22, np.nan, 21] } df_test = pd.DataFrame(dict_test) print(df_test) -- Result col1 col2 col3 0 1.0 6 10.0 1 2.0 2 6.0 2 NaN 7 22.0 3 4.0 3 NaN 4 5.0 9 21.0 먼저 test용 DataFrame을 위처럼 생성합시다. import pandas as pd import numpy as np dict_tes..

pyspark를 이용하면 쿼리를 돌려서 엑셀 형태의 dataframe을 생성하고 다룰 수 있으며 쿼리를 돌리지 않아도 직접 생성할 수 있습니다. pyspark에서 dataframe을 생성하는 방법은 여러 가지가 있습니다만, pandas를 알고있다면 가장 익숙한건 pandas dataframe을 spark dataframe으로 만드는 것입니다. from pyspark.sql import SparkSession import pandas as pd spark = SparkSession.builder.getOrCreate() # 1 df_test = pd.DataFrame({ # 2 'a': [1, 2, 3], 'b': [10.0, 3.5, 7.315], 'c': ['apple', 'banana', 'tomat..