달나라 노트

DataFrame은 기본적으로 index가 0부터 1씩 증가하는 정수로 생성됩니다. 다만 set_index를 이용하면 DataFrame의 index를 원하는대로 변경할 수 있습니다. Syntax set_index(keys=[k1, k2, ...], inplace=True/False, drop=True/False) 사용법은 위와 같습니다. keys=[k1, k2, ...] index로 설정할 list 형태의 데이터입니다. index는 보통 1줄이지만 2줄 3줄 또는 그 이상이 될 수도 있습니다. (다중 index가 가능하다는 의미입니다.) k1은 index 한 줄 이라고 보시면 됩니다. 예를들어 총 10행의 데이터를 가진 DataFrame의 index를 변경하려면 k1의 자리에 [1, 2, 3, 4, 5,..

Spark dataframe에 drop method를 적용하면 특정 column을 제거(drop)할 수 있습니다. from pyspark.sql import SparkSession from pyspark.sql.functions import col import pandas as pd spark = SparkSession.builder.getOrCreate() df_test = pd.DataFrame({ 'a': [1, 2, 3], 'b': [10.0, 3.5, 7.315], 'c': ['apple', 'banana', 'tomato'] }) df_spark = spark.createDataFrame(df_test) df_spark.show() df_spark_new = df_spark.drop(df_sp..