달나라 노트

alias method를 이용해서 spark dataframe의 컬럼에 새로운 이름을 붙여줄 수 있습니다. from pyspark.sql import SparkSession from pyspark.sql.functions import col import pandas as pd spark = SparkSession.builder.getOrCreate() df_test = pd.DataFrame({ 'a': [1, 2, 3], 'b': [10.0, 3.5, 7.315], 'c': ['apple', 'banana', 'tomato'] }) df_spark = spark.createDataFrame(df_test) df_spark = df_spark.select( col('a'), col('b'), col('c..

regexp_replace(, , ) pyspark의 regexp_replace는 위처럼 사용할 수 있습니다. 에 있는 데이터들에 대해 과 일치하는 부분을 로 바꿔서 반환합니다. from pyspark.sql import SparkSession from pyspark.sql.functions import col, regexp_replace import pandas as pd spark = SparkSession.builder.getOrCreate() df_test = pd.DataFrame({ 'a': [1, 2, 3], 'b': [10.0, 3.5, 7.315], 'c': ['apple', 'banana', 'tomato'] }) df_spark = spark.createDataFrame(df_test..