Python Pandas : Multi index 없애기, 다중 column 없애기, multi column 없애기
Pandas를 통해서 데이터를 다루다 보면 간혹 multi index가 생기는 경우가 있습니다.
특히 pivot_table() method를 사용한 후에 자주 발생하는데 이런 경우는 사실 다루기가 마냥 좋은 상태는 아닙니다.
import pandas as pd
multi_cols = pd.MultiIndex.from_tuples(
[
('number', 'date'),
('number', 'item'),
('string', 'item_name')
]
)
df_test = pd.DataFrame(
[
(20230101, 1, 'a'),
(20230101, 2, 'b'),
(20230101, 3, 'c'),
(20230102, 1, 'a'),
(20230102, 3, 'c'),
(20230103, 2, 'b'),
(20230103, 4, 'd'),
],
columns=multi_cols
)
print(df_test)
-- Result
number string
date item item_name
0 20230101 1 a
1 20230101 2 b
2 20230101 3 c
3 20230102 1 a
4 20230102 3 c
5 20230103 2 b
6 20230103 4 d
multi index가 무엇인지 모르는 분들을 위해 multi index를 가진 DataFrame을 만들어봤습니다.
위 예시의 결과를 보면 column 이름을 표시하는 부분이 2줄로 되어있는 것을 알 수 있습니다.
number string
date item item_name이렇게 column name이 두줄로 표시되어 있습니다.
어쨌든 DataFrame의 최종 column 개수는 3개인데 각 column의 표시가 2중으로 되어있다는 것이죠.
실제 이론상 2중, 3중, 4중, ... 등등의 column name 표시가 가능합니다.
이런 상태를 multi index 또는 multi column이라고 합니다.
import pandas as pd
multi_cols = pd.MultiIndex.from_tuples(
[
('number', 'date'),
('number', 'item'),
('string', 'item_name')
]
)
df_test = pd.DataFrame(
[
(20230101, 1, 'a'),
(20230101, 2, 'b'),
(20230101, 3, 'c'),
(20230102, 1, 'a'),
(20230102, 3, 'c'),
(20230103, 2, 'b'),
(20230103, 4, 'd'),
],
columns=multi_cols
)
print(df_test.columns)
-- Result
MultiIndex([('number', 'date'),
('number', 'item'),
('string', 'item_name')],
)
그래서 이런 multi index DataFrame의 columns를 print해보면 위처럼 하나의 column에 대해 2개의 index가 tuple로 묶인 채로 표시됩니다.
이런 경우에 multi index를 없애고 single index로 만들면 다루기 더 쉬워지는 경우가 있습니다.
위같은 multi index를 없애는 방법은 여러 가지가 있는데 그 중 몇가지만 알아봅시다.
import pandas as pd
multi_cols = pd.MultiIndex.from_tuples(
[
('number', 'date'),
('number', 'item'),
('string', 'item_name')
]
)
df_test = pd.DataFrame(
[
(20230101, 1, 'a'),
(20230101, 2, 'b'),
(20230101, 3, 'c'),
(20230102, 1, 'a'),
(20230102, 3, 'c'),
(20230103, 2, 'b'),
(20230103, 4, 'd'),
],
columns=multi_cols
)
df_test = df_test.droplevel(level=0, axis=1)
print(df_test)
-- Result
date item item_name
0 20230101 1 a
1 20230101 2 b
2 20230101 3 c
3 20230102 1 a
4 20230102 3 c
5 20230103 2 b
6 20230103 4 d
droplevel() method를 사용하는 예시입니다.
결과부터 보면 각 column의 이름이 1줄로만 표시되는 것을 볼 수 있죠.
df_test = df_test.droplevel(level=0, axis=1)핵심은 이 부분입니다.
droplevel()은 이름에서도 볼 수 있듯이 level (계층)을 drop하는 기능을 합니다.
여기서 level=0이라고 명시했는데
number string --> level 0 index
date item item_name --> level 1 index이러한 multi index에서 더 위쪽에 있는 것이 level = 0이고
더 아래에 갈수록 level이 커집니다.
따라서 droplevel()에서 level=0으로 적었다는 것은 위쪽에 있는 level 0 index를 없애겠다는 의미입니다.
그래서 결과에는 date, item, item_name 3개의 column name만 남은 것을 볼 수 있죠.
import pandas as pd
multi_cols = pd.MultiIndex.from_tuples(
[
('number', 'date'),
('number', 'item'),
('string', 'item_name')
]
)
df_test = pd.DataFrame(
[
(20230101, 1, 'a'),
(20230101, 2, 'b'),
(20230101, 3, 'c'),
(20230102, 1, 'a'),
(20230102, 3, 'c'),
(20230103, 2, 'b'),
(20230103, 4, 'd'),
],
columns=multi_cols
)
df_test = df_test.droplevel(level=1, axis=1)
print(df_test)
-- Result
number number string
0 20230101 1 a
1 20230101 2 b
2 20230101 3 c
3 20230102 1 a
4 20230102 3 c
5 20230103 2 b
6 20230103 4 d
반대로 level=1로 명시할 경우 아래쪽 줄에 있던 column name이 다 사라지고 위쪽(level=0)에 있던 column name만 남은 것을 알 수 있습니다.
import pandas as pd
multi_cols = pd.MultiIndex.from_tuples(
[
('number', 'date'),
('number', 'item'),
('string', 'item_name')
]
)
df_test = pd.DataFrame(
[
(20230101, 1, 'a'),
(20230101, 2, 'b'),
(20230101, 3, 'c'),
(20230102, 1, 'a'),
(20230102, 3, 'c'),
(20230103, 2, 'b'),
(20230103, 4, 'd'),
],
columns=multi_cols
)
print(df_test.columns)
print(df_test.columns.droplevel(level=0))
df_test.columns = df_test.columns.droplevel(level=0)
print(df_test)
-- Result
MultiIndex([('number', 'date'),
('number', 'item'),
('string', 'item_name')],
)
Index(['date', 'item', 'item_name'], dtype='object')
date item item_name
0 20230101 1 a
1 20230101 2 b
2 20230101 3 c
3 20230102 1 a
4 20230102 3 c
5 20230103 2 b
6 20230103 4 d
두 번째 방법도 droplevel()을 이용하나 좀 다른 방식으로 이용하는 것입니다.
MultiIndex([('number', 'date'),
('number', 'item'),
('string', 'item_name')],
)multi index를 출력해보면 위와 같습니다.
여기서 level=0 column은 number와 string입니다.
(이걸 보면 왜 위쪽에 명시된 컬럼이 level=0인지 알 수 있죠. tuple의 첫 번째 자리 즉, tuple의 index=0 자리에 명시되기 때문에 level=0 column이 되는 것입니다.)
df_test.columns.droplevel(level=0)
그리고 이런식으로 columns 속성에 있는 level=0 위치에 있는 level을 모두 drop하면
Index(['date', 'item', 'item_name'], dtype='object')level=0 은 다 사라지고 level=1이었던 column name만 남게 됩니다.
- df_test.columns = df_test.columns.droplevel(level=0)
이렇게 level=1 column만 남은 column name 정보를 df_test.columns 속성에 덮어씌우는 것입니다.
이런식으로 기존 multi index DataFrame의 column 정보를 덮어씌워서 multi index를 제거하는 방법이 있습니다.
import pandas as pd
multi_cols = pd.MultiIndex.from_tuples(
[
('number', 'date'),
('number', 'item'),
('string', 'item_name')
]
)
df_test = pd.DataFrame(
[
(20230101, 1, 'a'),
(20230101, 2, 'b'),
(20230101, 3, 'c'),
(20230102, 1, 'a'),
(20230102, 3, 'c'),
(20230103, 2, 'b'),
(20230103, 4, 'd'),
],
columns=multi_cols
)
df_test.columns = ['date', 'item', 'item_name']
print(df_test)
-- Result
date item item_name
0 20230101 1 a
1 20230101 2 b
2 20230101 3 c
3 20230102 1 a
4 20230102 3 c
5 20230103 2 b
6 20230103 4 d방금 전에 설명했던 방식과 비슷하게 multi index를 가지고 있는 DataFrame의 columns 속성에
내가 원하는 column 이름을 list의 형태로 전달하여 덮어 씌우는 것입니다.
MultiIndex([('number', 'date'),
('number', 'item'),
('string', 'item_name')],
)아까 위에서 multi index의 column은 위처럼 tuple로 묶인 형태로 표시된다는 것을 알면 이것을 이용하여 다양한 방법을 사용할 수 있습니다.
import pandas as pd
multi_cols = pd.MultiIndex.from_tuples(
[
('number', 'date'),
('number', 'item'),
('string', 'item_name')
]
)
df_test = pd.DataFrame(
[
(20230101, 1, 'a'),
(20230101, 2, 'b'),
(20230101, 3, 'c'),
(20230102, 1, 'a'),
(20230102, 3, 'c'),
(20230103, 2, 'b'),
(20230103, 4, 'd'),
],
columns=multi_cols
)
df_test.columns = [col[1] for col in df_test.columns]
print(df_test)
-- Result
date item item_name
0 20230101 1 a
1 20230101 2 b
2 20230101 3 c
3 20230102 1 a
4 20230102 3 c
5 20230103 2 b
6 20230103 4 d
이런 식으로 columns 속성을 참조하고
거기서 tuple 내에 index = 1위치에 있는 값으로만 list를 구성합니다.
그리고 df_test의 columns를 덮어씌우면 multi index가 제거되는 것이죠.
import pandas as pd
multi_cols = pd.MultiIndex.from_tuples(
[
('number', 'date'),
('number', 'item'),
('string', 'item_name')
]
)
df_test = pd.DataFrame(
[
(20230101, 1, 'a'),
(20230101, 2, 'b'),
(20230101, 3, 'c'),
(20230102, 1, 'a'),
(20230102, 3, 'c'),
(20230103, 2, 'b'),
(20230103, 4, 'd'),
],
columns=multi_cols
)
df_test.columns = ['_'.join(col) for col in df_test.columns]
print(df_test)
-- Result
number_date number_item string_item_name
0 20230101 1 a
1 20230101 2 b
2 20230101 3 c
3 20230102 1 a
4 20230102 3 c
5 20230103 2 b
6 20230103 4 d이제 감이 오시나요.
위같은 방법도 존재합니다.
그래서 multi index는 DataFrame의 columns 속성 내에서
하나의 column에 대한 multi index가 tuple에 묶여서 존재한다는 사실만 안다면 이를 다양하게 이용할 수 있습니다.