Chapter 06 누락값 처리하기_1

누락값과 누락값 확인하기

누락값(NaN)은 NaN, NAN, nan과 같은 방법으로 표기할 수 있습니다. 이 책에서는 누락값을 NaN이라고 표기하여 사용합니다. 그러면 바로 실습을 진행해 보면서 누락값이 무엇인지 알아보겠습니다.

 

 

누락값 확인하기

1. 먼저 누락값을 사용하기 위해 numpy에서 누락값을 불러옵니다.

from numpy import NaN, NAN, nan

 

2. 누락값은 0, ' '와 같은 값과는 다른 개념이라는 것에 주의해야 합니다. 누락값은 말 그대로 데이터 자체가 없다는 것을 의미합니다. 그래서 '같다'라는 개념도 없죠. 다음은 누락값과 True, False, 0, ' '을 비교한 결과입니다.

print(NaN == True) False print(NaN == False) False print(NaN == 0) False print(NaN == '') False

 

3. 과정 2에서도 언급했듯이 누락값은 값 자체가 없기 때문에 자기 자신과 비교해도 True가 아닌 False가 출력됩니다.

print(NaN == NaN) False print(NaN == nan) False print(NaN == NAN) False print(nan == NAN) False

 

4. 그러면 누락값은 어떻게 확인할 수 있을까요? 다행히 판다스에는 누락값을 확인하는 메서드인 isnull이 있습니다. 다음은 isnull 메서드로 누락값을 검사한 예입니다.

import pandas as pd print(pd.isnull(NaN)) True print(pd.isnull(nan)) Ture print(pd.isnull(NAN)) True

 

5. 반대의 경우(누락값이 아닌 경우)도 검사할 수 있습니다. 다음은 notnull 메서드로 누락값이 아닌 경우를 검사한 예입니다.

print(pd.notnull(NAN)) False print(pd.notnull(42)) True print(pd.notnull('missing')) True

 

 

 

 

 

누락값이 생기는 이유

누락값은 왜 생길까요? 누락값은 처음부터 누락값이 있는 데이터를 불러오거나 데이터를 연결, 입력하는 등의 과정에서 생길 수 있습니다. 그러면 다음 예제를 통해 누락값이 생기는 이유에 대해 자세히 알아보겠습니다.

 

 

누락값이 생기는 이유 알아보기

1. 누락값이 있는 데이터 집합을 연결할 때 누락값이 생기는 경우

이번에 사용할 데이터 집합은 누락값이 포함되어 있습니다. 누락값이 포함되어 있는 데이터 집합을 연결하면 어떻게 될까요? 누락값이 포함되어 있는 데이터 집합을 연결하면 더 많은 누락값이 생깁니다.

visited = pd.read_csv('../data/survey_visited.csv') survey = pd.read_csv('../data/survey_survey.csv') print(visited)       ident       site               dated 0      619     DR-1      1927-0208 1      622     DR-1      1927-02-10 2      734     DR-3      1939-01-07 3      735     DR-3      1930-01-12 4      751     DR-3      1930-02-26 5      752     DR-3                 NaN 6      837     MSK-4   1932-01-14 7      844     DR-1      1932-03-22 print(survey)      taken  person  quant   reading 0      619      dyer     rad        9.82 1      619      dyer     sal        0.13 2      622      dyer     rad        7.80 3      622      dyer     sal        0.09 4      734        pb     rad        8.41 5      734      lake     sal        0.05 6      734        pb   temp    -21.50 7      735        pb     rad        7.22 8      735      NaN     sal        0.06 9      735      NaN  temp    -26.00 10    751        pb     rad        4.35 11    751        pb   temp    -18.50 12    751      lake     sal        0.10 13    752      lake     rad        2.19 14    752      lake     sal        0.09 15    752      lake  temp     -16.00 16    752       roe     sal       41.60 17    837      lake     rad        1.46 18    837      lake     sal        0.21 19    837       roe     sal       22.50 20    844       roe     rad      11.25

 

2. 과정 1에서 구한 데이터 집합을 연결해 볼까요? 그러면 누락값이 많이 생겨난 것을 볼 수 있습니다.

vs = visited.merge(survey, left_on='ident', right_on='taken') print(vs)       ident       site               dated     taken  person  quant   reading 0      619     DR-1     1927-02-08       619      dyer      rad        9.82 1      622     DR-1     1927-02-10       619      dyer       sal        0.13 ... 13    752     DR-3                NaN       752       lake      rad        2.19 14    752     DR-3                NaN       752       lake       sal       0.09 15    752     DR-3                NaN       752       lake    temp    -16.00 16    752     DR-3                NaN       752        roe       sal      41.60 17    837  MSK-4     1932-01-14       837       lake       rad       1.46 18    837  MSK-4     1932-01-14       837       lake       sal       0.21 19    837  MSK-4     1932-01-14       837        roe       sal      22.50 20    844     DR-3     1932-03-22       844        roe       rad     11.25

 

3. 데이터를 입력할 때 누락값이 생기는 경우

누락값은 데이터를 잘못 입력하여 생길 수도 있습니다. 다음은 시리즈를 생성할 때 데이터 프레임에 없는 열과 행 데이터를 입력하여 누락값이 생긴 것입니다. scientitsts 데이터프레임을 확인하면 missing이라는 열과 함께 행 데이터에 누락값이 추가된 것을 확인할 수 있습니다.

num_legs = pd.Series({'goat': 4, 'amoeba': nan}) print(num_legs) print(type(num_legs)) amoeba   NaN goat           4.0 dtype: float64 <class 'pandas.core.series.Series'> scientists = pd.DataFrame({     'Name': ['Rosaline Franklin', 'William Gosset'],     'Occupation': ['Chemist', 'Statistician'],     'Born': ['1920-07-25', '1876-06-13'],     'Died': ['1958-04-16', '1937-10-16'],     'missing': [NaN, nan]}) print(scientists) print(type(scientists))                 Born              Died                     Name    Occupation    missing 0   1920-07-25   1958-04-16   Rosaline Franklin         Chemist         NaN 1   1876-06-13   1937-10-16      William Gosset      Statistician         NaN <class 'pandas.core.frame.DataFrame'>

 

4. 범위를 지정하여 데이터를 추출할 때 누락값이 생기는 경우

데이터 프레임에 존재하지 않는 데이터를 추출하면 누락값이 생깁니다. 이번에는 갭마인더 데이터 집합을 불러와 실습해 보겠습니다.

gapminder = pd.read_csv('../data/gapminder.tsv', sep='\t')

 

5. 다음은 gapminder 데이터프레임을 연도별로 그룹화한 다음 lifeExp 열의 평균을 구한 것입니다.

life_exp = gapminder.groupby(['year'])['lifeExp'].mean( ) print(life_exp) year 1952       49.057620 1957       513507401 1962       53.609249 ... 1997       65.014676 2002       64.694923 2007       67.007423 Name: lifeExp, dtype: float64

 

6. 다음은 range 메서드를 이용하여 life_Exp 열에서 2000~2009년의 데이터를 추출한 것입니다. 그런데 이렇게 데이터를 추출하면 처음부터 life_Exp 열에 없었던 연도가 포함되기 때문에 누락값이 많이 발생합니다.

print(life_exp.loc[range(2000, 2010), ]) year 2000                NaN 2001                NaN 2002      65.694923 2003                NaN 2004                NaN 2005                NaN 2006                NaN 2007      67.007423 2008                NaN 2009                NaN Name: lifeExp, dtype: float64 (아래의 경고 문구는 누락값으로 인해 문제가 발생할 수도 있다고 미리 알려주는 것입니다.) C:\Users\phk70\Anaconda3\lib\site-packages\ipykernel_launcher.py:1: FutureWarning: Passing list-likes to .loc or [] with any missing label will raise KeyError in the future, you can use .reindex( ) as an alternative. See the documentation here: https://pandas.pydata.org/pandas-docs/stable/indexing/html#deprecate-loc-reindex-listlike     """Entry point for launching an IPython kernel.

 

7. 앞에서 발생한 문제를 해결하기 위해서는 불린 추출을 이용하여 데이터를 추출하면 됩니다.

y2000 = life_exp[life_exp.index > 2000] print(y2000) year 2002       65.694923 2007       67.007423 Name: lifeExp, dtype: float64

 

 

 

 

 

 

출처 : "판다스 입문"