Numpy 와 Pandas에서 불리언 색인(Boolean Index) 의 활용

Numpy 와 Pandas에서 불리언 색인의 활용

Numpy  불리언 색인 기능 소개.

정규 python의 리스트 중첩과 유사하나 보다 쉽게 if 문의 활용 및 다양한 데이터 가공을 가능하게 함.

정규 python의 리스트 중첩은 아래와 같다.

array1 = [1,2,3,4,5]

#이를 리스트 중첩으로 3보다 큰 리스트를 추출할 수 있다.

[x for x in array1 if x > 3]

Out[39]: [4, 5] 

Numpy 에서는 보다 쉽게 array 를 추출 가능.

import numpy as np

array2 = np.array([1,2,3,4,5])

# numpy array 에서 비교 연산자를 바로 적용 시 각 array 값 별로 True , False 값을 반환.

array2 > 3

Out[44]: array([False, False, False,  True,  True], dtype=bool)

# 1차원 배열에서 3보다 큰 값을 모두 추출함.

array2[array2 > 3]

# True에 해당하는 index 의 array 값만 반환. 

Out[45]: array([4, 5])

불리언 색인은 array의 색인이 True, False 값을 가지게 하여 True 인 경우에 해당 array 값을 출력하게 함.

다음 예제는 Python for Data Analysis 에서 가져온 것이다.

2차원 Numpy 배열에 불리언 색인을 적용한 예제다.

names = np.array(['Bob','Joe','Will','Bob','Will','Joe','Joe'])

names

Out[48]:

array(['Bob', 'Joe', 'Will', 'Bob', 'Will', 'Joe', 'Joe'],

      dtype='<U4')

data = np.random.randn(7,4)

data

Out[50]:

array([[-1.26013079,  0.29081568,  1.87164573,  0.66950956],

       [-1.18357656,  1.61485173, -0.93498466,  0.62553805],

       [-0.35840121, -0.2164986 , -0.59688896, -0.49594989],

       [ 0.88574796, -0.28987652, -1.1023612 ,  0.55036842],

       [ 0.04366381, -0.57763389,  0.16284361, -0.46842905],

       [-0.13914101, -1.09840424,  0.16332229,  0.21295691],

       [ 0.61643143, -1.94844699,  0.18180573, -0.8689196 ]])

비교 연산자 == 를 anames array 에 바로 적용할 때 True,False 값이 각 array 값에 설정되며 이를 불리언 색인으로 사용할 수 있다.  array[0] 과 array[3] 만이 True 이다

names == 'Bob'

Out[51]: array([ True, False, False,  True, False, False, False], dtype=bool)

2차원 배열인 data에 바로 불리언 색인을 적용할 수 있다. Array[0]과 array[3] 이 True 이므로 data 배열에서 1행과 4행만을 출력한다.

data[names=='Bob']

Out[52]:

array([[-1.26013079,  0.29081568,  1.87164573,  0.66950956],

       [ 0.88574796, -0.28987652, -1.1023612 ,  0.55036842]])

출력하려는 행렬을 슬라이스나 숫자 색인을 줘서 제한 할 수 있다. 위의 경우는 불리언 색인으로 추출된 배열에서 2: 즉 3열 이후의 값을 추출함.

data[names=='Bob',2:]

Out[55]:

array([[ 1.87164573,  0.66950956],

       [-1.1023612 ,  0.55036842]])

논리연산자를 이용하여 보다 복잡한 조합도 가능하다.

& (And) , | (Or) 논리 연산자를 이용한 불리언 색인 결과

(names == 'Bob') | (names =='Will')

Out[65]: array([ True, False,  True,  True,  True, False, False], dtype=bool)

data[ (names=='Bob') | (names == 'Will') ]

Out[61]:

array([[-1.26013079,  0.29081568,  1.87164573,  0.66950956],

       [-0.35840121, -0.2164986 , -0.59688896, -0.49594989],

       [ 0.88574796, -0.28987652, -1.1023612 ,  0.55036842],

       [ 0.04366381, -0.57763389,  0.16284361, -0.46842905]])

불리언 색인에 기반한 값 대입도 가능하다.

data < 0

Out[66]:

array([[ True, False, False, False],

       [ True, False,  True, False],

       [ True,  True,  True,  True],

       [False,  True,  True, False],

       [False,  True, False,  True],

       [ True,  True, False, False],

       [False,  True, False,  True]], dtype=bool)

# 값 대입

data[data < 0 ] = 0

data

Out[68]:

array([[ 0.        ,  0.29081568,  1.87164573,  0.66950956],

       [ 0.        ,  1.61485173,  0.        ,  0.62553805],

       [ 0.        ,  0.        ,  0.        ,  0.        ],

       [ 0.88574796,  0.        ,  0.        ,  0.55036842],

       [ 0.04366381,  0.        ,  0.16284361,  0.        ],

       [ 0.        ,  0.        ,  0.16332229,  0.21295691],

       [ 0.61643143,  0.        ,  0.18180573,  0.        ]])

다음은 Pandas 에서 이러한 불리언 색인에 기반한 호출을 수행해보자

비교연산자 >= 로 pandas 의 DataFrame의 Value에 True, False 값이 인덱스별로 설정됨.

df = pd.DataFrame(

{

'AAA':[4,5,6,7],'BBB':[10,20,30,40],'CCC':[100,50,-30,-50]

}

)

df

Out[82]:

   AAA  BBB  CCC

0    4   10  100

1    5   20   50

2    6   30  -30

3    7   40  -50

df.AAA >=5

Out[74]:

0    False

1     True

2     True

3     True

Name: AAA, dtype: bool

AAA 필드가 5보다 크거나 같은 인덱스의 값만이 출력됨.  

df[df.AAA >=5]

Out[73]:

   AAA  BBB  CCC

1    5   20   50

2    6   30  -30

3    7   40  -50

ix 함수를 사용하면 더욱 다양한 활용이 가능하다.

Ix 를 이용하여 원하는 필드만 추출 가능하다. 위 예제 에서는 AAA 와 BBB 컬럼만을 추출하였다.

물론 동일한 결과를 아래의 Slicing 을 통해서도 얻을 수 있다.

df.ix[df.AAA >=5]

Out[72]:

   AAA  BBB  CCC

1    5   20   50

2    6   30  -30

3    7   40  -50

df.ix[df.AAA >=5 ,['AAA','BBB']]

Out[78]:

   AAA  BBB

1    5   20

2    6   30

3    7   40

df.ix[df.AAA >=5, :2]

Out[79]:

   AAA  BBB

1    5   20

2    6   30

3    7   40

데이터의 입력도 가능하다.
AAA 컬럼값이 5 이상인 레코드를 대상으로 BBB 컬럼을 -1 로 새롭게 입력하였다.

df.ix[df.AAA >=5,'BBB'] = -1

df

Out[84]:

   AAA  BBB  CCC

0    4   10  100

1    5   -1   50

2    6   -1  -30

3    7   -1  -50

Pandas의 where 함수를 사용하면 기존 값의 가공에 따라 데이터를 새로운 컬럼값으로 입력할 수 있다.

In [7]: df = pd.DataFrame( ...: {'AAA' : [4,5,6,7], 'BBB' : [10,20,30,40],'CCC' : [100,50,-30,-50]})

df ...: Out[7]:

AAA BBB CCC

0 4 10 100

1 5 20 50

2 6 30 -30

3 7 40 -50

In [8]: df['logic'] = np.where(df['AAA'] > 5,'high','low')

df

Out[8]:

AAA BBB CCC logic

0 4 10 100 low

1 5 20 50 low

2 6 30 -30 high

3 7 40 -50 high