Chapter 09-3~09-4 문자열 포매팅, 정규식으로 문자열 처리에 날개 달기

문자열 포매팅하기

문자열 포매팅은 문자열을 편리하게 출력할 수 있게 해주는 기능입니다. 예를 들어 I can swim, I can fly, I can run과 같은 문자열은 I can이라는 문자열에 swim, run, fly와 같은 단어만 바꿔 넣어 출력하는 것이 더 편리합니다. 즉, 문자열 포매팅이란 출력할 문자열의 형식을 지정하거나 변수를 조합하여 출력하는 방법을 말합니다.

 

 

 

문자열 포매팅하기

1. 다음과 같이 단어를 삽입할 위치를 {}로 지정하고 format 메서드에 원하는 단어를 전달하면 {}의 위치에 전달한 단어를 삽입해 출력합니다. 이때 {}를 플레이스 홀더라고 부릅니다.

var = 'flesh wound' s = "It's just a {}!" print(s.format(var)) It's just a flesh wound! print(s.format('scratch')) It's just a scratch!

 

2. 플레이스 홀더는 여러 번 사용해도 됩니다. 하지만 여러 단어를 전달할 때는 어떻게 해야 할까요? foramt 메서드에 여러 단어를 전달하려면 인덱스 개념을 응용하면 됩니다. 다음은 1개의 단어만 사용합니다. 따라서 인덱스를 0으로 지정한 플레이스 홀더를 사용했습니다.

s = """Black Knight: 'Tis but a {0}. King Arthur: A {0}? Uour arm's off! """ print(s.format('scratch')) Black Knight: 'Tis but a scratch. King Arthur: A scratch? Your arm's off!

 

3. 플레이스 홀더에는 변수를 지정해도 됩니다. 단, format 메서드에 전달하는 문자열도 변수에 담아 전달해야 합니다.

s = 'Hayden Planetarium Coordinates: {lat}, {lon}' print(s.format(lat='40.7815˚N', lon='73.9733˚W')) Hayden Planetarium Coordinates: 40.7815° N, 73.9733° W

 

 

 

 

 

숫자 데이터 포매팅하기

이번에는 숫자 데이터 포매팅에 대해 알아보겠습니다. 숫자 데이터 포매팅을 사용하면 실수의 소수점을 어디까지 출력할지 등을 설정할 수 있습니다.

 

 

숫자 데이터 포매팅하기

1. 숫자 데이터도 플레이스 홀더를 사용할 수 있습니다.

print('Some digits of pi: {}'.format(3.14159265359)) Some digits of pi: 3.14159265359

 

2. 플레이스 홀더에 :,를 넣으면 쉼표를 넣어 숫자를 표현할 수도 있습니다.

print("In 2005, Lu Chao of China recited {:,} digits of pi".format(67890)) In 2005, Lu Chao of China recited 67,890 digits of pi

 

3. 소수는 좀 더 다양한 방법으로 포매팅할 수 있습니다. 다음은 플레이스 홀더에 0:.4, 0:.4%를 넣어 7/67890의 결괏값을 포매팅한 것입니다. [0:.4]과 [0:.4%]에서 0은 format 메서드에서 전달받을 값(7/67890)의 인덱스를 의미하고 .4는 소수점 이하의 숫자를 4개까지 출력하겠다는 것을 의미합니다. 이때 %를 사용하면 7/67890의 결괏값을 백분율로 환산하여 출력합니다.

print("I remember {0:4} or {0:.4%} of what Lu Chao recited".format(7/67890)) I remember 0.0001031 or 0.0103% of what Lu Chao recited

 

4. 만약 사용자의 아이디가 5자리의 숫자로 표현되어야 한다면 42와 같은 2자리의 값은 00042로 출력해야겠죠. 다음은 format의 0번째 값(42)을 5자리의 수로 표현하되 빈 칸을 0으로 채워 출력한 것입니다.

print("My ID number is {0:05d}".format(42)) My ID number is 00042

 

 

 

 

 

% 연산자로 포매팅하기

지금까지는 플레이스 홀더를 이용하여 여러 가지 포매팅을 실습했습니다. 이번에는 % 연산자로 포매팅을 실습해 보겠습니다. 만약 C 언어를 공부한 적이 있다면 printf 메서드의 출력 형식을 떠올려보세요. 그러면 이번 실습 내용을 좀 더 쉽게 이해할 수 있을 것입니다.

 

 

% 연산자로 포매팅하기

1. 만약 삽입할 값이 10진수라면 값을 삽입할 위치에 %d라고 입력해야 합니다. 그런 다음 % 연산자를 이용하여 삽입할 값(7)을 지정하여 출력합니다.

s = 'I only know %d digits of pi' % 7 print(s) I only know 7 digits of pi

 

2. 만약 삽입할 값이 문자열이라면 값을 삽입할 위치에 %s라고 입력해야 합니다. 이때 %와 s 사이에 소괄호를 사용하여 변수를 지정합니다.

print('Some digits of %(cont)s: %(value).2f' % {'cont':'e', 'value': 2.718}) Some digits of e: 2.72

 

 

* f-strings 포매팅 사용하기

f-strings 포매팅은 파이썬 3.6 버전에서 새롭게 도입한 포매팅입니다. f-strings 포매팅의 사용 방법은 format 메서드의 사용 방법과 동일합니다. 하지만 문자열 앞에 f를 붙인다는 점이 다릅니다. f-strings 포매팅은 읽기 쉬울 뿐만 아니라 문자열을 빠르게 처리한다는 장점이 있습니다. 앞에서 실습한 내용을 f-strings 포매팅으로 바꾸면 다음과 같이 됩니다.

var = 'flesh wound' s = f"It's just a {var}!" print(s) It's just a flesh wound! lat='40.7815˚N' lon='73.9733˚W' s = f'Hayden Planetarium Coordinates: {lat}, {lon}' print(s) Hayden Planetarium Coordinates: 40.7815° N, 73.9733° W

 

 

 

 

 

 

정규식이란?

수만 개의 문자열 중에서 내가 원하는 패턴의 문자열만 추출하려면 어떻게 해야 할까요? 예를 들어 I like apple, I like to make application이라는 문자열에서 app을 포함하는 문자열만 추출하려면 어떻게 해야 할까요? find 메서드를 사용해도 되지만 이런 경우에는 정규식을 사용하면 더 편리합니다. 그러면 정규식이 무엇인지 실습을 통해 자세히 알아보겠습니다.

 

 

정규식 표현 - 문법, 특수 문자

정규식 표현에 사용되는 문법과 특수 문자를 다음과 같이 표로 정리했습니다. 정규식을 사용하려면 다음 표를 참고하여 찾고자 하는 문자열의 정규식 패턴을 만들어야 합니다. 여러분은 아직 정규식 패턴에 익숙하지 않기 때문에 http://regex101.com 사이트에서 정규식 패턴을 실습해 보는 것을 추천합니다. 이 사이트는 정규식 패턴의 결과를 바로 볼 수 있어 실습에 많은 도움이 될 것입니다. 아래 표를 참고하여 실습 코드를 작성하고 결과를 확인해 보세요.

 

기본 정규식 문법

문법	실습 코드	설명
.	.a	문자(a) 앞에 문자 1개가 있는 패턴을 찾습니다.
^	^I like	문자열의 처음부터 일치하는 패턴을 찾습니다.
$	on$	문자열의 끝 부분부터 일치하는 패턴을 찾습니다.
*	n\d*	n 이후 숫자(\d)가 0개 이상인 패턴을 찾습니다.
+	n\d+	n 이후 숫자(\d)가 1개 이상인 패턴을 찾습니다.
?	apple?	?의 앞의 문자(e)가 있거나 없는 패턴을 찾습니다.
{m}	n\d{2}	n 이후 숫자(\d)가 2개({2})인 패턴을 찾습니다.
{m, n}	n\d{2, 4}	n 이후 숫자(\d)가 2개({2}) 이상, 4개({4}) 이하인 패턴을 찾습니다.
\	\*, \?, \+	*, ?, +와 같은 특수 문자를 검색할 때 이스케이프 문자(\)를 사용합니다.
[ ]	[cfh]all	c, f, h 중 1개를 포함하고 나머지 문자열이 all인 패턴을 찾습니다.
|	apple | application	apple이나 application 중 하나만 있는 패턴을 찾습니다(OR 연산).
( )	(\d+)-(\d+)-(\d+)	( )에 지정한 패턴을 찾을 때 사용합니다.

 

정규식 특수 문자

특수 문자	설명
\d	숫자 1개를 의미합니다([0-9]와 동일).
\D	숫자 이외의 문자 1개를 의미합니다([^0-9]와 동일).
\s	공백이나 탭 1개를 의미합니다.
\S	공백 문자 이외의 문자 1개를 의미합니다.
\w	알파벳 1개를 의미합니다.
\W	알파벳 이외의 문자 1개를 의미합니다(한글, 중국어 등).

 

 

 

정규식 표현 - 메서드

다음은 정규식 메서드입니다. 정규식 메서드는 정규식 패턴을 사용하지 않아도 메서드를 호출하는 방법으로 원하는 패턴의 문자열을 찾을 수 있도록 해줍니다.

 

정규식 메서드

함수	실습 코드	설명
search	m = re.search('[0-9]{4}', test) print(m.group( ))	첫 번째로 찾은 패턴의 양 끝 인덱스를 반환합니다.
match	m = re.match('[0-9]{4}', test) print(m)	문자열의 처음부터 검색하여 찾아낸 패턴의 양 끝 인덱스를 반환합니다.
fullmatch	m = re.fullmatch('\d+\s\d+\s\d+\s\d+', test) print(bool(m))	전체 문자열이 일치하는지 검사합니다.
split	m = re.split('\s', test) print(m)	지정한 패턴으로 잘라낸 문자열을 리스트로 반환합니다.
findall	m = re.findall('[0-9]{4}', test) print(m)	지정한 패턴을 찾아 리스트로 반환합니다.
finditer	m = re.finditer('[0-9]{4}', test) for match in m:	findall 메서드와 기능이 동일하지만 iterator를 반환합니다.
sub	print(re.sub('\s', '-', test)) '010-1234-5678-090'	첫 번째 인자로 전달한 값(패턴)을 두 번째 인자로 전달한 값(easyspub)으로 교체합니다.

 

 

 

정규식으로 전화번호 패턴 찾기

전화번호와 같은 단순한 데이터도 복잡하고 다양한 정규식이 필요합니다. 처음에는 정규식이 복잡하고 어려워 보여 부담스러울 수 있습니다. 하지만 졍규식은 원하는 패턴의 문자열을 가장 효율적으로 찾아주는 방법입니다. 따라서 데이터 분석이 필요한 분야에서는 정규식을 알아두면 좋습니다.

 

1. 다음과 같이 re 모듈과 테스트용 문자열을 준비합니다.

import re tele_num = '1234567890'

 

2. match 메서드를 사용하여 길이가 10인 숫자를 확인해 보겠습니다. pattern 인자에는 10개의 숫자를 의미하는 10개의 \d를, string에는 테스트용 문자열인 tele_num을 전달했습니다. 만약 패턴을 찾으면 Match 오브젝트를 반환합니다. Match 오브젝트를 출력하면 span에는 찾은 패턴의 인덱스가, match에는 찾은 패턴의 문자열이 있는 것을 확인할 수 있습니다.

m = re.match(pattern='\d\d\d\d\d\d\d\d\d\d', string=tele_num) print(type(m)) <class '_sre.SRE_Match'> print(m) <_sre.SRE_Match object; span=(0, 10), match='1234567890'>

 

3. 이때 bool 메서드에 m을 전달하면 True나 False를 얻을 수 있습니다. 즉, match 메서드가 반환한 Match 오브젝트는 bool 메서드로 True, False를 판단할 수 있습니다.

print(bool(m)) Ture if m:     print('match') else:     print('no match') match

 

4. Match 오브젝트에는 찾아낸 패턴의 정보를 확인할 수 있는 다양한 메서드가 있습니다. start와 end 메서드는 첫 번째와 마지막 인덱스를 반환합니다. span 메서드는 찾은 패턴의 첫 번째와 마지막 인덱스를 한 번에 반환합니다. group 메서드는 찾아낸 패턴을 반환합니다.

print(m.start( )) 0 print(m.end( )) 10 print(m.span( )) (0, 10) print(m.group( )) 1234567890

 

5. 그런데 전화번호를 입력하는 방법은 1234567890이 아니라 123-456-7890이나 123 456 7890과 같은 방법도 있습니다. 다음은 앞에서 사용한 패턴을 그대로 적용하여 123 456 7890을 검사한 것입니다. 그러면 패턴을 찾지 못해 Match 오브젝트가 아닌 None을 출력합니다.

tele_num_spaces = '123 456 7890' m = re.match(pattern='\d{10},' string=tele_num_spaces) print(m) None if m:     print('match') else:     pirnt('no match') no match

 

6. 과정 5의 문제를 해결하려면 정규식을 다시 작성해야 합니다. 다음과 같이 빈 칸을 의미하는 정규식 \s?를 넣어 패턴을 다시 만들었습니다.

p = '\d{3}\s?\d{3}\s?\d{4}' m = re.match(pattern=p, string=tele_num_spaces) print(m) <_sre.SRE_Match object; span=(0, 12), match='123 456 7890'>

 

7. 지역 코드는 소괄호로 감싸고 나머지 번호는 반각 기호로 구분한 전화번호의 정규식은 다음과 같이 작성합니다.

tele_num_space_paren_dash = '(123) 456-7890' p = '\(?\d{3}\)?\s?\d{3}\s?-?\d{4}' m = re.match(pattern=p, string=tele_num_space_paren_dash) print(m) <_sre.SRE_Match object; span(0, 14), match='(123) 456-7890'>

 

8. 국가 코드까지 있는 전화번호의 정규식은 다음과 같이 작성합니다.

cnty_tele_num_space_paren_dash = '+1 (123) 456-7890' p = '\+?1\s?\(?\d{3}\)?\s?\d{3}\s?-?\d{4}' m = re.match(pattern=p, string=cnty_tele_num_space_paren_dash) print(m) <_sre.SRE_Match object; span(0, 17), match='+1 (123) 456-7890'>

 

 

compile 메서드로 정규식 메서드 사용하기

패턴을 반복해서 사용하려면 compile 메서드로 패턴을 컴파일한 다음 변수에 저장하여 사용하면 됩니다. 다음은 앞에서 실습한 내용 중 하나를 compile 메서드로 처리한 것입니다. 패턴을 컴파일한 다음 변수에 저장했기 때문에 정규식 메서드를 반복해서 사용할 수 있어 매우 편리합니다.

p = re.compile('\d{10}') s = '1234567890' m = p.match(s) print(m) <_sre.SRE_Match object; span=(0, 10), match='1234567890'>

 

 

 

 

 

마무리하며

세상에는 문자열로 이루어진 데이터가 너무나도 많습니다. 그래서 데이터 과학자들은 문자열을 처리하는 방법을 매우 중요하게 생각합니다. 그래서 09장에서는 판다스와 전혀 상관없어 보이는 문자열 처리를 설명한 것입니다. 다음 장으로 넘어가기 전에 반드시 09장의 예제를 한 번씩 실습해 보기 바랍니다.

 

 

 

 

 

출처 : "판다스 입문"