파이썬 데이터 분석 입문 - Pandas부터 시각화까지
Python Data Analysis Beginner Guide - From Pandas to Visualization
서론: 데이터 분석이 중요한 이유와 파이썬이 최적인 이유
우리는 매일 엄청난 양의 데이터가 생성되는 시대에 살고 있습니다. 기업의 매출 데이터, 소셜 미디어의 사용자 행동 로그, 정부의 공공 통계 자료까지 - 이 모든 데이터 속에는 의미 있는 패턴과 인사이트가 숨어 있습니다. 데이터 분석은 이러한 원시 데이터를 체계적으로 정리하고 분석하여 의사결정에 도움이 되는 정보를 추출하는 과정입니다. 마케팅 전략 수립, 제품 개선, 리스크 예측 등 데이터 분석은 이제 거의 모든 산업 분야에서 핵심 역량으로 자리잡았습니다.
그렇다면 왜 수많은 프로그래밍 언어 중에서 파이썬(Python)이 데이터 분석의 대표 언어로 자리잡았을까요? 첫째, 파이썬은 문법이 직관적이고 읽기 쉬워 프로그래밍 초보자도 빠르게 학습할 수 있습니다. 둘째, Pandas, NumPy, Matplotlib, Seaborn 등 데이터 분석에 특화된 강력한 라이브러리 생태계를 갖추고 있습니다. 셋째, Jupyter Notebook이라는 대화형 개발 환경을 통해 코드 실행 결과를 즉시 확인하면서 분석 작업을 진행할 수 있습니다. 넷째, 전 세계적으로 가장 큰 개발자 커뮤니티를 보유하고 있어 문제 해결에 필요한 자료를 쉽게 찾을 수 있습니다.
이 글에서는 파이썬 데이터 분석의 기초를 환경 설정부터 실전 프로젝트까지 단계별로 안내합니다. 프로그래밍 경험이 없는 완전한 초보자도 이 가이드를 따라하면 기본적인 데이터 분석을 수행할 수 있게 될 것입니다.
1. 환경 설정: 분석을 위한 첫걸음
1.1 Python 설치
데이터 분석을 시작하려면 먼저 파이썬을 설치해야 합니다. 2026년 현재 Python 3.12 이상 버전을 권장합니다. 공식 웹사이트(python.org)에서 운영체제에 맞는 설치 파일을 다운로드할 수 있습니다. 설치 시 반드시 "Add Python to PATH" 옵션을 체크해야 터미널에서 바로 파이썬을 실행할 수 있습니다.
설치가 완료되면 터미널(명령 프롬프트)에서 버전을 확인합니다.
# Python 버전 확인
python --version
# 출력 예: Python 3.12.x
# pip 버전 확인
pip --version
1.2 Anaconda를 활용한 올인원 설치
데이터 분석에 필요한 라이브러리를 개별적으로 설치하는 것이 번거롭다면, Anaconda 배포판을 추천합니다. Anaconda는 Python과 함께 Pandas, NumPy, Matplotlib, Jupyter Notebook 등 데이터 과학에 필요한 주요 패키지를 한 번에 설치해줍니다.
# Anaconda 설치 후 가상환경 생성
conda create -n data_analysis python=3.12
conda activate data_analysis
# 필요한 패키지가 이미 포함되어 있지만, 추가 설치가 필요한 경우
conda install pandas numpy matplotlib seaborn jupyter
1.3 Jupyter Notebook 시작하기
Jupyter Notebook은 데이터 분석가에게 필수적인 도구입니다. 코드 셀 단위로 실행하고 결과를 바로 확인할 수 있어 탐색적 데이터 분석(EDA)에 매우 적합합니다. 마크다운 셀을 활용하면 분석 과정에 대한 설명도 함께 기록할 수 있습니다.
# pip으로 설치하는 경우
pip install jupyter notebook
# Jupyter Notebook 실행
jupyter notebook
# 또는 JupyterLab (차세대 버전) 실행
pip install jupyterlab
jupyter lab
브라우저가 자동으로 열리면서 Jupyter 대시보드가 나타납니다. 우측 상단의 "New > Python 3"을 클릭하면 새로운 노트북이 생성됩니다.
2. Pandas 기초: 데이터 분석의 핵심 라이브러리
2.1 DataFrame과 Series 이해하기
Pandas는 파이썬 데이터 분석의 핵심 라이브러리입니다. Pandas의 두 가지 주요 자료구조인 Series와 DataFrame을 이해하는 것이 첫 번째 단계입니다. Series는 1차원 배열(열 하나)이고, DataFrame은 행과 열로 구성된 2차원 테이블(엑셀 시트와 유사)입니다.
import pandas as pd
import numpy as np
# Series 생성
s = pd.Series([10, 20, 30, 40, 50],
index=['a', 'b', 'c', 'd', 'e'])
print(s)
# 출력:
# a 10
# b 20
# c 30
# d 40
# e 50
# dtype: int64
# DataFrame 생성
data = {
'이름': ['김철수', '이영희', '박민수', '최지은', '정하늘'],
'나이': [25, 30, 28, 35, 22],
'도시': ['서울', '부산', '대전', '서울', '인천'],
'점수': [85, 92, 78, 95, 88]
}
df = pd.DataFrame(data)
print(df)
# 출력:
# 이름 나이 도시 점수
# 0 김철수 25 서울 85
# 1 이영희 30 부산 92
# 2 박민수 28 대전 78
# 3 최지은 35 서울 95
# 4 정하늘 22 인천 88
2.2 데이터 읽기와 쓰기
실제 데이터 분석에서는 CSV, Excel, JSON 등 다양한 형식의 파일을 읽어와야 합니다. Pandas는 이를 위한 편리한 함수들을 제공합니다.
# CSV 파일 읽기
df_csv = pd.read_csv('data.csv', encoding='utf-8')
# Excel 파일 읽기
df_excel = pd.read_excel('data.xlsx', sheet_name='Sheet1')
# JSON 파일 읽기
df_json = pd.read_json('data.json')
# 웹 URL에서 직접 읽기
url = 'https://example.com/data.csv'
df_web = pd.read_csv(url)
# 데이터프레임 기본 정보 확인
print(df_csv.shape) # (행 수, 열 수)
print(df_csv.info()) # 열 이름, 타입, 결측값 정보
print(df_csv.describe()) # 수치형 열의 통계 요약
print(df_csv.head(10)) # 상위 10행 출력
# 파일로 저장
df_csv.to_csv('output.csv', index=False, encoding='utf-8-sig')
df_csv.to_excel('output.xlsx', index=False)
2.3 인덱싱과 필터링
데이터에서 원하는 부분만 선택하고 추출하는 것은 데이터 분석의 가장 기본적인 작업입니다. Pandas는 다양한 인덱싱 방법을 제공합니다.
# 열 선택
print(df['이름']) # 단일 열 (Series 반환)
print(df[['이름', '점수']]) # 복수 열 (DataFrame 반환)
# 행 선택 - loc (레이블 기반)
print(df.loc[0]) # 인덱스 0번 행
print(df.loc[0:2]) # 인덱스 0~2번 행 (끝 포함)
# 행 선택 - iloc (정수 위치 기반)
print(df.iloc[0]) # 첫 번째 행
print(df.iloc[0:2]) # 첫 번째~두 번째 행 (끝 미포함)
# 조건 필터링
print(df[df['나이'] >= 28]) # 나이 28 이상
print(df[df['도시'] == '서울']) # 서울 거주자
print(df[(df['나이'] >= 25) & (df['점수'] >= 90)]) # 복합 조건
# 특정 값 포함 여부 필터링
cities = ['서울', '부산']
print(df[df['도시'].isin(cities)])
# 문자열 포함 필터링
print(df[df['이름'].str.contains('김')])
3. 데이터 전처리: 분석 품질을 결정하는 핵심 단계
현실의 데이터는 완벽하지 않습니다. 결측값(빈 값), 중복 데이터, 잘못된 형식 등 다양한 문제가 존재합니다. 데이터 전처리는 이러한 문제를 해결하여 분석에 적합한 형태로 데이터를 정리하는 과정입니다. 실제 데이터 분석 업무에서 전처리가 전체 작업 시간의 60~80%를 차지한다고 알려져 있을 만큼 중요한 단계입니다.
3.1 결측값(Missing Value) 처리
# 결측값이 있는 샘플 데이터 생성
data = {
'이름': ['김철수', '이영희', None, '최지은', '정하늘'],
'나이': [25, np.nan, 28, 35, 22],
'도시': ['서울', '부산', '대전', None, '인천'],
'점수': [85, 92, np.nan, 95, 88]
}
df = pd.DataFrame(data)
# 결측값 확인
print(df.isnull().sum()) # 각 열별 결측값 개수
print(df.isnull().sum().sum()) # 전체 결측값 개수
# 결측값 제거
df_dropped = df.dropna() # 결측값이 있는 행 전체 제거
df_dropped_col = df.dropna(axis=1) # 결측값이 있는 열 전체 제거
df_thresh = df.dropna(thresh=3) # 비결측값이 3개 이상인 행만 유지
# 결측값 채우기
df['나이'] = df['나이'].fillna(df['나이'].mean()) # 평균값으로 대체
df['도시'] = df['도시'].fillna('미상') # 특정 값으로 대체
df['점수'] = df['점수'].fillna(method='ffill') # 이전 값으로 대체
df['이름'] = df['이름'].fillna('알 수 없음') # 문자열 대체
3.2 중복 데이터 제거
# 중복 행 확인
print(df.duplicated().sum()) # 전체 중복 행 수
print(df.duplicated(subset=['이름'])) # 특정 열 기준 중복 확인
# 중복 제거
df_unique = df.drop_duplicates() # 전체 열 기준
df_unique_name = df.drop_duplicates(subset=['이름']) # '이름' 열 기준
df_unique_last = df.drop_duplicates(
subset=['이름'], keep='last' # 마지막 값 유지
)
3.3 데이터 타입 변환
# 현재 데이터 타입 확인
print(df.dtypes)
# 타입 변환
df['나이'] = df['나이'].astype(int) # 정수형으로 변환
df['점수'] = df['점수'].astype(float) # 실수형으로 변환
df['이름'] = df['이름'].astype(str) # 문자열로 변환
# 날짜형 변환
df['날짜'] = pd.to_datetime(df['날짜_문자열'], format='%Y-%m-%d')
# 카테고리형 변환 (메모리 절약에 효과적)
df['도시'] = df['도시'].astype('category')
3.4 그룹화와 집계
데이터를 특정 기준으로 그룹화하고 집계하는 것은 데이터에서 의미 있는 패턴을 발견하는 핵심 기법입니다.
# 도시별 평균 점수
print(df.groupby('도시')['점수'].mean())
# 도시별 여러 통계량 한번에 계산
print(df.groupby('도시')['점수'].agg(['mean', 'max', 'min', 'count']))
# 복수 열 기준 그룹화
print(df.groupby(['도시', '성별'])['점수'].mean())
# 피벗 테이블 (엑셀의 피벗 테이블과 유사)
pivot = df.pivot_table(
values='점수',
index='도시',
columns='성별',
aggfunc='mean',
fill_value=0
)
print(pivot)
4. 데이터 시각화: Matplotlib과 Seaborn
수치만으로는 데이터의 패턴과 트렌드를 직관적으로 파악하기 어렵습니다. 시각화는 데이터를 그래프와 차트로 표현하여 복잡한 정보를 한눈에 이해할 수 있게 해줍니다. 파이썬에서는 Matplotlib(기본 시각화)과 Seaborn(통계 시각화)이 가장 널리 사용됩니다.
4.1 Matplotlib 기초
import matplotlib.pyplot as plt
# 한글 폰트 설정 (Windows 기준)
plt.rcParams['font.family'] = 'Malgun Gothic'
plt.rcParams['axes.unicode_minus'] = False # 마이너스 기호 깨짐 방지
# 1. 선 그래프 (Line Plot) - 시간에 따른 변화 추적에 적합
months = ['1월', '2월', '3월', '4월', '5월', '6월']
sales = [150, 180, 200, 170, 220, 250]
plt.figure(figsize=(10, 6))
plt.plot(months, sales, marker='o', linewidth=2, color='#3498db')
plt.title('월별 매출 추이', fontsize=16, fontweight='bold')
plt.xlabel('월', fontsize=12)
plt.ylabel('매출 (만원)', fontsize=12)
plt.grid(True, alpha=0.3)
plt.tight_layout()
plt.savefig('line_chart.png', dpi=150)
plt.show()
# 2. 막대 그래프 (Bar Chart) - 범주별 비교에 적합
categories = ['전자제품', '의류', '식품', '가구', '도서']
values = [450, 320, 280, 190, 150]
plt.figure(figsize=(10, 6))
bars = plt.bar(categories, values, color=['#3498db', '#2ecc71', '#e74c3c',
'#f39c12', '#9b59b6'])
plt.title('카테고리별 판매량', fontsize=16, fontweight='bold')
plt.xlabel('카테고리', fontsize=12)
plt.ylabel('판매량', fontsize=12)
# 각 막대 위에 값 표시
for bar, val in zip(bars, values):
plt.text(bar.get_x() + bar.get_width()/2., bar.get_height() + 5,
str(val), ha='center', va='bottom', fontsize=11)
plt.tight_layout()
plt.show()
# 3. 원형 그래프 (Pie Chart) - 비율 표시에 적합
labels = ['서울', '경기', '부산', '대전', '기타']
sizes = [35, 25, 15, 10, 15]
colors = ['#3498db', '#2ecc71', '#e74c3c', '#f39c12', '#9b59b6']
explode = (0.05, 0, 0, 0, 0) # 서울 조각을 약간 분리
plt.figure(figsize=(8, 8))
plt.pie(sizes, explode=explode, labels=labels, colors=colors,
autopct='%1.1f%%', shadow=True, startangle=90)
plt.title('지역별 사용자 분포', fontsize=16, fontweight='bold')
plt.tight_layout()
plt.show()
4.2 Seaborn으로 고급 시각화
Seaborn은 Matplotlib을 기반으로 하되, 더 아름답고 통계적으로 의미 있는 그래프를 간단한 코드로 생성할 수 있는 라이브러리입니다.
import seaborn as sns
# Seaborn 기본 테마 설정
sns.set_theme(style='whitegrid', font='Malgun Gothic')
# 샘플 데이터 생성
np.random.seed(42)
df_sample = pd.DataFrame({
'부서': np.random.choice(['개발팀', '마케팅팀', '영업팀', '디자인팀'], 200),
'경력(년)': np.random.randint(1, 15, 200),
'연봉(만원)': np.random.normal(5000, 1500, 200).astype(int),
'만족도': np.random.uniform(1, 5, 200).round(1)
})
# 1. 히스토그램 - 데이터 분포 확인
plt.figure(figsize=(10, 6))
sns.histplot(data=df_sample, x='연봉(만원)', bins=20, kde=True, color='#3498db')
plt.title('연봉 분포', fontsize=16, fontweight='bold')
plt.tight_layout()
plt.show()
# 2. 박스플롯 - 부서별 연봉 분포 비교
plt.figure(figsize=(10, 6))
sns.boxplot(data=df_sample, x='부서', y='연봉(만원)', palette='Set2')
plt.title('부서별 연봉 분포', fontsize=16, fontweight='bold')
plt.tight_layout()
plt.show()
# 3. 산점도 - 경력과 연봉의 관계
plt.figure(figsize=(10, 6))
sns.scatterplot(data=df_sample, x='경력(년)', y='연봉(만원)',
hue='부서', style='부서', s=80, alpha=0.7)
plt.title('경력 vs 연봉 (부서별)', fontsize=16, fontweight='bold')
plt.tight_layout()
plt.show()
# 4. 히트맵 - 상관관계 시각화
plt.figure(figsize=(8, 6))
numeric_cols = df_sample.select_dtypes(include=[np.number])
sns.heatmap(numeric_cols.corr(), annot=True, cmap='coolwarm',
center=0, fmt='.2f', linewidths=0.5)
plt.title('변수 간 상관관계', fontsize=16, fontweight='bold')
plt.tight_layout()
plt.show()
5. 실전 프로젝트: 공공데이터로 배우는 데이터 분석
지금까지 배운 내용을 종합하여 실제 공공데이터를 분석하는 미니 프로젝트를 진행해보겠습니다. 이 예제에서는 가상의 서울시 구별 인구 통계 데이터를 활용합니다. 실제 공공데이터는 공공데이터포털(data.go.kr)이나 서울 열린데이터 광장(data.seoul.go.kr)에서 다운로드할 수 있습니다.
5.1 데이터 준비 및 탐색
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
# 한글 폰트 설정
plt.rcParams['font.family'] = 'Malgun Gothic'
plt.rcParams['axes.unicode_minus'] = False
sns.set_theme(style='whitegrid', font='Malgun Gothic')
# 가상의 서울시 구별 인구 데이터 생성
data = {
'구': ['강남구', '강동구', '강북구', '강서구', '관악구',
'광진구', '구로구', '금천구', '노원구', '도봉구',
'동대문구', '동작구', '마포구', '서대문구', '서초구',
'성동구', '성북구', '송파구', '양천구', '영등포구',
'용산구', '은평구', '종로구', '중구', '중랑구'],
'인구수': [527641, 426067, 303065, 577586, 497702,
356174, 411084, 230696, 518922, 324686,
347780, 392163, 378476, 314109, 429154,
311024, 436592, 667483, 457806, 397789,
229431, 481623, 149479, 125177, 398690],
'세대수': [231547, 183224, 143628, 258921, 247896,
161438, 189362, 115892, 214567, 137852,
168234, 177621, 184523, 148762, 185423,
145234, 193458, 278456, 186742, 189234,
113256, 201234, 75623, 65892, 172345],
'면적': [39.50, 24.59, 23.60, 41.44, 29.57,
17.06, 20.12, 13.01, 35.44, 20.70,
14.22, 16.35, 23.84, 17.61, 46.98,
16.85, 24.57, 33.87, 17.41, 24.55,
21.87, 29.71, 23.91, 9.96, 18.50],
'고령인구비율': [12.8, 14.2, 19.5, 13.6, 14.8,
13.1, 15.3, 13.9, 16.2, 18.7,
16.8, 14.1, 12.4, 16.1, 11.9,
13.5, 17.2, 11.8, 14.5, 14.9,
15.2, 16.4, 18.1, 17.5, 16.9]
}
df = pd.DataFrame(data)
# 기본 탐색
print("=== 데이터 기본 정보 ===")
print(f"데이터 크기: {df.shape}")
print(f"\n데이터 타입:\n{df.dtypes}")
print(f"\n기초 통계량:\n{df.describe()}")
print(f"\n상위 5행:\n{df.head()}")
5.2 파생 변수 생성 및 분석
# 인구밀도 계산 (인구수 / 면적)
df['인구밀도'] = (df['인구수'] / df['면적']).round(0).astype(int)
# 세대당 인구수 계산
df['세대당인구'] = (df['인구수'] / df['세대수']).round(2)
# 인구수 기준 상위 5개 구
top5_pop = df.nlargest(5, '인구수')
print("=== 인구수 상위 5개 구 ===")
print(top5_pop[['구', '인구수', '인구밀도']])
# 인구밀도 기준 상위 5개 구
top5_density = df.nlargest(5, '인구밀도')
print("\n=== 인구밀도 상위 5개 구 ===")
print(top5_density[['구', '인구밀도', '면적']])
# 고령인구비율 기준 분류
df['고령화단계'] = pd.cut(df['고령인구비율'],
bins=[0, 7, 14, 20, 100],
labels=['고령화사회 미만', '고령화사회',
'고령사회', '초고령사회'])
print("\n=== 고령화 단계별 구 수 ===")
print(df['고령화단계'].value_counts())
5.3 종합 시각화
# 4개 차트를 하나의 Figure에 배치
fig, axes = plt.subplots(2, 2, figsize=(16, 12))
fig.suptitle('서울시 구별 인구 분석 대시보드', fontsize=20, fontweight='bold', y=1.02)
# 1) 인구수 상위 10개 구 - 가로 막대 그래프
top10 = df.nlargest(10, '인구수')
axes[0, 0].barh(top10['구'], top10['인구수'], color='#3498db')
axes[0, 0].set_title('인구수 상위 10개 구', fontsize=14, fontweight='bold')
axes[0, 0].set_xlabel('인구수')
axes[0, 0].invert_yaxis()
# 2) 인구밀도 분포 - 히스토그램
axes[0, 1].hist(df['인구밀도'], bins=10, color='#2ecc71', edgecolor='white')
axes[0, 1].set_title('인구밀도 분포', fontsize=14, fontweight='bold')
axes[0, 1].set_xlabel('인구밀도 (명/km2)')
axes[0, 1].set_ylabel('구 수')
axes[0, 1].axvline(df['인구밀도'].mean(), color='red', linestyle='--',
label=f'평균: {df["인구밀도"].mean():.0f}')
axes[0, 1].legend()
# 3) 면적 vs 인구수 산점도
scatter = axes[1, 0].scatter(df['면적'], df['인구수'],
c=df['고령인구비율'], cmap='RdYlGn_r',
s=100, alpha=0.7, edgecolors='gray')
axes[1, 0].set_title('면적 vs 인구수 (색상: 고령인구비율)', fontsize=14, fontweight='bold')
axes[1, 0].set_xlabel('면적 (km2)')
axes[1, 0].set_ylabel('인구수')
plt.colorbar(scatter, ax=axes[1, 0], label='고령인구비율(%)')
# 4) 고령화 단계별 분포 - 원형 그래프
stage_counts = df['고령화단계'].value_counts()
axes[1, 1].pie(stage_counts.values, labels=stage_counts.index,
autopct='%1.1f%%', colors=['#2ecc71', '#f39c12', '#e74c3c'],
startangle=90, shadow=True)
axes[1, 1].set_title('고령화 단계별 구 분포', fontsize=14, fontweight='bold')
plt.tight_layout()
plt.savefig('seoul_population_dashboard.png', dpi=150, bbox_inches='tight')
plt.show()
print("\n분석 완료! 'seoul_population_dashboard.png' 파일이 저장되었습니다.")
TIP: 공공데이터포털(data.go.kr)에서 실제 데이터를 다운로드하여 위 코드의 가상 데이터 대신 사용해보세요. CSV 파일 형태로 제공되는 데이터가 많으므로
pd.read_csv()로 바로 읽어올 수 있습니다.
결론: 다음 단계를 위한 학습 로드맵
이 글에서 다룬 내용은 파이썬 데이터 분석의 기초에 해당합니다. 환경 설정부터 Pandas를 활용한 데이터 조작, 전처리, 그리고 Matplotlib과 Seaborn을 활용한 시각화까지 데이터 분석의 전체적인 워크플로우를 경험해보았습니다. 실전 프로젝트를 통해 이 모든 과정이 어떻게 연결되는지도 확인할 수 있었습니다.
여기서 멈추지 말고, 다음 단계로 나아가기 위한 학습 로드맵을 제안합니다. 첫째, NumPy를 깊이 학습하세요. Pandas의 내부에서 NumPy가 동작하므로, 배열 연산과 벡터화 개념을 이해하면 훨씬 효율적인 코드를 작성할 수 있습니다. 둘째, Scikit-learn 라이브러리를 통해 머신러닝의 기초를 익히세요. 회귀분석, 분류, 클러스터링 등 기본 알고리즘을 데이터에 적용하면 예측과 패턴 발견의 영역으로 확장할 수 있습니다. 셋째, SQL 기초를 함께 학습하세요. 실무에서 데이터는 대부분 데이터베이스에 저장되어 있으므로, SQL로 데이터를 추출하고 Pandas로 분석하는 워크플로우가 매우 흔합니다.
추가적으로 Plotly나 Bokeh 같은 인터랙티브 시각화 라이브러리, Streamlit이나 Dash를 활용한 데이터 대시보드 구축, 그리고 Apache Spark의 PySpark를 활용한 대용량 데이터 처리까지 학습 범위를 넓혀가면 데이터 분석가 또는 데이터 사이언티스트로서의 역량을 체계적으로 갖출 수 있습니다. 가장 중요한 것은 꾸준한 실습입니다. 공공데이터포털, Kaggle 등에서 관심 있는 데이터셋을 찾아 직접 분석 프로젝트를 수행해보세요. 이론만으로는 체득할 수 없는 실전 감각을 키울 수 있을 것입니다. 데이터 분석의 세계는 넓고, 여러분의 여정은 이제 막 시작되었습니다.