서론: 방화벽을 넘어서는 보안의 눈

지난 3편에서 살펴본 방화벽이 네트워크의 '문지기' 역할을 한다면, IDS(Intrusion Detection System, 침입 탐지 시스템)와 IPS(Intrusion Prevention System, 침입 방지 시스템)는 네트워크의 '감시 카메라'이자 '보안 요원' 역할을 합니다. 방화벽이 허용한 트래픽 중에서도 악의적인 활동을 탐지하고 대응하는 것이 IDS/IPS의 핵심 기능입니다.

오늘날의 사이버 공격은 점점 정교해지고 있습니다. 단순히 포트를 차단하는 것만으로는 웹 애플리케이션 공격, 제로데이 취약점 악용, APT(지능형 지속 위협) 등을 막을 수 없습니다. 이번 4편에서는 IDS/IPS의 개념, 탐지 방식, 그리고 대표적인 오픈소스 솔루션인 Snort와 Suricata의 설치 및 설정까지 실습 중심으로 알아보겠습니다.

1. IDS vs IPS: 차이점 이해하기

1.1 IDS (Intrusion Detection System)

IDS는 네트워크 트래픽이나 시스템 활동을 모니터링하여 의심스러운 활동이나 정책 위반을 탐지하고 경고(Alert)를 발생시키는 시스템입니다. IDS는 수동적(Passive)으로 동작하며, 트래픽을 차단하지 않고 복사본을 분석합니다.

IDS 동작 방식:
┌─────────┐     ┌─────────┐     ┌─────────┐
│ 인터넷  │────▶│ 스위치  │────▶│ 서버    │
└─────────┘     └────┬────┘     └─────────┘
                     │ (미러링/SPAN)
                     ▼
               ┌─────────┐
               │  IDS    │ → 탐지 → 경고 발생
               └─────────┘

IDS의 특징:

  • 트래픽 복사본을 분석 (Out-of-Band)
  • 탐지 후 알림만 발생, 직접 차단하지 않음
  • 네트워크 성능에 영향 없음
  • 오탐(False Positive) 시에도 서비스 영향 없음

1.2 IPS (Intrusion Prevention System)

IPS는 IDS의 탐지 기능에 실시간 차단(Block) 기능을 추가한 시스템입니다. 트래픽 경로 상에 인라인(Inline)으로 배치되어, 악의적인 트래픽을 즉시 차단할 수 있습니다.

IPS 동작 방식:
┌─────────┐     ┌─────────┐     ┌─────────┐
│ 인터넷  │────▶│   IPS   │────▶│ 서버    │
└─────────┘     └─────────┘     └─────────┘
                     │
                탐지 → 차단 OR 허용

IPS의 특징:

  • 트래픽 경로에 직접 배치 (Inline)
  • 탐지 즉시 악의적 트래픽 차단 가능
  • 지연 시간(Latency) 발생 가능
  • 오탐 시 정상 서비스 차단 위험

1.3 IDS와 IPS 비교

구분 IDS IPS
배치 방식 Out-of-Band (미러링) Inline (직렬 연결)
대응 방식 탐지 및 경고 탐지 및 차단
네트워크 영향 없음 지연 시간 발생 가능
오탐 영향 경고만 발생 정상 트래픽 차단 위험
장애 시 모니터링 중단 네트워크 중단 (바이패스 없을 시)
적용 시나리오 모니터링, 분석 실시간 위협 차단

실무 팁: 많은 조직에서 처음에는 IDS 모드로 운영하며 탐지 규칙을 튜닝한 후, 안정화되면 IPS 모드로 전환하는 방식을 사용합니다.

2. 탐지 방식

2.1 시그니처 기반 탐지 (Signature-based Detection)

알려진 공격 패턴(시그니처)과 트래픽을 비교하여 탐지하는 방식입니다. 바이러스 백신의 패턴 매칭과 유사합니다.

동작 원리:

패킷 → 시그니처 DB와 비교 → 일치 시 경고/차단

시그니처 예시:
- SQL 인젝션: "' OR '1'='1"
- XSS 공격: "