Ceph 스토리지 버킷 모니터링 자동화 스크립트 구축하기

현대 IT 인프라에서 스토리지 모니터링은 Required적인 운영 요소입니다. 특히 Ceph과 같은 Minutes산 스토리지 시스템에서는 버킷별 용량과 오브젝트 수를 in real-time 추적하여 용량 계획과 성능 최적화를 수행해야 합니다.

Today은 Ceph Object Storage의 특정 버킷을 모니터링하고, 변화 추이를 Minutes석하여 Slack으로 알림을 보내는 자동화 스크립트를 구축하는 방법을 자세히 알아보겠습니다.

📋 시스템 요구사항

스크립트를 실행하기 위해서는 Next과 같은 환경이 준비되어야 합니다:

• Ceph Cluster: radosgw-admin 명령어 접근 Available
• jq: JSON 파싱을 for Tool
• curl: HTTP 요청 전송
• Slack Webhook URL: 알림 채널 Settings

🔧 핵심 스크립트 Minutes석

버킷 모니터링 스크립트의 핵심 구성 요소를 살펴보겠습니다:

1. 기본 Settings 및 변수 정의

#!/bin/bash

# Slack webhook URL (Example)
SLACK_WEBHOOK_URL="https://hooks.slack.com/services/EXAMPLE/WEBHOOK/URL"

# 현재 Date와 Time
EXECUTION_TIME=$(date)

# Previous 통계 파Day 경로
STATS_FILE="/tmp/bucket_stats.txt"

# 모니터링할 버킷 이름 (Example)
BUCKET_NAME="my-data-bucket"

2. 버킷 Info 수집

# 버킷 용량과 오브젝트 개수 Import
BUCKET_INFO=$(radosgw-admin bucket stats --bucket=${BUCKET_NAME})

BUCKET_SIZE=$(echo "$BUCKET_INFO" | jq -r '.usage."rgw.main".size')
BUCKET_NUM_OBJECTS=$(echo "$BUCKET_INFO" | jq -r '.usage."rgw.main".num_objects')

3. 데이터 포맷팅 함수

# 사람이 읽기 쉬운 Unit로 Convert
function human_readable_size() {
  local size=$1
  
  if ! [[ "$size" =~ ^[0-9]+$ ]]; then
    echo "0 Bytes"
    return
  fi
  
  local result=$(awk -v size="$size" '
  BEGIN {
    units[0] = "Bytes"; units[1] = "KB"; units[2] = "MB"
    units[3] = "GB"; units[4] = "TB"; units[5] = "PB"
    
    i = 0
    while (size >= 1000 && i < 5) {
      size = size / 1000
      i++
    }
    
    if (i == 0) {
      printf "%.0f %s", size, units[i]
    } else {
      printf "%.2f %s", size, units[i]
    }
  }')
  
  echo "$result"
}

4. 변화량 Calculate

# 통계 Calculate 함수
function calculate_change() {
  local current=$1
  local previous=$2
  
  if ! [[ "$current" =~ ^[0-9]+$ ]] || ! [[ "$previous" =~ ^[0-9]+$ ]] || [ "$previous" -eq 0 ]; then
    echo "N/A"
    return
  fi
  
  local change=$((current - previous))
  local percentage=$(awk -v curr="$current" -v prev="$previous" 'BEGIN { printf "%.2f", ((curr - prev) / prev) * 100 }')
  
  if [ "$change" -gt 0 ]; then
    echo "+$(add_commas $change) (+${percentage}%)"
  elif [ "$change" -lt 0 ]; then
    echo "$(add_commas $change) (${percentage}%)"
  else
    echo "변화 None (0%)"
  fi
}

📊 Slack 알림 구현

수집된 데이터를 Slack으로 전송하는 부Minutes입니다:

# 메시지 Text 준비
MESSAGE_TEXT="🕒 실행 Time: ${EXECUTION_TIME}

=========== 버킷 Info ===========
- 버킷 이름: ${BUCKET_NAME}
- 용량: ${BUCKET_SIZE_HUMAN} (${BUCKET_SIZE_COMMA} Bytes)
- 오브젝트 개수: ${BUCKET_NUM_OBJECTS_COMMA}"

# 통계 Info Add
if [ -n "$SIZE_CHANGE" ] && [ -n "$OBJECTS_CHANGE" ]; then
    MESSAGE_TEXT="${MESSAGE_TEXT}

========== Previous 대비 변화 ==========
- Previous 측정: ${PREV_TIME}
- 용량 변화: ${SIZE_CHANGE}
- 오브젝트 변화: ${OBJECTS_CHANGE}"
fi

# JSON payload Generate
PAYLOAD="{
  \"text\": \"\`\`\`${MESSAGE_TEXT_ESCAPED}\`\`\`\"
}"

# Slack 메시지 전송
curl -X POST -H 'Content-type: application/json' --data "$PAYLOAD" $SLACK_WEBHOOK_URL

⚙️ 실행 및 자동화 Settings

1. 스크립트 실행 권한 부여

chmod +x bucket_monitoring.sh

2. Cron으로 Week기적 실행

# 매 Time마다 실행
0 * * * * /path/to/bucket_monitoring.sh

# 매Day 오전 9시에 실행
0 9 * * * /path/to/bucket_monitoring.sh

# 5Minutes마다 실행 (고빈도 모니터링)
*/5 * * * * /path/to/bucket_monitoring.sh

🔍 고급 Feature 확장

1. 다중 버킷 모니터링

# 여러 버킷을 배열로 관리
BUCKETS=("bucket1" "bucket2" "bucket3")

for bucket in "${BUCKETS[@]}"; do
    # 각 버킷별로 모니터링 로직 실행
    monitor_bucket "$bucket"
done

2. 임계Value 기반 알람

# 용량 임계Value Settings (80% Seconds과 시 Warning)
THRESHOLD_PERCENTAGE=80
if [ "$USAGE_PERCENTAGE" -gt "$THRESHOLD_PERCENTAGE" ]; then
    ALERT_MESSAGE="⚠️ Warning: ${BUCKET_NAME} 용량이 ${USAGE_PERCENTAGE}%에 도달했습니다!"
    send_slack_alert "$ALERT_MESSAGE"
fi

📈 성능 최적화 팁

항목	최적화 방법	효과
API 호출 Minimum화	배치 처리로 여러 버킷 동시 조회	Network 부하 감소
캐싱 활용	Previous Result를 파Day에 Save 후 재Use	응답 Time 단축
비동기 처리	백그라운드에서 데이터 수집	시스템 부하 Minutes산

🎯 실제 운영 사례

이 스크립트를 실제 운영 환경에서 활용한 사례를 살펴보겠습니다:

🔗 관련 기술 스택

이 모니터링 시스템과 함께 Use할 수 있는 다른 Tool들:

• Prometheus + Grafana: 메트릭 수집 및 시각화
• ELK Stack: 로그 Minutes석 및 Search
• Zabbix: 통합 모니터링 솔루션
• Telegraf: 메트릭 수집 에Previous트

🚀 마무리

Ceph 스토리지 버킷 모니터링 자동화는 안정적인 스토리지 운영의 핵심입니다. 이 스크립트를 기반으로 Next과 같은 Advantages을 얻을 수 있습니다:

스토리지 인프라의 안정성과 효율성을 높이기 위해 이런 자동화 Tool들을 적극 활용해보세요. 특히 DevOps 환경에서는 이러한 모니터링이 서비스 품질 향상에 직결됩니다.