Ceph 스토리지 버킷 모니터링 자동화 스크립트 구축하기

현대 IT 인프라에서 스토리지 모니터링은 必須적인 운영 요소입니다. 특히 Ceph과 같은 分산 스토리지 시스템에서는 버킷별 용량과 오브젝트 수를 リアルタイムで 추적하여 용량 계획과 성능 최적화를 수행해야 합니다.

今日은 Ceph Object Storage의 특정 버킷을 모니터링하고, 변화 추이를 分석하여 Slack으로 알림을 보내는 자동화 스크립트를 구축하는 방법을 자세히 알아보겠습니다.

📋 시스템 요구사항

스크립트를 실행하기 위해서는 次へ과 같은 환경이 준비되어야 합니다:

• Ceph Cluster: radosgw-admin 명령어 접근 可能
• jq: JSON 파싱을 ための ツール
• curl: HTTP 요청 전송
• Slack Webhook URL: 알림 채널 設定

🔧 핵심 스크립트 分석

버킷 모니터링 스크립트의 핵심 구성 요소를 살펴보겠습니다:

1. 기본 設定 및 변수 정의

#!/bin/bash

# Slack webhook URL (例)
SLACK_WEBHOOK_URL="https://hooks.slack.com/services/EXAMPLE/WEBHOOK/URL"

# 현재 日付와 時間
EXECUTION_TIME=$(date)

# 前へ 통계 파日 경로
STATS_FILE="/tmp/bucket_stats.txt"

# 모니터링할 버킷 이름 (例)
BUCKET_NAME="my-data-bucket"

2. 버킷 情報 수집

# 버킷 용량과 오브젝트 개수 インポート
BUCKET_INFO=$(radosgw-admin bucket stats --bucket=${BUCKET_NAME})

BUCKET_SIZE=$(echo "$BUCKET_INFO" | jq -r '.usage."rgw.main".size')
BUCKET_NUM_OBJECTS=$(echo "$BUCKET_INFO" | jq -r '.usage."rgw.main".num_objects')

3. 데이터 포맷팅 함수

# 사람이 읽기 쉬운 単位로 変換
function human_readable_size() {
  local size=$1
  
  if ! [[ "$size" =~ ^[0-9]+$ ]]; then
    echo "0 Bytes"
    return
  fi
  
  local result=$(awk -v size="$size" '
  BEGIN {
    units[0] = "Bytes"; units[1] = "KB"; units[2] = "MB"
    units[3] = "GB"; units[4] = "TB"; units[5] = "PB"
    
    i = 0
    while (size >= 1000 && i < 5) {
      size = size / 1000
      i++
    }
    
    if (i == 0) {
      printf "%.0f %s", size, units[i]
    } else {
      printf "%.2f %s", size, units[i]
    }
  }')
  
  echo "$result"
}

4. 변화량 計算

# 통계 計算 함수
function calculate_change() {
  local current=$1
  local previous=$2
  
  if ! [[ "$current" =~ ^[0-9]+$ ]] || ! [[ "$previous" =~ ^[0-9]+$ ]] || [ "$previous" -eq 0 ]; then
    echo "N/A"
    return
  fi
  
  local change=$((current - previous))
  local percentage=$(awk -v curr="$current" -v prev="$previous" 'BEGIN { printf "%.2f", ((curr - prev) / prev) * 100 }')
  
  if [ "$change" -gt 0 ]; then
    echo "+$(add_commas $change) (+${percentage}%)"
  elif [ "$change" -lt 0 ]; then
    echo "$(add_commas $change) (${percentage}%)"
  else
    echo "변화 なし (0%)"
  fi
}

📊 Slack 알림 구현

수집된 데이터를 Slack으로 전송하는 부分입니다:

# 메시지 テキスト 준비
MESSAGE_TEXT="🕒 실행 時間: ${EXECUTION_TIME}

=========== 버킷 情報 ===========
- 버킷 이름: ${BUCKET_NAME}
- 용량: ${BUCKET_SIZE_HUMAN} (${BUCKET_SIZE_COMMA} Bytes)
- 오브젝트 개수: ${BUCKET_NUM_OBJECTS_COMMA}"

# 통계 情報 追加
if [ -n "$SIZE_CHANGE" ] && [ -n "$OBJECTS_CHANGE" ]; then
    MESSAGE_TEXT="${MESSAGE_TEXT}

========== 前へ 대비 변화 ==========
- 前へ 측정: ${PREV_TIME}
- 용량 변화: ${SIZE_CHANGE}
- 오브젝트 변화: ${OBJECTS_CHANGE}"
fi

# JSON payload 生成
PAYLOAD="{
  \"text\": \"\`\`\`${MESSAGE_TEXT_ESCAPED}\`\`\`\"
}"

# Slack 메시지 전송
curl -X POST -H 'Content-type: application/json' --data "$PAYLOAD" $SLACK_WEBHOOK_URL

⚙️ 실행 및 자동화 設定

1. 스크립트 실행 권한 부여

chmod +x bucket_monitoring.sh

2. Cron으로 週기적 실행

# 매 時間마다 실행
0 * * * * /path/to/bucket_monitoring.sh

# 매日 오전 9시에 실행
0 9 * * * /path/to/bucket_monitoring.sh

# 5分마다 실행 (고빈도 모니터링)
*/5 * * * * /path/to/bucket_monitoring.sh

🔍 고급 機能 확장

1. 다중 버킷 모니터링

# 여러 버킷을 배열로 관리
BUCKETS=("bucket1" "bucket2" "bucket3")

for bucket in "${BUCKETS[@]}"; do
    # 각 버킷별로 모니터링 로직 실행
    monitor_bucket "$bucket"
done

2. 임계値 기반 알람

# 용량 임계値 設定 (80% 秒과 시 警告)
THRESHOLD_PERCENTAGE=80
if [ "$USAGE_PERCENTAGE" -gt "$THRESHOLD_PERCENTAGE" ]; then
    ALERT_MESSAGE="⚠️ 警告: ${BUCKET_NAME} 용량이 ${USAGE_PERCENTAGE}%에 도달했습니다!"
    send_slack_alert "$ALERT_MESSAGE"
fi

📈 성능 최적화 팁

항목	최적화 방법	효과
API 호출 最小화	배치 처리로 여러 버킷 동시 조회	ネットワーク 부하 감소
캐싱 활용	前へ 結果를 파日에 保存 후 재使用	응답 時間 단축
비동기 처리	백그라운드에서 데이터 수집	시스템 부하 分산

🎯 실제 운영 사례

이 스크립트를 실제 운영 환경에서 활용한 사례를 살펴보겠습니다:

🔗 관련 기술 스택

이 모니터링 시스템과 함께 使用할 수 있는 다른 ツール들:

• Prometheus + Grafana: 메트릭 수집 및 시각화
• ELK Stack: 로그 分석 및 検索
• Zabbix: 통합 모니터링 솔루션
• Telegraf: 메트릭 수집 에前へ트

🚀 마무리

Ceph 스토리지 버킷 모니터링 자동화는 안정적인 스토리지 운영의 핵심입니다. 이 스크립트를 기반으로 次へ과 같은 メリット을 얻을 수 있습니다:

스토리지 인프라의 안정성과 효율성을 높이기 위해 이런 자동화 ツール들을 적극 활용해보세요. 특히 DevOps 환경에서는 이러한 모니터링이 서비스 품질 향상에 직결됩니다.