Ceph 스토리지 버킷 모니터링 자동화 스크립트 구축하기

현대 IT 인프라에서 스토리지 모니터링은 必填적인 운영 요소입니다. 특히 Ceph과 같은 分钟산 스토리지 시스템에서는 버킷별 용량과 오브젝트 수를 实时 추적하여 용량 계획과 성능 최적화를 수행해야 합니다.

今天은 Ceph Object Storage의 특정 버킷을 모니터링하고, 변화 추이를 分钟석하여 Slack으로 알림을 보내는 자동화 스크립트를 구축하는 방법을 자세히 알아보겠습니다.

📋 시스템 요구사항

스크립트를 실행하기 위해서는 下一个과 같은 환경이 준비되어야 합니다:

• Ceph Cluster: radosgw-admin 명령어 접근 可用
• jq: JSON 파싱을 为了 工具
• curl: HTTP 요청 전송
• Slack Webhook URL: 알림 채널 设置

🔧 핵심 스크립트 分钟석

버킷 모니터링 스크립트의 핵심 구성 요소를 살펴보겠습니다:

1. 기본 设置 및 변수 정의

#!/bin/bash

# Slack webhook URL (示例)
SLACK_WEBHOOK_URL="https://hooks.slack.com/services/EXAMPLE/WEBHOOK/URL"

# 현재 日期와 时间
EXECUTION_TIME=$(date)

# 上一个 통계 파天 경로
STATS_FILE="/tmp/bucket_stats.txt"

# 모니터링할 버킷 이름 (示例)
BUCKET_NAME="my-data-bucket"

2. 버킷 信息 수집

# 버킷 용량과 오브젝트 개수 导入
BUCKET_INFO=$(radosgw-admin bucket stats --bucket=${BUCKET_NAME})

BUCKET_SIZE=$(echo "$BUCKET_INFO" | jq -r '.usage."rgw.main".size')
BUCKET_NUM_OBJECTS=$(echo "$BUCKET_INFO" | jq -r '.usage."rgw.main".num_objects')

3. 데이터 포맷팅 함수

# 사람이 읽기 쉬운 单位로 转换
function human_readable_size() {
  local size=$1
  
  if ! [[ "$size" =~ ^[0-9]+$ ]]; then
    echo "0 Bytes"
    return
  fi
  
  local result=$(awk -v size="$size" '
  BEGIN {
    units[0] = "Bytes"; units[1] = "KB"; units[2] = "MB"
    units[3] = "GB"; units[4] = "TB"; units[5] = "PB"
    
    i = 0
    while (size >= 1000 && i < 5) {
      size = size / 1000
      i++
    }
    
    if (i == 0) {
      printf "%.0f %s", size, units[i]
    } else {
      printf "%.2f %s", size, units[i]
    }
  }')
  
  echo "$result"
}

4. 변화량 计算

# 통계 计算 함수
function calculate_change() {
  local current=$1
  local previous=$2
  
  if ! [[ "$current" =~ ^[0-9]+$ ]] || ! [[ "$previous" =~ ^[0-9]+$ ]] || [ "$previous" -eq 0 ]; then
    echo "N/A"
    return
  fi
  
  local change=$((current - previous))
  local percentage=$(awk -v curr="$current" -v prev="$previous" 'BEGIN { printf "%.2f", ((curr - prev) / prev) * 100 }')
  
  if [ "$change" -gt 0 ]; then
    echo "+$(add_commas $change) (+${percentage}%)"
  elif [ "$change" -lt 0 ]; then
    echo "$(add_commas $change) (${percentage}%)"
  else
    echo "변화 无 (0%)"
  fi
}

📊 Slack 알림 구현

수집된 데이터를 Slack으로 전송하는 부分钟입니다:

# 메시지 文本 준비
MESSAGE_TEXT="🕒 실행 时间: ${EXECUTION_TIME}

=========== 버킷 信息 ===========
- 버킷 이름: ${BUCKET_NAME}
- 용량: ${BUCKET_SIZE_HUMAN} (${BUCKET_SIZE_COMMA} Bytes)
- 오브젝트 개수: ${BUCKET_NUM_OBJECTS_COMMA}"

# 통계 信息 添加
if [ -n "$SIZE_CHANGE" ] && [ -n "$OBJECTS_CHANGE" ]; then
    MESSAGE_TEXT="${MESSAGE_TEXT}

========== 上一个 대비 변화 ==========
- 上一个 측정: ${PREV_TIME}
- 용량 변화: ${SIZE_CHANGE}
- 오브젝트 변화: ${OBJECTS_CHANGE}"
fi

# JSON payload 生成
PAYLOAD="{
  \"text\": \"\`\`\`${MESSAGE_TEXT_ESCAPED}\`\`\`\"
}"

# Slack 메시지 전송
curl -X POST -H 'Content-type: application/json' --data "$PAYLOAD" $SLACK_WEBHOOK_URL

⚙️ 실행 및 자동화 设置

1. 스크립트 실행 권한 부여

chmod +x bucket_monitoring.sh

2. Cron으로 周기적 실행

# 매 时间마다 실행
0 * * * * /path/to/bucket_monitoring.sh

# 매天 오전 9시에 실행
0 9 * * * /path/to/bucket_monitoring.sh

# 5分钟마다 실행 (고빈도 모니터링)
*/5 * * * * /path/to/bucket_monitoring.sh

🔍 고급 功能 확장

1. 다중 버킷 모니터링

# 여러 버킷을 배열로 관리
BUCKETS=("bucket1" "bucket2" "bucket3")

for bucket in "${BUCKETS[@]}"; do
    # 각 버킷별로 모니터링 로직 실행
    monitor_bucket "$bucket"
done

2. 임계值 기반 알람

# 용량 임계值 设置 (80% 秒과 시 警告)
THRESHOLD_PERCENTAGE=80
if [ "$USAGE_PERCENTAGE" -gt "$THRESHOLD_PERCENTAGE" ]; then
    ALERT_MESSAGE="⚠️ 警告: ${BUCKET_NAME} 용량이 ${USAGE_PERCENTAGE}%에 도달했습니다!"
    send_slack_alert "$ALERT_MESSAGE"
fi

📈 성능 최적화 팁

항목	최적화 방법	효과
API 호출 最小화	배치 처리로 여러 버킷 동시 조회	网络 부하 감소
캐싱 활용	上一个 结果를 파天에 保存 후 재使用	응답 时间 단축
비동기 처리	백그라운드에서 데이터 수집	시스템 부하 分钟산

🎯 실제 운영 사례

이 스크립트를 실제 운영 환경에서 활용한 사례를 살펴보겠습니다:

🔗 관련 기술 스택

이 모니터링 시스템과 함께 使用할 수 있는 다른 工具들:

• Prometheus + Grafana: 메트릭 수집 및 시각화
• ELK Stack: 로그 分钟석 및 搜索
• Zabbix: 통합 모니터링 솔루션
• Telegraf: 메트릭 수집 에上一个트

🚀 마무리

Ceph 스토리지 버킷 모니터링 자동화는 안정적인 스토리지 운영의 핵심입니다. 이 스크립트를 기반으로 下一个과 같은 优点을 얻을 수 있습니다:

스토리지 인프라의 안정성과 효율성을 높이기 위해 이런 자동화 工具들을 적극 활용해보세요. 특히 DevOps 환경에서는 이러한 모니터링이 서비스 품질 향상에 직결됩니다.