Troubleshooting

6개의 게시글

Redis 장애 복구 후 config:cache가 만든 연쇄 장애

새벽에 Redis가 죽어서 복구했는데, config:cache 한 줄 때문에 주문, 알림, 스케줄러, 큐 워커가 전부 멈췄다. 에러 로그도 없이. 6시간 뒤에야 발견한 이 장애를 추적한 기록.

1년 전 끝까지 파보지 못했던 CPU 급증 문제를 AI와 함께 다시 분석해봤습니다. 당시 남겨뒀던 의문들에 대해 더 깊은 답을 찾아가는 회고입니다.

VPC 피어링 설정 중 발생한 라우팅 테이블 설정 누락과 Private DNS 해석 문제를 해결한 과정. RDS 접속이 안 되는 이유와 해결 방법을 기록합니다.

Beanstalk 인스턴스에서 원인불명의 CPU 사용량 급증 문제를 perf와 strace로 분석하여 Datadog 프로파일링 시그널이 원인임을 밝혀낸 과정을 기록합니다.

CPU 급증 문제의 두 번째 패턴인 SIGSEGV 시그널 반복 현상을 분석하고, Datadog의 async-safe하지 않은 시그널 핸들러 코드를 발견하여 PR을 올리게 된 과정을 기록합니다.

AWS Beanstalk 환경에서 스파이크 트래픽으로 인해 인스턴스 간 트래픽이 몰려다니는 현상의 원인과 Slow Start, 드레이닝, 헬스체크 최적화 등 대처 방법을 정리합니다.