8월 17일 깃허브가 7시간 47분 멈춘 와중에 올라온 '깃허브 직원분들, 대체 무슨 일인가요' 글이 305점·댓글 252개를 받았어요. 답한 건 현직이 아니라 아홉 달 전 정리해고됐다는 전직 직원이었고, 1년 새 트래픽이 14배로 늘어 100배를 상정하고 계획을 짜야 했다며 모놀리스 읽기 트래픽이 7월 28일 애저 중부에서 최고 52.75%까지 처리됐다고 적었어요. 깃허브 공식 사후 보고서가 짚은 그날 원인도 같은 중부 지역 로드밸런서의 네트워크 포화인데, 용량이 모자라서가 아니라 오토스케일 정책이 사이드카의 동시 처리 한계를 안 보고 있어서 늘어나지 않은 거였어요.
용어 풀이
- CI
- 코드를 올릴 때마다 자동으로 빌드·테스트를 돌리는 지속적 통합
- 모놀리스
- 서비스를 잘게 쪼개지 않고 하나의 큰 응용 프로그램으로 굴리는 구조
- 로드밸런서
- 들어오는 요청을 여러 서버에 나눠 보내는 장치
- 사이드카
- 본체 옆에 붙어 네트워크 통신을 대신 처리해 주는 보조 컨테이너
- 오토스케일
- 부하에 맞춰 서버 수를 자동으로 늘리고 줄이는 것
운영자 인사이트
깃허브에 CI를 맡겨 둔 팀에는 8월 6일 쪽이 더 아파요 — 워크플로 실행의 71%가 인프라 오류로 죽고 남은 것의 75%가 5분 넘게 밀린 아홉 시간짜리였는데, 발단이 깃허브 내부의 평범한 배포였거든요. 외부 공격도 용량 고갈도 아니고 배포·오토스케일 설정이 방아쇠라면 다음 번도 예고 없이 와요. 릴리스 경로가 깃허브 액션 하나에만 걸려 있는지 지금 확인해 두세요.
여러 관점으로 보기
- 전직 직원 답변 '전 마이크로소프트·전 깃허브, 아홉 달 전 정리해고'라고 밝힌 사람이 모놀리스 읽기 트래픽은 7월 28일 애저 중부에서 최고 52.75%, 깃 트래픽은 6월 43%에서 47%로 올랐다고 적었어요. Hacker News
- 깃허브 공식 사후 보고서 (8월 17일) 중부 미국 로드밸런서가 새 트래픽 최고치에 포화됐고, 사이드카 한계를 안 보는 정책 탓에 자동 확장이 안 됐어요 — 웹·API 오류율 최고 20%, 압축 파일 내려받기는 50%였어요. GitHub Status
- 깃허브 공식 사후 보고서 (8월 6일 액션) 내부 서비스 배포가 원래 있던 용량·동시성 약점을 드러내 아홉 시간 동안 워크플로 실행의 71%가 인프라 오류로 실패했어요. GitHub Status