kernel.org 인프라를 운영하는 콘스탄틴 랴비체프가 8월 29일 자기 블로그에 실측을 올렸어요 — git.kernel.org는 하루 600만 건이 아무 커밋 페이지나 요구하는데, 66%는 작업 증명 검문(Anubis)에서 튕기지만 33%는 계산을 풀고 들어오고, 넉넉히 잡아도 정상 요청은 2%래요. 5개 지역 90코어 중 14~16개가 상시 커밋을 웹 페이지로 그리는 데만 붙잡혀 있고(평균 20%), 커밋 148만 개짜리 linux.git의 포크가 922개라 같은 내용이 수십억 개 주소로 중복해 긁히고 있어요 — git clone 한 번이면 끝나는 일인데요. 정작 저자는 '봇인지 사람인지 확실히 가릴 수 없다'고 적었고 어느 회사인지도 지목하지 않았으며, 서버가 실제로 넘어가는 건 크롤러가 아니라 20개 노드에서 동시에 얕은 복제를 도는 잘못 만든 CI 때문이라고 본문에 못 박아 뒀어요.
용어 풀이
- Anubis
- 웹 서버 앞단에 세우는 방어 도구. 페이지를 열기 전 브라우저에 계산 문제를 풀리는 '작업 증명'으로 대량 수집의 비용을 올린다.
- 얕은 복제(shallow clone)
- 저장소의 전체 이력 대신 최근 커밋 몇 개만 받아 오는 복제 방식. 서버는 요청마다 필요한 부분만 새로 묶어 줘야 해 부담이 크다.
- CI
- 코드가 바뀔 때마다 자동으로 내려받아 빌드·검사를 돌리는 체계.
운영자 인사이트
커널 소스를 파이프라인에서 당겨 쓰고 있다면 익명 접근 기능이 실제로 줄기 전에 자체 미러를 두거나 웹 페이지 긁기 대신 clone으로 바꿔 두세요 — 저자가 '우리를 실제로 넘어뜨리는 것'으로 지목한 건 크롤러가 아니라 여러 노드에서 동시에 도는 얕은 복제라, 남 탓하기 전에 우리 CI부터 볼 자리예요.
여러 관점으로 보기
- 토론 — 학습용 크롤러가 아니라 사용자 대신 페이지를 여는 도우미일 수 있다는 반론 885점·댓글 406개가 붙은 해커뉴스에서는 이 트래픽이 학습 데이터 수집이 아니라 사용자 질문에 답하려고 AI 도우미가 대신 여는 것이라는 반론과, 작업 증명은 대규모 수집자보다 사람 쪽을 더 괴롭힌다는 지적이 함께 나왔어요. Hacker News
- 2차 보도 — 수치 요약 리눅시악이 8월 30일 같은 수치를 정리해 옮겼는데, 독립 확인이나 다른 취재원 없이 원문 요약이에요. Linuxiac