AI 에이전트가 웹페이지를 원본 HTML 그대로 읽으면 위키백과 한 페이지가 약 6만8천 토큰, 나이키 홈은 약 35만 토큰이 든다는 실측이 올라왔어요. Claude Code 내장 웹 읽기는 위키백과를 약 950토큰으로 요약하고 일부 Cloudflare도 통과하지만 자바스크립트로 그려지는 페이지나 강한 봇 차단(나이키 403)에선 아무것도 못 가져와서, 글쓴이는 스텔스 크로뮴 기반 오픈소스 MCP(fortress)로 자바스크립트 페이지 285토큰·나이키 700토큰까지 줄였다고 주장해요. 다만 댓글에선 'HTML을 마크다운으로만 정리해도(Jina Reader·Trafilatura) 6만8천이 3~5천 토큰으로 줄고 자바스크립트 경우도 되는데 전용 브라우저까지 필요하냐'는 반론이 붙었어요.
용어 풀이
- 토큰(token)
- 언어 모델이 글을 처리하는 최소 단위. 대략 영어 4글자·한글 1~2글자가 1토큰이며 비용·처리량이 토큰 수에 비례한다.
- HTML
- 웹페이지의 구조를 적는 마크업 언어. 태그·스크립트가 많아 원본 그대로면 토큰이 크게 늘어난다.
- MCP(Model Context Protocol)
- AI 에이전트에 외부 도구·데이터를 연결하는 표준 규격. 앤트로픽이 공개했다.
- 스텔스 브라우저(stealth browser)
- 봇 탐지를 피하도록 브라우저 지문을 위장한 브라우저. 크로뮴을 개조해 사람이 쓰는 브라우저처럼 보이게 한다.
- 마크다운(markdown)
- 최소한의 기호로 서식을 적는 경량 문서 형식. HTML에서 본문만 추려 토큰을 줄일 때 쓴다.
운영자 인사이트
핵심은 '원본 HTML을 그대로 먹이지 마라'예요 — 6만8천 토큰은 아무 처리 안 한 날것 수치라 마크다운 추출만 해도 대부분 3~5천으로 떨어지고, 스텔스 브라우저의 진짜 값어치는 토큰 절약보다 자바스크립트 렌더링·봇 차단 페이지를 뚫는 데 있어요.
여러 관점으로 보기
- 측정·도구(원문) 글쓴이가 만든 오픈소스 도구예요. 원본 HTML 토큰량(위키백과 6만8천·나이키 35만)과, 스텔스 크로뮴 MCP로 자바스크립트 페이지 285토큰·나이키 700토큰까지 줄였다는 벤치마크가 정리돼 있어요. 별 303개, 2026-07-02 생성. GitHub
- 여론·반론 8점·댓글 3개로 관여도는 낮지만 반론이 알차요. 'HTML을 마크다운으로만 추출해도(Jina Reader·Trafilatura) 6만8천이 3~5천 토큰으로 줄고 자바스크립트 경우도 된다'는 지적과, 사람이 직접 켠 브라우저도 요즘 자주 차단당한다는 공감이 달렸어요. Hacker News
- 제품 배경 Fortress를 만든 팀의 제품 사이트예요. 오픈소스 엔진과 함께 상용 호스팅 'Tilion Cloud'(대기자 명단)를 같이 밀고 있어서, 이번 글은 사실상 런칭 홍보 성격도 있어요. Tilion