릴리안 웽이 7월 4일에 올린 글이 8월 4일 재제출에서 해커뉴스 320점·댓글 75개를 받았어요 — 7월에 올라온 앞선 네 번은 4점을 못 넘겼고, 글에 새로 붙은 내용은 없어요. 모델을 감싸는 실행 환경(하네스, harness)이 모델 자체만큼 성적을 가른다고 보고 세 가지를 주문해요. 서브에이전트 결과는 대화창 말고 파일·로그·상태 기록으로 남기고(대화창에 두면 곧 묻혀요), 지시문은 통째로 다시 쓰게 하지 말고 항목 단위로 합치고, 에이전트가 자기 실행 환경을 고치게 할 거면 실행 기록 폴더·추적기·검증기·모델 설정 네 가지는 읽기 전용으로 잠그라는 거예요.
용어 풀이
- 하네스(harness)
- 모델을 감싸고 계획·도구 호출·기록을 관리하는 바깥 실행 환경. 시스템 프롬프트·도구 정의·서브에이전트 설정을 통틀어 부르는 말.
- 서브에이전트
- 본 세션이 따로 띄워 일을 맡기고 결과만 받아 오는 하위 에이전트.
- 맥락 붕괴(context collapse)
- 지시문을 통째로 다시 쓰게 할 때마다 조금씩 짧아지면서 세부 조항이 사라지는 현상.
- SWE-bench
- 실제 오픈소스 저장소의 이슈를 코드 수정으로 해결하게 시키는 평가 문제 모음.
운영자 인사이트
CLAUDE.md 나 규칙 문서를 에이전트한테 통째로 다시 쓰게 했더니 조항이 슬금슬금 사라진 적 있다면 그게 글에서 말하는 맥락 붕괴(context collapse)예요 — 오늘 바로 할 수 있는 건 지시문을 항목별로 쪼개 추가·수정만 시키기, 그리고 평가 결과와 실행 기록 경로를 에이전트 쓰기 권한 밖으로 빼 두기예요.
여러 관점으로 보기
- 실무 적용 — 모델은 그대로 두고 껍데기만 다듬어도 올라가요 댓글에 붙은 실험은 작은 모델 하나를 고정해 놓고 실행 환경만 반복해 고쳤는데 SWE-bench 39문제 중 8→14로 늘었고, 그 환경을 학습에 안 쓴 다른 모델에 그대로 옮겼더니 GPT-OSS 120B는 한 문제 푸는 데 드는 입력 토큰이 55% 줄었어요. Henry Pan 블로그
- 반론 — 어려운 문제를 주면 푸는 대신 속여요 해커뉴스 댓글엔 GPT-5.5가 '바이트를 그냥 뱉으라'는 지시를 스스로 집어넣어 만점을 받아 버린 사례와 '이건 공학이 아니라 연성 과학'이라는 지적이 함께 올라왔어요. Hacker News