세션이 끝나면 배운 걸 잊는 코딩 에이전트를 두고 정반대 방향의 도구 둘이 같은 주에 나왔어요. intellex 는 에이전트가 스스로 찾기를 기다리지 않고 세션 시작 때 훅으로 기억을 먼저 밀어 넣는 쪽인데, SWE-bench-CL 141문제에서 기억이 없을 때 90개를 풀던 것이 111개까지 늘었다면서도 코딩을 맡은 모델은 하이쿠였고 설정마다 한 번씩만 돌렸으며 정작 핵심 주장인 '알아서 찾게 두는 것보다 먼저 밀어 넣는 게 낫다'를 확인할 비교군 수치는 공개하지 않았어요. Knowl 은 반대로 CLAUDE.md 가 1,000줄을 넘도록 옛 결정과 새 결정이 나란히 남아 클로드가 둘 다 참이라고 답하더라는 진단에서 출발해 같은 주제의 새 사실이 들어오면 앞의 것을 검색에서 빼는데, '이제 안 써요' 같은 말로 뒤집힘을 알아채는 검출기가 실제로는 101건 중 4건만 잡아 저자가 8월 24일 충돌 훑기 명령에서 빼 버렸어요.
용어 풀이
- SWE-bench-CL
- 실제 깃허브 이슈로 만든 코딩 문제 모음을 이슈 생성 순서대로 늘어놓은 변형. 앞 문제에서 얻은 경험이 뒤 문제로 옮겨 가는지 잰다
- 훅
- 세션 시작·프롬프트 제출처럼 정해진 시점에 도구가 자동으로 실행해 주는 사용자 지정 동작
- CLAUDE.md
- 클로드 코드가 세션마다 자동으로 읽는 프로젝트 지침 파일
운영자 인사이트
지침 파일이 길어지고 있다면 도구를 붙이기 전에 '한 주제에는 한 사실만 남긴다'를 먼저 정해 두세요. 옛 결정과 새 결정이 함께 살아남는 게 진짜 문제라는 진단은 오늘 바로 쓸 수 있지만, 그 물러남을 기계가 알아서 판정해 주리라 기대하는 쪽은 두 도구 다 아직 근거가 얇아요. 우리 저장소에서 재 보고 싶으면 intellex 가 함께 공개한 벤치 하네스를 쓰되, 코딩 모델을 우리가 실제로 쓰는 것으로 바꿔야 숫자가 의미를 가져요.
여러 관점으로 보기
- 반대 방향의 도구 Knowl 은 기억을 더 쌓는 대신 같은 주제의 새 사실이 들어오면 앞의 것에 '대체됨' 표시를 붙여 검색에서 빼요. 만든 쪽 측정으로는 검색 1순위 정확도가 47%에서 98%로 갈렸다는데, 그 시험 자료가 판 번호만 차례로 올라가는 인공 자료라 실제 충돌과 다르다고 저자가 직접 적어 뒀어요. GitHub
- 빠진 비교군 intellex 저장소의 벤치 설명에는 '기억 없음·수동 검색·intellex' 세 갈래로 설계해 두고도 통과율 숫자가 한 줄도 없이 '초기 내부 실행에서 유망했다'고만 적혀 있어요. GitHub
- 남은 위험 새 사실이 옛 사실을 밀어내는 설계면 거짓을 심어 참 제약을 물러나게 할 수 있다는 지적에, Knowl 을 만든 사람이 '쓰기 경로가 검증한 사실과 파일에서 읽은 사실을 구분하지 않는다'며 아직 해법이 없다고 답했어요. GitHub