취약점을 파는 조르디 조머(Jordy Zomer)가 8월 28일에 올린 글인데, 긴 조사에서 모델이 이미 뒤집힌 가설을 자꾸 되살리는 게 싫어서 기억을 대화 조각 보관함이 아니라 연역 데이터베이스로 짠 Datalog 엔진 Lemmalog 을 만들었대요 — 러스트에 MIT 라이선스고 클로드 코드에 등록해 쓰는 MCP 서버가 딸려 있으며, 저장소는 8월 27일에 열려 별 203개예요. 정작 잰 건 프로그램 분석이 아니라 대화 기억 벤치마크 둘인데, 한 질문에 104K 토큰이 드는 LongMemEval 에서는 통째로 넣기가 F1 0.197로 무너지는 사이 2,700 토큰만 쓰고 0.463을 냈지만, 한 질문이 19K 토큰인 LoCoMo 에서는 통째로 넣기 0.542에 0.533으로 밀렸어요. 저자도 'Datalog 가 LLM 기억을 풀었다고 주장할 생각은 없다'며 두 벤치마크 다 1위 PropMem(0.550·0.605)에 졌다고 적었고, 제목이 내건 취약점 조사에 실제로 붙여 보는 건 '다음 실험'으로 남겨 뒀어요.
용어 풀이
- Datalog
- 사실과 규칙을 적어 두면 거기서 따라 나오는 결론을 스스로 계산해 주는 질의 언어. 데이터베이스와 논리 프로그래밍의 중간쯤
- F1
- 맞힌 것 중 진짜 맞는 비율과 맞혀야 할 것 중 실제로 맞힌 비율을 함께 묶은 점수. 1에 가까울수록 좋다
- LongMemEval
- 긴 대화 기록에서 사실을 찾아 답하게 하는 기억 성능 시험 모음. 여기 쓰인 판은 질문 102개
- LoCoMo
- 여러 날에 걸친 긴 대화를 놓고 기억을 재는 시험 모음. 대화 10건에 질문 1,986개
- MCP
- AI 도구에 외부 기능·데이터를 붙이는 연결 규약
운영자 인사이트
이 측정에서 갈린 자리는 기억 구조가 아니라 건초더미 크기예요 — 한 질문에 100K 토큰씩 드는 조사에서만 구조화가 이겼고, 20K 안쪽이면 그냥 통째로 넣는 쪽이 더 나았어요. 우리 세션이 어느 쪽인지부터 재 보고, 붙이더라도 저장소가 '갈래별로는 회차마다 F1 이 ±0.3 씩 흔들려 0.3 미만 차이는 근거가 아니다'라고 스스로 적어 둔 만큼 갈래별 승패 숫자는 그대로 믿지 마세요.
여러 관점으로 보기
- 저장소가 스스로 달아 둔 측정 단서 종합 점수는 회차 편차가 작지만(LongMemEval ±0.010, LoCoMo ±0.001) 갈래별 표에는 '한 회차 n=5 기준 갈래마다 F1 이 ±0.3 흔들린다', '0.3 미만 차이는 근거가 아니다'라고 적혀 있어요. 글이 앞세운 '지식 갱신에서 0.579로 PropMem 0.528을 앞섰다'는 차이가 0.051이라 저자 본인 기준으로도 근거가 못 돼요. GitHub
- 해커뉴스 반박 — '손으로 짠 CodeQL 같다' 한 참가자가 '손으로 짠 CodeQL로 보인다'고 적자, 토마스 프타첵(tptacek)이 'CodeQL의 핵심 발상인 코드베이스에서 Datalog 사실 뽑기를 그대로 품고, 거기에 모델이 질문을 던지고 답하게 한 에이전트 시스템'이라고 정리했어요. Hacker News
- 이 통증은 실재한다는 실사용 후기 '긴 조사에서 클로드는 정보를 여기저기 적어 두는 버릇이 있어서 지우기가 정말 어렵고, 반증된 뒤에도 그걸 태연히 사실로 취급한다 — 지금 참인 것이 옛 사실로 오염된다'는 후기가 붙었어요. Hacker News