노션(Notion)에서 일하는 제프리 릿(Geoffrey Litt)이 7월 2일에 올린 글로, 에이전트가 코드를 써 주는 시대에 남은 병목은 '맞는지 검사하려는' 이해가 아니라 '다음 아이디어를 내려는' 이해라고 해요. 바뀐 부분의 배경과 의도를 설명 문서로 만들고 끝에 5문항 퀴즈를 붙이는 /explain-diff 스킬을 깃허브에 공개했는데, 본인 규칙은 '내가 퀴즈를 통과하기 전엔 코드를 남에게 안 넘긴다'예요. 같은 글이 7월에 다섯 번 올라와 2~9점에 그쳤다가 8월 13일 여섯 번째 제출에서 418점·댓글 237개를 받았고, 정답이 늘 가장 길거나 자리가 고정돼 그냥 찍힌다는 지적이 나와 8월 14일에 보기를 섞도록 고쳤어요.
운영자 인사이트
코드를 쓴 에이전트가 설명과 퀴즈까지 쓰니 틀린 설명이 그대로 정답이 된다는 지적이 댓글에 있고, 237개 중 이 방법을 실제로 써 봤다는 사람은 없어요. '한 줄씩 다 이해하려 들면 회사에서 금방 하위 25%'라는 반응까지 보면, 팀 규칙으로 세우기 전에 '퀴즈를 통과하기 전엔 코드를 남에게 안 넘긴다'를 혼자 걸어 보는 쪽이 현실적이에요.
여러 관점으로 보기
- 실물 도구 — 바로 받아 쓸 수 있어요 설명 문서를 HTML로 뽑는 판과 노션 페이지로 뽑는 판 두 개가 공개돼 있고, 퀴즈 정답이 찍히던 문제는 8월 14일에 고쳐졌어요. GitHub
- 반론 — 현장에선 그럴 여유가 없대요 들어오는 코드가 3~5배로 늘어 읽기가 훑기로 바뀌었다는 증언과, 아무도 안 읽고 승인만 누른다는 증언이 같이 나와요. Hacker News