개발자 압둘라 발라벨이 10월에 낸 MIHAD 논문 v2.7 은 하이쿠를 싼 에이전트로, 소넷 5.5 를 강한 모델로 두고 처음 보는 파이썬 저장소 bidict 의 실제 커밋 21과제를 3번씩(63회) 돌렸고, 실험 규칙은 실행 전에 git 에 커밋해 뒀어요. 하이쿠만 쓰면 37회 성공(39.88달러), 소넷이 매 턴 조언하면 45회에 비용 약 3.5배, 실수를 되풀이할 때만 끼어들면 44회에 약 1.3배(51.89달러)였어요. 다만 p값은 없고 저자 스스로 1~2과제 차이는 잡음이라 적었으며, 21과제 중 6개는 채점 오류로 통과할 수 없었고, 설계용 저장소에서 실패 24건 중 23건을 잡던 속성 검사는 bidict 에서 47건 중 0건을 잡았어요.
용어 풀이
- p값
- 관측한 차이가 우연히 나왔을 가능성을 나타내는 통계 지표
- MCP
- Model Context Protocol, 에이전트가 외부 도구에 연결되는 표준
운영자 인사이트
싼 모델에 비싼 모델을 붙일 때 매 턴 조언보다 반복 실수에만 끼어드는 방식이 비용 대비 낫다는 신호예요. 그래도 저자 한 명, 파이썬 소형 저장소 3개, 반복 3회의 결과라 그대로 도입하기보다 자기 저장소의 과거 커밋으로 같은 비교를 돌려 보는 출발점으로 쓰는 편이 안전해요.
여러 관점으로 보기
- 저장소 소개 MIHAD 는 검증을 통과한 기억과 경험만 남기는 코딩 에이전트용 엔진이고, MCP·훅으로 클로드 코드와 코덱스에 붙이며 라이선스는 비상업용(PolyForm Noncommercial 1.0.0)이에요. GitHub